四层闭环：腾讯云 DataBuddy 把 Agent 调试拆成预览、追踪、评估和人工反馈

四层闭环：腾讯云 DataBuddy 把 Agent 调试拆成预览、追踪、评估和人工反馈

DataBuddy 是腾讯云的大数据智能体工作台。官方文档《Agent 调试与测试》最近更新于 2026 年 9 月 11 日，讲的不是再发一版模型，而是 Agent 上线前后怎么验、怎么查、怎么打分、怎么把人的判断写回配置。原文把这件事收成四层，入口和限制都写在同一页里。

四层各自解决不同的失败

四层不要混成一个「准确率」。预览只证明对话能跑；Trace 解释单次失败；评估器把相关性、安全性和正确性拆开；ALHF 才把反馈写回提示词和工具描述。

先有权限，再接受四条上限

前提有两条：Agent 已经创建并启动；当前账号对它关联的 MLflow 实验有 CAN_EDIT。没有编辑权，后面的评估和调优都进不去。

使用限制原文写了四条，其中两条明确还没做完：

• 单个实验最多 100,000 条 Trace。
• 现在只有 LLM 评估器，覆盖相关性、安全性和正确性。代码评估器写的是后续支持，不能当成已经可用。
• 评估运行目前只能看单次 Run。勾选两次做横向对比，原文标成后续版本。
• 单条 Trace 上的反馈和期望有数量上限，文档只写「详见平台说明」，没有给出具体数字。这里不补一个不存在的上限。

预览是用户会看到的那一层

概览页右侧默认嵌着 ChatUI，也可以单独开一个标签页。输入用 Enter 发送、Shift+Enter 换行；模型还在回答时不能再发，只能停止。回答前有「思考中」，完成后能看到意图理解、执行步骤和模型输出。工具调用和子 Agent 调用会分开显示，过程中是 Loading，结束后打勾并给出耗时，点开能看输入、输出和耗时。输出按流式渲染，并支持代码块、表格和列表。

点赞和点踩会进入 ML Trace，回答可以复制。同一个会话里模型会带上下文；新会话会关掉当前会话。会话历史必须先指定一个能存历史的数据库，具体配置文档指向平台说明，没有在这页展开。初始页有固定推荐问题，点一下就能开聊。

文档把 ChatUI 定义成上线后用户真正看到的界面，并建议调试阶段就把开场白和推荐问题配好。这是体验要求，不是质量指标。

每一次问答都落成一条 Trace

每次问答生成一条 Trace，自动进关联的 MLflow 实验。里面有模型调用、工具调用、子 Agent 调用、Token 和耗时。入口可以是概览页的「追踪评测」，也可以从实验列表进「可观测性 > 跟踪」。

列表字段包括：Trace ID、Request、Response、Session、User、Trace name、Version、Tokens、Execution time、Request Time、Run name、Source、State。Version 能跳到对应 Agent 版本。Run name 只在这条 Trace 来自评估运行时才有。State 只有正常和错误。列表支持自定义字段过滤，也支持按 Request 模糊搜索。

点开 Trace ID 后，总览给状态、Trace ID、Token 和耗时。状态三档是 OK、ERROR、IN_PROGRESS。输入区是用户内容和上下文；调用链默认收起，展开后看每一步的输入、输出和耗时；输出区是最终回答。评估项只展示相关性、安全性和用户反馈，总览里不能改。

「详情与时间线」把调用拆成 Span。Span 是一次独立操作，类型包括大模型、工具和 Agent。输入输出符合 OpenAI Chat Completions 消息格式时，会自动画成对话；否则按 JSON 展示。属性是模型、工具等键值；事件用来放异常堆栈和错误。关键词搜索会过滤左侧树。

右侧评估区才能写判断，分成两类：

• 反馈（Feedback）：给已经生成的回答打分，例如这次好不好。
• 期望（Expectation）：写这道题的理想约束，例如必须引用知识库。

字段限制要原样保留：名称不超过 100 个字符，且不能含 .；类型是布尔、字符串或数字；字符串评估值不超过 500 字；评估依据不超过 500 字，用来事后追溯或训练。卡片可以展开、收起、改和删。

自动打分目前只有三种 yes/no

评估器是给 Agent 输出做自动打分的逻辑。入口在关联实验的「评估 > 评估器」。预置三种 LLM 评估器，输出都是 yes 或 no：

• 正确性：事实对不对。不用自己写 Prompt，下拉选择即可。
• 相关性：有没有回答问题。明确不看对不对、全不全。
• 安全性：是否碰到仇恨、骚扰、暴力煽动等安全策略。

新建时分三块：名称和描述；选哪个大模型、选上面三种里的哪一种；是否对未来 Trace 自动跑、采样率是多少、用什么筛选字符串只挑部分 Trace。保存后卡片会显示类型、是否覆盖未来跟踪、采样率、开关，以及编辑和删除。编辑即时生效。采样率是按已经配好的 Trace 结果算的，文档没有给默认百分比。

常见问题里写，这三维覆盖多数初期需求，更细的维度「可通过自定义 LLM 评估器实现」。同一页的创建步骤只列出选择三种内置类型，使用限制又写代码评估器尚未支持。所以更细维度不能从这篇读成一套已经上线的自定义 Prompt 产品，只能记成文档自己的后续说法。

评估运行能看单次，还不能并排比版本

评估运行用来收多次评估结果，入口是「评估 > 评估运行」。列表有运行名称、创建时间、数据集、Agent 版本、状态颜色，以及三种内置评估器的结果。没有版本时显示 -。颜色圆点是自定义标记，不是统一通过线。

删除可以多选，但要确认。刷新会拉最新数据。比较两个 Run 的按钮写在操作里，紧接着注明后续版本才支持。这和常见问题一致：现在要对比两个 Agent 版本，只能给版本打不同标识，再分别打开 Run 详情人工看，不能当成已经有对比视图。

单次 Run 里可以按会话分组。跟踪 ID 能再打开 Trace。执行时间精确到毫秒，状态是确定或错误。可以按 Trace ID、请求或响应搜索。列配置能选属性、评估和期望；评估和期望默认先展示 3 个，数量可以改。

人工反馈要经过五步，才会写回配置

ALHF 面向业务人员，路径是「人来判，系统改配置」。四阶段是：先备参考问答，再对推荐样本标好、不好或跳过，然后抽出语义记忆并生成 Guidelines，最后保存并更新 Prompt 和 MCP 描述。MCP 这里指 Agent 调用的工具描述。

入口有两个：概览页点「开始调优」，或详情页顶部的「智能调优」。

参考问答有三种来源，下限都写死了：

• 从 Trace 导入：至少 3 条。
• 本地 xlsx 或 csv：单文件不超过 200MB，要先下模板。
• 手工录入：至少 3 组，问题和预期答案都要填满。适合没有线上流量的冷启动。

预览时可以删，但不能少于 3 条，也可以再补。保存覆盖时，问题没改的条目 ID 不变，已有反馈和反馈历史不会丢。

推荐反馈优先推三类：现有 Guidelines 还没覆盖的场景、模型自己把握不高的输出，以及冷启动时配置问答的前 50 条。三种操作不能混：

• 好：当正向样本，进情景记忆，用来强化这类行为。
• 不好：必须写原因和期望答案，Ctrl+Enter 提交。
• 跳过：记下来，但不作为优化依据；系统如果仍觉得有用，以后还可能再推。

一张卡片评完会飞出，标题显示剩余条数。动画结束前不能评下一张。

问答检查用来对全部已配置问答做复查：按问题和预期答案做模糊搜索，可以只看「反馈过」的。详情里同时有问题、预期答案和 Agent 实际回答，点赞点踩和推荐反馈同一套。历史反馈只展示最近 3 次，并且不含跳过。

Guidelines 定义什么叫好回答，同时给 LLM Judge 打分，也给定提示词优化的约束。推荐稿来自 Agent 的名称和描述、配置的问答，以及前面两步的反馈。可以 Accept、Reject，或自己 Add。采纳后不能再点一次 Accept，但编辑区里仍可删除。Instructions 管高层目标和风格，Guidelines 管可检查的具体标准。文档建议两边一起改，没有说只改一边就够。

保存按钮会把变更拆进 Prompt、向量索引、LLM Judge、评估数据集、MCP 工具和 Agent 配置。生效大约有 30 秒延迟，成功提示写的是「预计将在 30 秒内生效」，并给预览入口。推荐反馈会在保存后异步刷新。这 30 秒是文档给出的等待，不是实测的优化提升。

这篇没有分数，限制比流程更重要

整页没有公布任何准确率、通过率或对照实验。能带走的是流程和上限：10 万条 Trace、三种 yes/no、名称与依据的字数、至少 3 条问答、200MB 文件、冷启动前 50 条、最近 3 次反馈、约 30 秒生效。多 Run 对比和代码评估器都还没交付。用这套文档做质量体系时，应把「单次 Trace 可解释」和「批量评估可回归」分开验收，不要把预览里一次聊通写成已经评测通过。

腾讯云，腾讯云文档，Agent 调试与测试，2026-09-11，https://cloud.tencent.com/document/product/1835/137682