预置六项没有分数：阿里云 AgentLoop 只规定评估器怎么打

预置六项没有分数：阿里云 AgentLoop 只规定评估器怎么打

这篇整理阿里云帮助中心《评估器》。页面上可见的「更新时间」是空的。HTML 里 meta name="last-modified" 是 2026-08-25 14:52:11 +08:00，meta name="date" 是 2026-06-23。下面按 last-modified 记这一版。页脚是版权所有，没有另写禁止引用。正文只整理这一页怎么配评估器，以及它没有给出的数字。

AgentLoop 是阿里云面向企业级智能体的观测与优化产品。这一页的评估器（Evaluator）用来度量 Agent 输出质量。页面先否定一类旧办法：正则匹配、关键词检索、Rouge/BLEU 已经量不准会推理、会用工具的智能体。这句话没有对照分。

评估器分两种。Agent Judge 用大模型做裁判，适合复杂语义判断。Code 评估器用 Python 或 JavaScript 跑确定性规则，适合 JSON 字段缺不缺、数值是否在容差内、必需工具有没有被调用这类对错清楚、结果要能复现的检查。Code 的具体写法不在这一页，页面指向同目录的《Code 评估器》。

六项预置，说明里没有准确率

页面说预置评估器经过深度优化，没有样本数，也没有准确率。六项按三组列出。

质量与事实：Agent 正确性，看回答在客观事实或业务逻辑上是否正确。Agent 幻觉检测，识别编造并拦截虚假内容。Agent 回答证据支持度，给 RAG 用，核查回答是否严谨地基于检索到的上下文。

任务与行动：Agent 任务完成度，看用户原来的目标有没有被完整做完，焦点在终态。Agent 工具选择合理性，审计决策过程，看工具选得是不是最优、参数传得准不准。

效率与成本只列了一项：Agent 执行步骤效率。它审计推理轨迹 Trace，找冗余步骤，目的是在质量不变的前提下少花 Token、缩短响应。页面没有写出多少步算冗余，也没有 Token 或耗时的阈值。

Agent Judge 相对传统方案的四条优势是：能理解业务上下文；能挂 Skills 和 MCP，执行代码或检索外部事实；用思维链轨迹还原打分逻辑；结构化输出，用来驱动自动化 A/B 测试和数据集迭代。优势段写了 MCP。后面的创建步骤只写了上传 SKILL.md，没有写出 MCP 的挂载步骤。两句都留着，不合成「创建时可以配 MCP」。

创建后，名称和类型都不能改

自定义评估器分三步。

第一步是基础信息。名称与标识必填，是全局唯一标识，给 API 和系统索引用，创建后不可修改。评估器类型必填，只能选 Agent 或 Code，创建后也不可修改。选 Agent 就继续配 Prompt 和能力；选 Code 就去评估代码页签写可执行代码。显示名称可选，不填就显示评估器名称。描述信息写用途、场景和评判偏好。标签输入后回车，例子是「安全性」「RAG」「财务部」。

第二步只对 Agent 类型。评估 Prompt 被写成裁判的标准作业程序，页面建议包含五个要素，并给了例子，这些例子不是实测结果。

角色：告诉裁判身份和目标。例子是金融风控合规专家，按合规准则审计客服 Agent。

评估维度：把指标拆成子项，避免凭感觉打分。例子是事实一致性，以及语气里有没有「稳赚不赔」这类绝对化用语。

评分标准：写明用 5 分制、3 分制、Pass/Fail、扣分制还是加分制，以及每一档是什么意思。5 分制的例子是：5 分完美无瑕疵，3 分基本正确但有次要遗漏，1 分有严重事实错误或踩合规底线。页面没有解释 2 分和 4 分。

评分清单：规定分值和维度怎么合在一起。例子是发现敏感词扣 2 分，逻辑不连贯扣 1 分，完全闭环且有人文关怀可以满分。

上下文变量用 {{变量名}} 注入。页面列出的自动替换是：{{input}} 用户原问题，{{output}} 被测 Agent 的回答，{{expected_output}} 参考答案，{{agent_trajectory}} Agent 内部最小执行链路，{{tool_context}} 工具参数、返回和上下文，{{rag_context}} RAG 检索到的原始片段。

页面另给了一个 RAG 忠实度评估器的 Prompt 骨架，用的是 1 到 3 分，不是上面的 5 分制。3 分是所有观点都能在参考片段里找到；2 分是大部分正确，但有片段里没提到的信息；1 分是严重脱离或直接违背参考片段。清单要求先抽出回答里的核心断言，再逐条到片段里找证据，把冲突证据写进 reason。可以一键引用内置模板再改。

能力挂载在这一页只写了 Skills：上传 SKILL.md，让评估器能执行代码、做多步验证。

第三步是输出协议。Score 评分必选，是结构化数值，驱动看板和对比报告。Reason 理由必选，写打分依据。CoT 思考轨迹可选，用来排查评估器自己判错。页面没有规定 Score 的取值范围，5 分制和 1 到 3 分制都只是 Prompt 示例。

入口是控制台左侧「评估」，顶部页签「评估器」。左侧按预置或自定义、按标签筛选。顶部可以搜索或创建。列表里可以看详情、编辑、删除或克隆。名称和类型创建后不能改，页面没有写克隆会不会生成新的标识。

这些句子不能被读成什么

这一页没有准确率、召回率、样本数或延迟。「深度优化」「量不准」都没有对照实验。六项预置评估器只有用途说明。扣分例子和分档例子是 Prompt 写法，不是线上扣分统计。优势段的 MCP 和创建步骤里的 SKILL.md 没有被收成同一步操作。Code 评估器的 evaluate 函数不在这一页。没有线上失败比例，也没有 A/B 测试的结果。

出处：阿里云，AgentLoop 帮助中心，评估器，2026-08-25，https://help.aliyun.com/zh/agentloop/user-guide/evaluator/