一个任务最多 10 个评估器：百炼 Evolution 把通过线放在阈值上

一个任务最多 10 个评估器：百炼 Evolution 把通过线放在阈值上

阿里云百炼 Evolution 的《评估器》页面，HTML 里的发布日期是 2026-09-17。页面上的「更新时间」没有填出具体钟点，源码 last-modified 是 2026-10-10。下面按这一页写的规则来，不把更新日期当成另一篇文档。

评估器定义怎么打分。评测任务拿它去打具体数据。一个评估器可以挂到多个任务上。Evolution 是百炼里做 Agent 评测的那一套，这一页没有解释产品全称。

三条创建路径

预置模板分五类：通用质量、智能体、文本匹配、文本相似度和格式校验。不同模板要的字段不一样。文档举的例子是「问答相关性」，必选参数是 query 和 response，对应评测集里的 Prompt 和 Completion。可以先点「查看详情」看必选参数，再去建评测集。从模板卡上「基于预置创建」之后，还要试运行，点「开始运行」，逻辑对了再保存。

自定义有两种。LLM 评估器用大模型做语义打分。名称最多 50 个字符，描述最多 200 个字符。评估模型这一页写的是限时免费，没有写免费到哪一天。评分范围会写进系统提示词，所以改范围时要和提示词一致。通过阈值决定 Pass 还是 Fail：分数大于等于阈值是 Pass，小于是 Fail。文档建议精细评估用较大范围，例如 0 到 100；快速分类用 0 到 1 或 1 到 5；阈值通常取范围中点。这些是建议，不是写死的默认值。

Code 评估器用 Python 3.10。系统预置 query 和 response，可以改，也可以删，再自己加变量。函数签名必须带上入参里定义的全部参数，返回值必须是评分范围内的数值。文档建议写错误处理，但没有给出异常时的分数。评分范围和通过阈值的规则与 LLM 评估器相同。试运行的测试数据要带上所有入参。页面给的例子是一条中文问答，问「什么是人工智能？」。

第三条是从已经评完的历史任务里抽规则，生成新的 LLM 评估器。只能选「已完成评估」的任务。没完成会提示「评测任务中的该评估器状态未完成」。字段有三项：query 映射到评测集里的问题字段，例如 Prompt；response 映射到应用输出或评测集字段，例如 Completion；label_score 是数字，映射的是任务里评估器打出来的分，显示成「评估器名称_版本号 自动」，不是评测集原字段。任务描述可选，用来写系统用途、用户和场景，再拿去生成评估 Prompt。输出语言只有中文或英文。这种评估器不能试运行，要放进评测任务里才看得到效果。文档建议标注又多又好，但没有写最少多少条。

挂进任务之后

创建评测任务时点「添加评估器」，选自定义或预置，再选版本号。每个评测任务最多 10 个评估器。query、context、reference_response 以及 Prompt 里引用的变量都要映射完，才能继续创建。映射错了，评估器跑不起来。文档里的例子把 query 映射到评测集的 question，把 reference 映射到「标准答案」，response 可以来自模型输出，也可以来自评测集字段。

任务列表上能看到评测状态、任务名称、评测集名称、应用及评分（通过率）、评估器详情（自动）、标签详情（人工）、Token 消耗和评测时间。自动那一列给出每个评估器是进行中还是完成，以及通过率。详情页的指标不在这一页。

列表里可以按 LLM 或 Code 筛选，名称搜索模糊匹配，搜索框也限制 50 个字符。编辑时能看到历史版本，选中后「覆盖当前草稿」只是切去看那个版本的配置。复制按当前最新版本带出全部配置。删除不能恢复。已经被评测任务用着的评估器删不掉。

怎么选，以及这一页没写的

LLM 适合相关性、有害性和幻觉，优点是灵活，费用是 Token。Code 适合格式、数值和精确匹配，结果可重复，没有额外费用。文档建议语义用 LLM，要确定结果用 Code，复杂场景把多个评估器叠在一起。提高 LLM 准确性时，它建议用 32B 以上参数量的模型，并在创建前用多组测试数据试运行。没有点名哪一个 32B 模型，也没有给出准确率数字。

限制

这一页没有预置评估器的名单和分数，没有通过率样例，没有评测集行数上限。10 个是单个评测任务能挂的评估器上限。50 和 200 是名称和描述的字数上限。阈值没有默认数。评估模型「限时免费」没有截止日期。从历史任务生成的评估器不能在本页试运行。删除被占用的评估器会被拦住，页面没有写怎样批量解绑。

阿里云，评估器，2026-09-17，https://help.aliyun.com/zh/model-studio/agenteval-grader