裁判模型怎么打分：阿里云百炼的大模型评估维度

裁判模型怎么打分：阿里云百炼的大模型评估维度

阿里云帮助中心在 2026 年 11 月 3 日更新了大模型服务平台百炼（Model Studio，用来选模型、管评测集和跑评测任务的控制台）里「大模型评估」这一类评测维度。它要解决的是：被评测模型已经给出回答之后，谁来打分、分怎么落成 Pass 或 Fail。文档的做法是再叫一个裁判模型，按评分器 Prompt 阅读输出，而不是让被评模型自己报分。

两种打法

大模型评估由裁判模型执行。文档举例用千问-Max（通义千问系列里推理能力较强的一档）。两种方式：

1. 数值型。裁判模型在一个整数区间里打连续分，例如 0 到 5。适合问答质量和内容生成这种要拉开差距的场景。系统再用通过阈值把分数收成 Pass 或 Fail。
2. 分类型。裁判模型直接打用户定义的标签，常见是 Pass 和 Fail。适合内容安全和答案对错这种先要理解语义、再做判定的场景。

数值型输出的是区间内的整数分；分类型直接输出标签。两种都会按 Token 调用裁判模型。文档写明创建和管理维度模板不收费，任务真正跑起来才按裁判模型计费，并且当前限时免费。和其他维度（规则匹配、文本相似度、人工标注）怎么选，文档指向另一页「评测维度」，这里不展开。

维度怎么建

入口在百炼控制台的模型评测、评测维度。可以按类型和标签筛预置模板，点使用模板套用；也可以新建自定义维度。

公共字段只有三项：

• 维度名称必填，不超过 20 个字符。
• 描述选填，不超过 100 个字符。
• 类型必填，只能是数值型或分类型。类型一旦保存不能改，选错只能删掉重建。

数值型接着做六步：选裁判模型（文档推荐千问-Max）；选预置评分器模板或改默认 Prompt；评分器 Prompt 里至少放一个变量；评分范围的最小值和最大值都是整数，最小值不小于 0，最大值不小于 1，默认 0～5；通过阈值是「达到该分及以上算 Pass」，步长 0.1，并跟着评分范围联动；然后保存。

分类型少了分数区间，多了标签：Prompt 至少含一个变量，长度不超过 20000 个字符；Pass 标签和 Fail 标签各自不超过 20 个字符，两组不能重复。

评分器 Prompt 看什么

评分器 Prompt 定义标准和输出格式。系统只认三个变量，评测时替换成真实内容。编辑器里输入 / 可以引用：

• ${messages}：完整对话。多轮 ChatML 评测集是全部消息；单轮 prompt&completion 评测集是用户输入。
• ${completion}：参考回复。单轮来自数据集里的参考答案，多轮取最后一条 assistant 消息。
• ${output}：被评测模型对当前问题的回复。

一个变量都没有就不能提交。

预置模板按类型和标签从系统配置动态拉取。标签包括通用质量、文本匹配、文本相似度、安全性、文本分类。数值型列出 14 个：翻译质量、内容创造性、风险识别完整性、隐私保护、建议可执行性、回答有用性、逻辑连贯性、回答简洁性、语言流畅性、回答完整性、问答相关性、幻觉现象、指令遵循程度、与参考答案一致性。分类型列出 5 个：问题解决状态、问题可回答性、安全风险、用户意图、情感倾向（正向、中性或负向）。合计 19 个，和文首的数字一致。

自己写 Prompt 时，文档要求三件事：用上面三个变量引用数据；分类型写清每个标签的条件，数值型写清每一档分数代表什么质量；规定输出格式，让系统能解析裁判结果。文档给的分类型例子是：回答含参考答案的核心要素且没有事实错误就 Pass，漏掉关键信息或有事实错误就 Fail，并且只输出 Pass 或 Fail。

切换模板会整段覆盖当前 Prompt。手改过的内容要先备份，这是预期行为，不是故障。

工具栏里的「优化」会按当前 Prompt 再生成一版，可以立即使用、重新生成或退出。试运行用样例数据看右侧评分结果。文档写试运行和这里的裁判模型调用限时免费。

分数挤在一起时先查什么

提交时提示缺少变量，就是三个变量一个都没写对，格式必须是 ${变量名}。

评测跑完但分数挤在一个档、区分度低，文档的排查顺序是：先看评分标准是否写清、变量是否引用正确，模糊标准会让裁判模型扎堆给分，应为每一档写判定条件；再看裁判模型推理够不够，仍推荐千问-Max；然后定期人工抽查校准。Prompt 写法另见百炼的 Prompt 最佳实践，不在本页。

需要说明的限制：以上字符上限、分数步长、19 个模板名称和「限时免费」都来自该帮助页的产品说明，不是独立复测；免费窗口何时结束，页面没有给出截止日期；文档也没有某一套业务评测集上的分数。

出处：阿里云，阿里云帮助中心，《大模型评估》，2026-11-03，https://help.aliyun.com/zh/model-studio/evaluation-dimension-llm