指标和基准都盖不住主观题：阿里云 PAI 用裁判员补这一档

指标和基准都盖不住主观题：阿里云 PAI 用裁判员补这一档

阿里云帮助中心在 2026 年 9 月 7 日更新了 PAI 的「裁判员模型」。PAI 是阿里云的人工智能平台。这一页对比三种旧评测和裁判员的分工，没有样本量，也没有分数表。

三种旧办法，各留一块空

指标评测用 BLEU、ROUGE、METEOR 这类重合度，拿生成文本和参考文本比。文档写的局限是：主要适合文本摘要和机器翻译，必须有参考文本，而且多半只看表面相似，可能漏掉深层语义和上下文是否连贯。

基准评测用固定数据集，页面点名 MMLU、GSM8k、HumanEval。客观题有标准答案，方便做排行榜。文档写的局限是：评的是预定义任务，主观题和发散题评不了。

人工评测先定标准，再由人打分、做统计。它能处理没有明确参考答案的主观题，结果可以和人的预期对齐。文档写的代价是资源和时间。这里没有写需要几个人、多少题。

裁判员收的是问题和回答

裁判员模型是用来给其他模型的输出打分的辅助模型。PAI 把它做成开箱即用的 LLM-as-a-Judge：不靠人工标注，不限定某一种任务，主观题和客观题都可以批量评。使用者交进去的是问题，以及待评测模型的回答。

场景分类的例子包括开放性问题（闲聊、咨询、推荐）、创意写作、代码生成、角色扮演。文档说不同场景会用不同评测标准，并写「极大提高了评测的准确率」。这一页没有准确率数字，也没有对照实验。

使用入口有三条。控制台给初级试用。Python SDK 或 HTTP 可以在线调用，也可以准备批量数据离线调用，返回分数和理由。在模型评测里还可以选预置的多种 LLM，把推理和评测接在一起。请求字段、分数区间和批量上限都不在这一页，计费也只指向另一篇「裁判员模型计费说明」。

页面还有一句：用较便宜的价格，就能在中文评价场景里提供与 ChatGPT-4 相媲美的评测性能。没有价格，没有对照表，没有评测集名称。这句话不能当成已经测完的结论。

阿里云，PAI 文档，裁判员模型，2026-09-07，https://help.aliyun.com/zh/pai/judge-model