裁判员均分只算 1 到 5：阿里云 ModelEval 停任务不退计算费

裁判员均分只算 1 到 5：阿里云 ModelEval 停任务不退计算费

阿里云帮助中心在 2026 年 10 月 8 日更新了 PAI 的「模型评测（ModelEval）」。PAI 是阿里云的人工智能平台。这一页规定评测怎么配、分数怎么汇总。快速开始里的千问 Qwen3-4B 和 CMMLU 只是配置示例，页面没有写出那次任务的得分。

三种模式，五种被测对象

评测模式三选一。单模型在线评测，给一次在线推理的结果打分。双模型在线竞技，两边都在线回答同一组问题，再选出更好的一个。双模型离线竞技不重新推理，用已经准备好的「问题-回答」数据做对比。

被测对象有五种。PAI Token 服务里已经部署的模型；Model Gallery 里的公共模型；在「AI 资产管理 > 模型」注册的自定义模型，文档要求 vLLM 能兼容；已经部署的 PAI-EAS 在线服务；任意符合 OpenAI 接口的自定义服务。公共模型和自定义模型还要兼容 HuggingFace 的 AutoModelForCausalLM。页面没有写接口不兼容时的报错原文。

快速开始把步骤压成一次单模型在线评测：公共模型选 Qwen3-4B，公开数据集勾 CMMLU，资源选单机标准机型、通用计算、公共资源。任务资源的例子是 ecs.gn7i-c8g1.2xlarge，显存 24 GB；库存不够可以换别的 GPU。工作空间没设过 OSS 默认路径时，结果输出路径要手选。状态变成「已成功」才能看报告。文档没有给出 Qwen3-4B 在 CMMLU 上的分数。

自定义题：有标准答案才算 ROUGE

自定义数据集必须是 UTF-8 的 JSONL，每行一个 JSON 对象，先上传到 OSS，再把路径填进配置页。两种方法可以同时选。

通用 NLP 指标要求同时有 question 和 answer。示例是 {"question": "中国的首都是哪里？", "answer": "北京"}。ROUGE-1、ROUGE-2、ROUGE-L 按召回看覆盖了多少标准答案里的信息点。BLEU-1 到 BLEU-4 按精确率看输出里有多少对得上。报告用雷达图展示这 13 个指标。附录把后缀写死：-p 是精确率，-r 是召回率，-f 是二者的调和平均数。rouge-l 的精确率是最长公共子序列长度除以系统输出长度，召回率是同一长度除以参考答案长度。

裁判员评测可以只有 question。示例是 {"question": "请介绍一下人工智能的发展历程"}。也可以同时带 answer。预置维度是正确性、幻觉度、有害性、指令遵循度、相关性，另外允许自定义评估指标。汇总只对有效打分计算，最低 1 分，最高 5 分，越大越好。Mean 是平均，Median 是中位数，StandardDeviation 是标准差。Skewness 是偏度：正偏度表示高分段那边尾巴更长，负偏度表示低分段那边尾巴更长。均值和中位数一样时，标准差越小越好。页面没有写什么样的打分算无效。

每条详情含问题、模型回答、参考答案，右上角可以导出报告。

公开集按领域取均值，对比一次 2 到 5 个任务

公开数据集按各自的评价框架算分。GSM8K 和 HellaSwag 较大，文档只说耗时会更长，没有写分钟数。这一页列出的集合和语言是：LiveCodeBench（代码，en）、Math500（500 道高难度数学竞赛题，en）、AIME25（2025 年美国数学邀请赛，en）、AIME24（2024 年美国数学邀请赛，en）、CMMLU（zh）、MMLU（en）、C-Eval（zh）、GSM8K（en）、HellaSwag（en，常识推理，由 Allen Institute for AI 开发）、TruthfulQA（en）。领域分仍是同一领域多个数据集得分的均值，没有写是否按题量加权。

对比必须勾选 2 到 5 个已经成功的任务。自定义结果页用表格比 Mean、Median、StandardDeviation、Skewness，再用雷达图比 BLEU 和 ROUGE。公开结果页比领域和各数据集。

执行中的任务可以停止。停止不可逆，不能恢复，已经消耗的计算资源不退。删除任务记录也不可恢复。

计费拆成四块，这一页都没有单价。计算走 PAI-DLC，可以用公共资源或资源配额。数据集和结果放 OSS。评测对象选了 PAI Token 服务，或者裁判员选了 pai-judge、pai-judge-plus 以外的模型，按 Token 计费。裁判员若选这两个，走裁判员模型自己的计费说明。除了控制台，还可以通过 PAI Python SDK 评测，具体调用不在这一页。

阿里云，PAI 文档，模型评测（ModelEval），2026-10-08，https://help.aliyun.com/zh/pai/modeleval