领域分是同领域数据集的均值：阿里云 PAI 公开集评测不另给公式

领域分是同领域数据集的均值：阿里云 PAI 公开集评测不另给公式

阿里云帮助中心在 2026 年 7 月 22 日更新了 PAI 的「大模型评测最佳实践」。PAI 是阿里云的人工智能平台。这一页讲怎么用自定义数据和公开数据给大模型打分，页面本身没有贴出任何一次真实跑分。

两条路：文本重合，或裁判员

自定义数据集面向企业自己的私有题。格式是 JSONL，示例文件叫 llmuses_general_qa_test.jsonl，大小 76 KB。文档给出的两行是：

[{"question": "中国发明了造纸术，是否正确？", "answer": "正确"}]

[{"question": "中国发明了火药，是否正确？", "answer": "正确"}]

question 是问题，answer 是答案。文件先传到 OSS，再从阿里云产品创建成评测集。这两句只说明列名，不是评测结论。

评测方法有两种。通用指标评测拿预测和参考答案做文本相似度，文档点名 ROUGE 和 BLEU，适合有确定答案的题。裁判员模型评测用 PAI 的裁判员模型给答案打分，可以不提供参考答案，适合答案不唯一的题。选裁判员时要另填裁判员模型服务 Token。结果包括整体评分和 5 个细分指标，这一页没有写出那 5 个指标的名字，也没有写出分数区间。

默认的通用指标一共 13 个：rouge-1、rouge-2、rouge-l 各自的 f、p、r，外加 bleu-1 到 bleu-4。rouge-n 看连续 N 个词的重叠，rouge-1 是 unigram，rouge-2 是 bigram，rouge-l 用最长公共子序列。bleu-n 看机器输出和参考翻译之间的 N-gram 重合。文档说这些值越大越好，没有写及格线。

模型从 Model Gallery 选。卡片上有「评测」的才能评。微调成功的训练任务详情页右上角也有「评测」。支持范围写成 HuggingFace 里所有 AutoModelForCausalLM。对比例子包括 Qwen2-7B-Instruct 对 Baichuan2-7B-Chat、同一模型不同 epoch、以及 GPTQ-Int4 对 GPTQ-Int8。这些是场景说明，不是本页的实测分数。

结果写到指定的 OSS 路径。资源可以是公共资源组、通用计算资源或灵骏智算资源。公共资源组会按模型规格给默认推荐，页面没有写默认规格的名字。任务状态变成「已成功」后才能看报告，报告里还有每条数据的详情。多个任务可以勾选后点「对比」，雷达图覆盖 bleu-1 至 bleu-4，以及 rouge-1、rouge-2、rouge-l 的 precision、recall、f-score，表格可以导出。

七个公开集，领域分取平均

公开数据集评测按领域看综合能力，同样是分高更好。这一页列出的集合如下。

文档说其他公开集会陆续接入，没有写下一批评测集的名字。创建任务时，模型下拉框的例子是 Qwen3-235B-A22B，同样只是填写示例。

单任务报告的入口文字写的是「自定义数据集评测结果」页面，评测报告页签下再切到「公共数据集评测结果」，雷达图覆盖上面这七个集合。多任务对比时，上面是各数据集得分的雷达图，下面表格有任务名称、模型名和各数据集得分。

领域分的算法只有一句：同一领域若有多个数据集，把这些数据集上的得分取均值，当作领域得分。页面没有写均值是简单平均还是按数据量加权，也没有写某个数据集内部的官方 metrics 叫什么，只说完整还原了官方评测方法。左图是领域，右图是单个数据集。

评测代码放在和 ModelScope 共建的开源库 eval-scope 里，文档说结果可以复现，但这一页没有给出仓库地址和版本号。

快速开始本身不收费。评测可能产生 PAI-DLC 的分布式训练费用，自定义数据集放在 OSS 上还会产生存储费用。页面没有单价。也没有写失败重试次数、并发上限，以及裁判员 5 个细分指标和通用指标能不能放在同一张雷达图里相加。

阿里云，PAI 文档，大模型评测最佳实践，2026-07-22，https://help.aliyun.com/zh/pai/use-cases/best-practices-for-llm-evaluation