研究与基准测试/2026-10-08/6 分钟裁判员均分只算 1 到 5:阿里云 ModelEval 停任务不退计算费阿里云 PAI ModelEval 把评测分成单模型在线、双模型在线竞技和双模型离线竞技。自定义 JSONL 每行一个对象。裁判员汇总分最低 1 分、最高 5 分,无效分不进均值。对比一次只能勾 2 到 5 个已成功任务,停止任务不退已消耗的计算资源。
研究与基准测试/2026-09-07/4 分钟指标和基准都盖不住主观题:阿里云 PAI 用裁判员补这一档阿里云 PAI 把评测分成指标、基准和人工三档。BLEU、ROUGE、METEOR 要有参考文本,MMLU、GSM8k、HumanEval 评不了发散题。裁判员收问题和回答,在线或批量返回分数和理由。页面声称中文效果可比 ChatGPT-4,但没有对照表。
研究与基准测试/2026-07-22/6 分钟领域分是同领域数据集的均值:阿里云 PAI 公开集评测不另给公式阿里云 PAI 的大模型评测把自定义题做成 JSONL,用 ROUGE、BLEU 或裁判员打分。公开集列出 MMLU、C-Eval 等七个,领域分是同一领域数据集得分的均值。页面没有加权公式,也没有贴出任何一次真实跑分。