Not translated yet — showing the Chinese originals.

Industry & Practice · Tagged “ModelEval”

Research & Benchmarks2026-10-086 min
裁判员均分只算 1 到 5：阿里云 ModelEval 停任务不退计算费
阿里云 PAI ModelEval 把评测分成单模型在线、双模型在线竞技和双模型离线竞技。自定义 JSONL 每行一个对象。裁判员汇总分最低 1 分、最高 5 分，无效分不进均值。对比一次只能勾 2 到 5 个已成功任务，停止任务不退已消耗的计算资源。
Research & Benchmarks2026-07-226 min
领域分是同领域数据集的均值：阿里云 PAI 公开集评测不另给公式
阿里云 PAI 的大模型评测把自定义题做成 JSONL，用 ROUGE、BLEU 或裁判员打分。公开集列出 MMLU、C-Eval 等七个，领域分是同一领域数据集得分的均值。页面没有加权公式，也没有贴出任何一次真实跑分。
Research & Benchmarks2026-07-104 min
分数只能落在 2 到 10：阿里云 PAI 裁判员要自己写分档含义
阿里云 PAI 的裁判员在线体验不用评测集。可选 pai-judge 或更大的 pai-judge-plus，单模型打分或双模型竞技。评分范围只能设在 2 到 10，Temperature 取 [0, 2)，Top_p 取 [0, 1]。页面没有默认分档文案。