Industry & Practice · Tagged “LLM-as-a-Judge”

Research & Benchmarks/2026-09-07/4 min

指标和基准都盖不住主观题：阿里云 PAI 用裁判员补这一档

阿里云 PAI 把评测分成指标、基准和人工三档。BLEU、ROUGE、METEOR 要有参考文本，MMLU、GSM8k、HumanEval 评不了发散题。裁判员收问题和回答，在线或批量返回分数和理由。页面声称中文效果可比 ChatGPT-4，但没有对照表。