行业与实践 · 标签「裁判员」

最新优先最早优先

查看全部

研究与基准测试2026-11-037 分钟
提交之后不能改 BOS：百度千帆自动评估一次最多选 5 个模型
百度千帆自动评估只支持文本生成。GSB 只有 Good、Same、Bad 三档，Same 把一样好和一样差放在一起。模型和已有结果集都最多 5 个。预置裁判员指标是事实性错误、情感倾向性、语义连贯性。自定义指标最多 10 个。
研究与基准测试2026-10-086 分钟
裁判员均分只算 1 到 5：阿里云 ModelEval 停任务不退计算费
阿里云 PAI ModelEval 把评测分成单模型在线、双模型在线竞技和双模型离线竞技。自定义 JSONL 每行一个对象。裁判员汇总分最低 1 分、最高 5 分，无效分不进均值。对比一次只能勾 2 到 5 个已成功任务，停止任务不退已消耗的计算资源。
研究与基准测试2026-09-074 分钟
指标和基准都盖不住主观题：阿里云 PAI 用裁判员补这一档
阿里云 PAI 把评测分成指标、基准和人工三档。BLEU、ROUGE、METEOR 要有参考文本，MMLU、GSM8k、HumanEval 评不了发散题。裁判员收问题和回答，在线或批量返回分数和理由。页面声称中文效果可比 ChatGPT-4，但没有对照表。
研究与基准测试2026-08-196 分钟
1 到 5 分不能和 0 到 1 混加：阿里云 LangStudio 把应用评测拆成两段
阿里云 LangStudio 规定上线前先把 JSONL 评测集逐行跑出输出，再用辅助字段打分。完全一致率是 0 到 1，其余六项是 1 到 5，文档没有换算公式。虚构性和有害性都是分高更好，但含义与字面相反。
研究与基准测试2026-07-104 分钟
分数只能落在 2 到 10：阿里云 PAI 裁判员要自己写分档含义
阿里云 PAI 的裁判员在线体验不用评测集。可选 pai-judge 或更大的 pai-judge-plus，单模型打分或双模型竞技。评分范围只能设在 2 到 10，Temperature 取 [0, 2)，Top_p 取 [0, 1]。页面没有默认分档文案。

提交之后不能改 BOS：百度千帆自动评估一次最多选 5 个模型

裁判员均分只算 1 到 5：阿里云 ModelEval 停任务不退计算费

指标和基准都盖不住主观题：阿里云 PAI 用裁判员补这一档

1 到 5 分不能和 0 到 1 混加：阿里云 LangStudio 把应用评测拆成两段

分数只能落在 2 到 10：阿里云 PAI 裁判员要自己写分档含义