提交之后不能改 BOS：百度千帆自动评估一次最多选 5 个模型

提交之后不能改 BOS：百度千帆自动评估一次最多选 5 个模型

百度智能云文档中心在 2026 年 11 月 3 日更新了千帆的「创建自动评估任务」。千帆是百度的大模型服务和 Agent 开发平台。这一页规定自动评估怎么配、裁判员看什么。页面没有贴出任何一次真实打分。

只评文本，图像和跨模态先排除

文档先把评估数据集解释成测试集：训练集用来训练，验证集用来调超参和选模型，测试集在训练完成后用来评估性能，也可以看模型在没见过的数据上的泛化。这一段没有写划分比例。

自动评估评的是生成式大模型的输出。面向事实类问答，也面向开放性问答，有多种打分模式。当前只支持文本类生成模型。图像生成和跨模态生成不支持。

入口是左侧「模型服务-模型评估-效果评估」，进入自动评估，点「创建评估任务」。任务名称和描述要填。这一页没有写出字数上限。

对比只有三档，推理结果最多 5 份

GSB 对比评估可以比两个模型，也可以比同一个模型在不同 Prompt 或参数下的效果。选项只有三个。Good：基准模型比对比模型好。Same：两者一样好，或者一样差。Bad：基准模型比对比模型差。Same 把「一样好」和「一样差」放在同一档，页面没有再拆开。

推理结果集可以新建，也可以选已有的。新建时，位置可以是平台共享存储，或对象存储 BOS。BOS 是百度的对象存储。选 BOS 还要指定 Bucket 和文件夹。数据如果不在平台存储上，做管理、评估、处理时，要自己保证地址还有效。

新建时，待评估模型可以多选，最多 5 个模型版本。预置模型和训练后的模型可以一起选。评估数据集可以选平台数据集或预置数据集。数据集如果在 BOS 里，提交任务之后不能改。文档写：改了可能导致任务失败。评估模型按模型服务的批量推理计费。这一页没有单价。

选已有推理结果集时，最多 5 个。

规则打分要停用词，裁判员先给三个指标

评估方法先选指标类型：预置评估指标，或自定义评估指标。

预置里可以选「自动规则打分」或「自动裁判员打分」。

自动规则打分用预置的相似度或准确率规则，拿模型生成结果和真实标注比，算出指标。为了减少特殊字符和单词的影响，可以设停用词表，评估时自动过滤。停用词之间用空格或回车分开。示例文件不在这一页，指标解释指向另一篇「自动规则打分指标」。

自动裁判员打分用一个更强的大模型给生成结果打分，文档说适合开放性或复杂问答。预置的裁判员指标是三个：事实性错误、情感倾向性、语义连贯性。页面没有写这三项的分值区间，也没有写一项不及格时任务怎么处理。

裁判员可以选预置模型，也可以选用户自己的模型。预置名单是 ERNIE 4.0、ERNIE 4.0 Turbo、ERNIE 3.5。ERNIE 是百度的文心系列。页面没有参数量，也没有写这三个裁判员之间的分差。

自定义指标最多 10 个，模板分两种

自定义评估指标只支持自动裁判员打分。可以自己写打分 Prompt，再设评估指标。裁判员同样可以是预置模型或自己的模型。

打分 Prompt 可以用平台模板，也可以新建。平台模板两种。一种是「裁判员模型打分模板（含参考答案）」。另一种是「裁判员 GSB 打分模板（含参考答案）」，只有打开了 GSB 基准对比才能选。模板会在评分时送给裁判员。

选了模板可以展开看全文，并在右侧改评分指标和评分步骤。打分 Prompt 可以改三个变量：最大打分值 max_score、评分指标 metric、评分步骤 steps。分数是按答案的综合水平，打到 max_score 及以下。页面没有写 max_score 的默认值，也没有写允许的上下限。

改完可以到「在线测试」里验证这段 Prompt。在线测试的结果怎么回到评估任务，这一页没有写。

自己新建模板时，要填模板名称、裁判员身份设定、评估指标。评估指标下面有 Prompt 预览。右侧有预置变量，点一下就插进 Prompt。评估指标最多自定义 10 个。每个指标要写指标说明、量级、量级说明。保存后就可以用。已有的自定义模板可以再选、再编辑、再删除。改过评分指标或评分步骤之后，同样可以去在线测试验证。

这一页没有样例分数，没有通过线，没有写 5 个模型或 5 份结果集打成平局时怎么排序，也没有写停用词过滤之后，相似度和准确率的计算公式。

百度智能云，千帆文档，创建自动评估任务，2026-11-03，https://cloud.baidu.com/doc/qianfan/s/gmh4sucbh