单次最多 10 个模型：华为云把自动评测拆成规则和裁判

单次最多 10 个模型：华为云把自动评测拆成规则和裁判

华为云 ModelArts 的《创建评测任务》更新时间是 2026-10-12。这一页只支持新版控制台，评测对象只支持「文本生成」。账号要实名，而且不能欠费或冻结。第一次用要配委托，让 ModelArts 访问 OBS。数据放在 OBS 里会另收存储费，这一页没有单价。

任务分三条：基于规则的自动评测、基于大模型的自动评测、人工评测。三条都从「模型评测 > 评测任务」进去，前两条在「自动评测」页签创建，人工在「人工评测」页签创建。

规则评测看文本像不像

任务名 1 到 128 位，可用大小写字母、数字、中划线、下划线和中文。描述可选，最多 512 个字符。服务类型只能选文本生成。一次最多评 10 个已经部署在 ModelArts 上的模型。

评测规则选「基于规则」时，用模型答案和标准答案的文本相似度打分。文档说这适合标准化选择题或简单问答。数据集可以是预置评测集，也可以是自定义评测集。自定义要放在 OBS 对象桶或并行文件系统，地址以 obs:// 或 / 开头，以 .jsonl 结尾，前缀以外不能出现 //。只能上传一个 jsonl，不超过 10 MB，最多 1000 条。每行是 messages 加 meta。meta 里有 class_level1、class_level2 和 case_no。示例里的 system、user、assistant 是一句英文寒暄，不是评测结果。

自定义评测集还要选指标，可以多选：F1、准确率、BLEU、ROUGE。F1 是精确率和召回率的调和平均。准确率要求标注和预测完全匹配。BLEU 看翻译和参考文本的相似度。ROUGE 看摘要或翻译和参考答案的相似度。页面没有给出公式和及格线。

结果也写到 OBS，目录必须以 / 结尾。资源池可以是大家共用的公共资源池，也可以是单独买的专属资源池。选专属时再选物理资源池或队列。实例规格上的 CPU、GPU、NPU 和内存是标称值，文档说系统开销会让实际可用略低，并且要留够磁盘下载文件。勾选「我已知晓评测任务将通过内网链接访问推理服务」之后，内网接入不用再审批。创建后等状态变成「已完成」，再开评测报告。

裁判模型多了评分和对比

基于大模型的自动评测，名称、描述、服务类型、10 个模型上限、jsonl 的 10 MB 和 1000 条、存储路径和资源池，都和规则评测相同。评测规则改成「基于大模型」：用更强的裁判模型给开放或复杂问答打分。裁判员本身也要是已经部署在 ModelArts 上的服务。这一页没有写裁判模型的名字。

模式有两个。评分模式按设定的标准打分。对比模式把每个服务和基准服务比成 win、lose 或 tie，而且至少要选 2 个服务。预置评测集在这一条路径上最多只能加一个。打分 Prompt 可以用不能改的预置模板，也可以新建自定义模板，填名称、人设和评测指标再保存。

这一条写明：单租户最多 2000 个评测任务。规则评测和人工评测那两节没有重复这句话。

人工评测可以盲测

人工任务同样最多 10 个文本生成服务，jsonl 同样是单文件、10 MB、1000 条。指标由用户自己写标准和打分方式，最多同时 6 个。没有预置评测集这一项。

盲测打开之后，打分的人看不到模型名，多个模型的顺序也会打乱。评测人员必须逐个配好。文档要求所有配进去的人都给所有 case 打完分，才出报告。状态到「待评测」后，从操作列进「在线评测」。可以给用例标「存疑」或「作废」，也可以取消。每个指标打完分，点「保存并下一个」。可以回到上一个改分，也可以加备注。长按选中文字再点「标记」，会记成重点。全部评完要点「提交」。回到列表可以看报告，也可以再做一次「人工复核」，复核完再提交。

限制

这一页没有预置评测集的名单，没有分数，没有及格线。10 个模型、6 个自定义指标、1000 条、10 MB、128 位任务名、512 字描述，是写明的上限。2000 这个租户上限只出现在基于大模型的自动评测一节。对比模式不能只评 1 个服务。文本生成以外的类型不能建。规格表没有给出具体卡型。OBS 费用不在这里。

华为云，创建评测任务，2026-10-12，https://support.huaweicloud.com/model-evaluation-modelarts/model-evaluation-modelarts-0005.html