Industry & PracticeResearch & Benchmarks
免费 额 度 只有 1 次: 华 为 云 合成 评 测 集 按 百万 Token 扣 CU
华为云智果 AgentArts 用已提交的种子评测集泛化新样本。赠送 1 次合成额度,之后输入每百万 Token 10.5 CU、输出 42 CU。样本数默认 1 到 500,且不超过种子条数的 10 倍。只合成 String,多轮列名必须是 input 和 reference_output。

In this piece
免费额度只有 1 次:华为云合成评测集按百万 Token 扣 CU
华为云帮助中心在 2026 年 11 月 2 日更新了智果(AgentArts)的「AI合成评测集」。智果是华为云的智能体平台,这一页讲的是用大模型把已有评测样本扩成更多验证数据。页面没有给出合成前后的得分对比,也没有写用的是哪一个模型。
先读种子,再按场景扩写
智能合成评测数据用来处理评测样本又少又偏的问题。文档把流程写成四步:分析种子样本的语义、风格和业务模式;按同样特征生成内容不同的新样本;多轮筛选以保证质量和多样性;再按用户指定的场景调整相关性。
适用场景有四类。已有生产数据但条数不够时,用来扩覆盖面,文档特别提到生产环境回流的异常样本。评测集有长尾、分布不均时,可以配置生成比例,并按标签、既有字段或自定义类别指定分布。对抗测试用来生成极端、边界和复杂逻辑样本。安全合规用来定向合成隐私泄露、敏感话题、偏见歧视等红线试探样本。这四类都是用途说明,页面没有给出各类样本的推荐比例。
赠送 1 次,之后按 CU 算
平台赠送 1 次智能合成任务额度。用完后仍可创建任务,超出部分按需计费。计费按任务消耗的 Token 换成 CU:输入每 100 万 Token 消耗 10.5 个 CU,输出每 100 万 Token 消耗 42 个 CU。
文档给的例子是 30 万输入 Token 和 120 万输出 Token。输入是 0.3×10.5,等于 3.15 个 CU;输出是 1.2×42,等于 50.4 个 CU;合计 53.55 个 CU。页面没有写 1 个 CU 折合多少钱,也没有写免费的那一次是否也计入这套系数。
使用前要开通 AgentArts,并且种子评测集里已经有数据。文档写明:种子内容越丰富,合成质量越高。它没有定义「丰富」的最低条数。
五条硬限制
| 限制 | 这一页写明的内容 |
|---|---|
| 任务总数 | 默认最多 1000 个,含那 1 次免费额度。到顶后删除旧任务才能腾出名额,或提交工单提额。删任务不会把已用掉的免费额度还回来 |
| 并行 | 默认最多 10 个任务同时跑,扩容要提交工单 |
| 字段类型 | 只合成 String。目标列若是 Integer、Float、Boolean,回流会失败 |
| 多轮对话 | 列名必须正好是 input 和 reference_output。写成 question、answer 这类自定义列名,功能不可用。多轮时也不能再添加新的合成列 |
| 种子状态 | 只能选已提交的评测集。修改未提交的评测集不能当种子 |
创建任务时能改的,和不能改的
入口在「观测与优化 > 评估 > 评测集」的「智能合成任务」页签。合成场景目前只有「基于种子数据泛化」,种子只能从已有评测集里选。
任务名 2 到 50 个字符,可用中文、英文、数字、下划线、中划线和空格,不能以空格开头或结尾,也不能用别的特殊字符。场景描述建议写成「评估的场景 + 智能体核心功能」。示例是评估「科学知识助手」,语料覆盖概念解释、原理机制、实验操作指导和科普问答。这是填写示例,不是评测结果。
要合成的列从种子评测集已有列里选,也可以新增列并写描述和合成要求,例如场景侧重、特征分布、详略程度。示例列名是 input 和 reference_output。
合成样本数默认是 1 到 500 的正整数。实际上限还会随种子条数变化:最多是评测集数据项的 10 倍。点「开始合成」后进入详情页,状态变成「成功」才算完成。也可以先「仅保存」成草稿,以后再点「运行」。
导出时,必填列必须全部映射上
合成完成后要勾选样本再导出,也可以不勾选、直接导出全部。目标可以是新建评测集,或追加到已有评测集。
新建时可以选择「自动发布新版本」或「保持草稿状态」。自动发布后状态是「已提交」,评估任务可以直接用。草稿是「修改未提交」,要先发布评测集版本才能用。
字段映射不允许把多个合成字段写进同一列。回流到已有列时,不能改那一列的数据类型,类型不一致会失败。目标评测集的全部必填字段都必须映射,否则导不出去。
导出若提示「数据校验失败」,文档只列了两类原因。第一类是字段结构不匹配。评测集有 input、reference_output、actual_output 三个必填列,合成只出了前两列,就会因为缺 actual_output 失败。若 actual_output 不是必填,但映射时只选了 input 和 actual_output、漏了必填的 reference_output,同样失败。处理办法是补合成列,或在导入界面把每个必填列都映射上。第二类是类型。合成结果只有 String。评测集创建后不能改字段类型,文档的办法是删掉评测集再建,并把接收回流的列设成 String。
这一页没有写合成样本的人工抽检比例,没有写失败任务会不会扣费,也没有写 10 倍上限在种子不足 50 条时,500 的默认上限和 10 倍上限哪一个先生效。示例里的科学知识助手没有样本量,也没有分数。
华为云,智果(AgentArts)文档,AI合成评测集,2026-11-02,https://support.huaweicloud.com/ops-agentarts/agentarts_14_0029.html
Found it useful? Pass it on
Scan with WeChat to open it on your phone and forward it.