默认并发 5 条：火山引擎用同一评测集对照多次实验

火山引擎数据智能体把一次评测实验定义成三元组：评测集、评测对象、若干评估器。评测集是带标准列的测试数据；评测对象是被测 Agent；评估器是按规则或模型给输出打分的组件。三者凑齐后执行评测，再用结果做业务判断。文档写的是怎么建实验、怎么读结果、怎么对照，不是某一次对外公布的跑分。

前提：评测集必填，另外两件可以空

完成实验必须先有评测集，并往里加数据。Agent 不是必选项。不选 Agent 时，实验直接评测评测集，适合评测集里已经有 Agent 实际输出的场景。要评测 Agent，需要先把 Agent 加进空间。

评估器也不是必选项。不加评估器时，实验只拿到 Agent 的实际输出，留给人工标注。要自动打分，需要先创建评估器。

新建：并发默认 5 条，硬顶 20 条

入口在增长分析平台（火山引擎里看增长和 Agent 运营的控制台）顶部的 Agent 运营分析，左侧选业务空间，再进评测工具里的实验评测，点新建实验。

基础信息有三项。名称用来标识这次实验。描述用来写用途和限制。最大并发执行条数选填，默认 5 条。任务会并发跑评测集里的条目，但实际速度还受评测对象的并发度，以及调用评测方法的模型 TPM（每分钟可处理的 token 数）限制。这里填的是理想上限，最多 20 条。

下一步选择评测集和版本。选中后页面展示描述、列名称和数据总量，也可以跳去看评测集详情。

评测对象这一步可以跳过。如果列参数里已经有 actual_output（评测集中预先放好的 Agent 实际输出），点页面底部的跳过即可。否则类型选 Agent，再选具体 Agent，并做字段映射，让评测对象从评测集取到正确输入。

评估器同样可以跳过。跳过之后任务只收集实际输出。不跳过则点添加评估器。评估器可以加多个，上限 10 个。选评估器和版本后，Prompt 详情区能看到模型、模型参数和 Prompt。字段映射要把评估器字段，对上评测集字段和评测对象的实际输出，评测方法才能取到输入。

信息确认页核对无误后发起实验。发起后状态是进行中，要等执行完成。

读结果：分数可以改，链路可以打开

实验成功后，在操作列进详情，看基础信息、明细数据和指标统计。

基础信息包括评测集、评估器、评测对象、创建人和创建时间。明细能看到列参数值、评估器打分。点某一行的详情，能看到评测集数据、评估器得分和理由。鼠标停在评估器上，可以跳到评估器详情。

得分允许人工校准。明细列表和数据详情页都能进。人工输入评分和原因后点更新，评估器原来的分数和理由会被改掉。

评估器 Trace（一次打分调用的链路）也能打开。里面有调用树，以及各 Span（链路里的单步）的 Run、Metadata。文档把更细的链路说明指到观测数据。

指标统计页看评估器的聚合得分，以及得分明细视图。

对照、失败和导出

只有使用同一评测集、而且已经跑完的实验，才能做数据对比。可以在某个实验详情页右上角进实验对比，也可以在实验列表里批量勾选，再发起对比。对比页能看数据明细和指标统计。右上角可以切换基准任务，也可以继续加对比任务。

失败的实验可以在操作列重试，整次重跑。复制实验会按当前配置新建一条，新建过程中可以改原配置。删除后不能恢复。

导出在操作列的更多菜单里。弹窗目前只支持 CSV。导出成功后能看导出记录并下载。

这些限制要一起看：并发默认 5、最多 20，还受对象并发和模型 TPM 卡住；评估器最多 10 个；对照要求同一评测集且都已完成；删除不可恢复；导出格式只有 CSV。页面没有给出某次实验的样本条数、对照分差或线上通过率。

字节跳动，火山引擎，管理评测实验，2026-08-04，https://www.volcengine.com/docs/Dataagent/management-evaluation-experiment