同一评测集才能比版本：火山引擎技能实验默认只在北京跑

同一评测集才能比版本：火山引擎技能实验默认只在北京跑

火山引擎 AgentKit（面向智能体开发与技能发布的平台）在 2026 年 10 月 21 日更新的文档里，把技能评测实验定义成一次动态评测：评测数据集、评测对象（目标技能的某个版本）和执行模型放在一起跑，再出实验报告。报告给版本迭代和能不能上线做依据。文档写明，这个功能当前只支持华北 2（北京）。

为什么不能只靠手调

技能建完就上线，文档列出的风险是幻觉、工具调用异常和任务执行失败。只靠人工调试，很难用同一标准判断是否达到上线要求。统一的评测集和执行模型，是用来压低人与人判断不一致。

文档把评测比作出厂质检，三件东西对应三种角色：

量化指标点名了两类：平均轨迹耗时、平均 Token 消耗。Token 是模型按输入输出计费和计量的文本单位。文档没有给出合格耗时或合格 Token 的数字。

三种用法，对比时条件要锁死

1. 发布前看效果：任务是否完成、输出质量、调用是否稳定，用来判断能不能上线。
2. 多版本对比：必须用相同的评测集和相同的执行模型，才能看改版前后的差别，判断优化是否有效。
3. 查配置：提前发现模型调用失败、环境变量缺失、工具配置错误、依赖资源不可用。目的是别把坏配置放进生产。

操作说明里又补了一条：比同一技能的多个版本时，评测集、执行模型、环境变量都要保持完全一致，否则对比结论不可信。这比场景 2 多锁了环境变量。

开跑之前要备齐什么

• 技能已经创建。可以手工创建，也可以用 Vibe（文档里的一种技能编辑方式）创建。
• 评测集已经创建并发布了版本。
• 火山方舟 API Key 已创建。方舟是火山引擎的模型服务，API Key 是调用凭证。评测时平台用它做推理、跑样本。
• 技能空间可选。只有需要别的技能协同、多技能一起做任务时才要先建空间。技能也可以先不进空间，以后再加。
• MCP 服务可选。MCP 是给智能体接外部工具或系统的协议。技能要调外部工具时才需要事先有可用服务。

多轮对话有额外格式要求：往评测集里加数据时，会话历史必须是符合 OpenAI Messages 规范的 JSON 数组。每一项是一条历史消息，至少包含 role 和 content。role 用来区分用户和助手。文档给的例子是先由用户提出整理会议纪要，再由助手要求补充会议内容。格式不对，多轮评测就没有可携带的历史。

实验参数里真正影响结论的几项

入口是 AgentKit 控制台的技能详情，打开「技能评测」，点「发起评测」。下面只保留会改变评测含义的配置。

实验名称建议写上目标、场景或版本，方便以后查和比。

评测集定义输入样本和预期校验标准。每条数据必须有文本类型的 input 字段，否则评测可能跑不起来。

多轮对话评测默认关闭。关闭时每条样本只发当前轮输入，当成独立单轮请求，适合单轮问答或单条指令。打开后，每条样本会把前置会话历史和当前输入一起发给模型，适合多轮问答、角色扮演、分步任务和带前置约束的对话。

字段映射决定数据集哪一列是评测内容。文档强调 question、expected、conversation 只是示例列名，要以所选评测集的真实字段为准：

• 输入：当前轮用户的问题、指令或需求。
• 参考输出：标准答案、预期结果或参考回复，供评测器比较实际输出。
• 会话历史：当前轮之前的对话。只有打开多轮后才出现，而且必须配置。内容要按发生顺序保存，并用评测要求的对话数组格式。

A/B 对照默认关闭。打开后，同一评测集、同一模型配置、同一运行环境会同时跑实验组和对照组，每条用例执行两次。沙箱时长和模型 Token 都会上去，并可能产生额外费用。它要回答的是：Agent 加载这个技能，和没加载时差在哪里，以便把模型原有能力和技能带来的增益分开。

对照组三种注入方式：

• 不额外注入技能，默认。对照组只靠模型原生能力，用来判断目标技能有没有实际增益。
• 注入当前技能的指定版本。用来比同一技能的不同版本。
• 注入其他技能的指定版本。用来在相同测试条件下比不同技能。

后两种才需要再选对照技能和版本。实验组始终加载当前待测技能。

执行模型负责跑技能、处理评测集输入并生成运行轨迹，轨迹和输出是后面评分的材料。文档建议选和线上生产完全相同的模型，避免模型差异把技能差异盖住。执行模型按 Token 计费。API Key 必须有效，且有该模型的权限；凭证无效、权限不够或账号不匹配，会导致调用失败。

评分模型用来分析执行结果并自动打分，可以和执行模型相同，也可以按评分需要另选。多次对比同一评测集时，评分模型要保持一致，否则分数不好比。评分模型同样按 Token 计费，也要单独配有效的 API Key。

产物评测默认开启。执行阶段生成的文件会存到云端对象存储，评分时同时看文件内容、运行轨迹和文本输出。实验结束后系统自动删掉这些文件，只留评分结果、问题分析和评测结论。关闭后不保存文件，打分只看运行记录和文字输出。

每条样本执行次数默认是 1。样本少时建议调高，用重复执行压低大模型随机性。硬限制是：评测集样本数乘以每条执行次数不得超过 1000。文档的例子是 100 条样本时，每条最多 10 次，因为 100×10=1000。次数上去，调用次数、Token 和费用一起上去。

技能要靠其他技能一起完成时，绑定技能空间，用来看组合调用。依赖 MCP 时要绑定服务，评测沙箱才能在执行期间用到外部工具，例如代码执行或数据库查询。限制有两条：只支持已开通公网访问、且入站认证方式为 API Key 的 MCP 服务；技能明明依赖工具却没绑定，会导致工具调用失败，评测结果不准。不依赖就不要配。

启动脚本是沙箱实例起来之前执行的多行 Shell。需要它的情况包括：安装沙箱里没有的 ffmpeg、pandoc 或自定义命令行工具；运行前下载文件、建目录或生成初始数据；设置权限、写配置。没有额外环境依赖就留空。

环境变量用来放访问凭证、服务地址或功能开关，避免把敏感信息写进技能文件。变量名必须和技能代码里读取的名字一致。

跑起来之后的三段，不能手点跳过

点「创建并运行」后，进度页自动依次走三段，不用人工切换。页面展示每段状态、完成条数和进度百分比。

1. 评测轨迹动态生成中。系统按评测集在沙箱里调用智能体运行目标技能，生成后面要评的执行轨迹，并显示已完成条数、总条数和百分比。
2. 轨迹评测中。根据已生成的轨迹判断执行过程和输出是否符合预期，同样显示完成条数、总条数和百分比。
3. 报告生成。汇总轨迹和评测结果。报告用于看异常样本、任务完成效果，以及不同技能版本的差异。

如果开了 A/B，页面会同时给出实验组和对照组的进度。两组独立执行，各自都要走完「轨迹动态生成中 → 轨迹评测中 → 报告生成」。

这篇没有给出任何一次真实实验的分数、样本量和失败率。1000 是执行量上限，不是质量阈值。地域、input 字段、多轮历史格式、对照条件、重复次数和 MCP 入站认证，才是这份文档里会直接让实验无效或不可比的限制。

字节，火山引擎，发起技能评测实验，2026-10-21，https://docs.volcengine.com/docs/agentkit/management-skills-assessment