技能上线前分三条验：火山引擎 AgentKit 把质量、安全和效果拆开

技能上线前分三条验：质量、安全和效果不能互相代替

火山引擎 AgentKit（面向智能体开发与技能发布的平台）在 2026 年 10 月 9 日更新的文档里，把技能发布前的验证写成一套能力，而不是上线后再看用户投诉。文档把这套能力叫做评测与质量安全，下面分质量检查、安全扫描和技能评测。技能在这里是 Agent 可调用的能力包，通常带有说明文件、参数和实现。页面要解决的问题很具体：规范合不合格、有没有安全风险、业务上跑出来的结果是否符合预期。

为什么要在发布前做完

文档把技能质量直接连到对话是否准确、任务能否完成、用户体验好不好。没有系统验证时，它列出三类常见事故：技能定义不规范，导致 Agent 调用失败或参数传错；代码里留下敏感信息，或出现不受控的外部调用；输出和业务预期不一致，但要等上线后用户反馈才发现。

AgentKit 的做法是把发现问题的时间从线上提前到发布前，用自动检测减少人工排查，缩短修复周期。文档没有给出修复周期缩短了多少，只给出这个顺序：先验证，再进生产。

哪些情况必须跑完

文档建议五类场景在发布前做完整验证：

1. 新技能第一次发布。要同时看规范、安全和业务效果，确认达到上线标准。
2. 技能逻辑改过之后。要重新评测，并和历史结果对比，确认优化有效，而且没有带进新问题。
3. 挂到生产级 Agent 上。文档写成对重要业务场景的强制验证，用来提高交付信心。
4. 安全合规审查。技能碰到用户数据或外部接口时，用安全扫描满足合规要求。
5. 多人协作。别人提交或外部引进的技能要单独验证，避免团队没有统一的质量基准。

评测实验和评测集不是一回事

文档只定义了两个基本概念。评测实验是一次完整的技能评测任务，里面有评测集、执行记录和评分报告，并且允许多次复测后对比。评测集是输入样本的集合，每条样本包含输入参数和预期输出。文档把评测集写成评测结果是否可靠的基础，没有写样本条数上限、字段模板或及格线。

三条链路可以单跑，也可以合在一起

质量检查、安全扫描和技能评测互相独立。工作原理按文档顺序是：

• 质量检查：平台自动校验技能的元数据结构，包括名称、描述、参数类型和返回格式，然后给出不符合项和修复建议。
• 安全扫描：对代码实现和运行时配置做静态分析，检测已知风险模式，把风险标成严重、高、中、低，并给出处置建议。
• 技能评测：开发者配好评测集后，平台调度执行引擎自动调用技能，收集实际输出，再用评分模型与预期结果比对，生成样本级明细和整体得分。

这里的评分模型是用来对照预期输出的裁判，不是被测技能本身。文档没有说明评分模型的型号、打分公式，也没有给出一份样例报告的分数。

谁能看，谁能跑

权限按操作拆开，不是「能看就能改」：

只读账号可以看结果和报告，不能自己发起检查、扫描或实验，也不能删实验。

三项基本功能各自盯什么

文档在「基本功能」里又用业务语言重写了三件事。

质量检查做通用质量验证，关注内容表达、输出质量和运行稳定性。它要提前看出话术是否合规、输出是否稳定、召回效果以及幻觉风险。这和后面对比表里的「包结构静态检查」不是同一句定义，使用时要把页面上的两处说法分开看。

安全扫描检查代码、配置和输出过程中的安全风险，重点是敏感信息暴露、提示词注入和违规内容。提示词注入指用户或外部内容试图改写技能原本该遵守的指令。目标是发布前降低隐患。

技能评测核对实际执行效果和业务预期是否一致，看业务效果和任务完成质量。文档把它写成发布决策的依据：从业务视角判断能不能上线，而不是只看文件能不能解析。

三者不能互相替代

文档写明，三项都是发布前的质量验证，互相补充，不能互相替代。质量检查偏向基础质量，安全扫描偏向风险防控，技能评测偏向业务价值。对比表把维度、做法和作用写成：

P0、P1、P2 在这篇概述里只作为阻断、警告和建议三级出现，没有列出每一级的具体规则条目。安全扫描在工作原理里使用严重、高、中、低，和 P0/P1/P2 不是同一套分级，不能混成一个门禁。

这篇概述没写死的边界

页面给出的是发布前验证的分工，不是一份已经跑完的实验报告。它没有样本量、通过阈值、线上准确率，也没有失败案例的修复时长。同一页对质量检查有两种表述：一处强调话术、召回和幻觉，另一处强调包结构、语法和链接。落地时需要到对应的检查项页面核对当前规则，不能用这篇概述代替检查清单。迭代场景要求和历史结果对比，但概述没有说明历史报告保存多久、对比看哪些字段。

字节，火山引擎，评测与质量安全概述，2026-10-09，https://docs.volcengine.com/docs/agentkit/review-and-quality-safety-overview