满 分 100 再 扣分: 火山 引擎 按 交付 节点 评 Agent
页面最近更新时间是 2026-09-17。DeliveryAI 评测任务可以用生产 Trace 或评测集。总分按负分制,以 100 分为基准按问题严重程度扣分,并按节点给出通过率和低分用例。

满分 100 再扣分:火山引擎按交付节点评 Agent
火山引擎 DeliveryAI 文档《管理评测任务》的页面最近更新时间是 2026.09.17 17:23:10。评测任务按选定的评估器和评测数据做一次质量评估。数据来源有两条:生产 Trace 里的真实需求,或事先准备好的评测集。跑完之后按评测节点汇总总分、通过率和低分用例,用来找 Agent 交付里偏弱的环节。
报告里看什么
文档把报告收成四项。总分采用负分制,以 100 分为基准,发现问题按严重程度扣分。通过率是通过评估的用例占全部用例的比例。节点得分按评测节点分开,用来定位偏弱的交付环节。低分用例列出得分较低的明细,对照 Agent 的实际输出和期望输出。
列表可以按「内置数据集」「自定义数据集」「需求」筛选,也可以按任务名称搜索。
任务怎么配
操作者必须是目标空间的空间管理员。空间里要已有可用评估器。如果用评测集,评测集必须先建好。
新建时名称建议写明评测对象或目的。流程可以不选。不选的话,评测节点和默认评估器要手填。需求来源二选一:从生产 Trace 里勾选需求,或从已有评测集里选。来源是生产 Trace 时,要勾选参与评测的流程节点。文档举的例子是需求处理、Spec 设计、编码实现。评估器按节点选择,再点「应用到本次任务」。选了流程之后,系统会带出流程内置的评估器组合,也可以点「恢复流程默认」回到初始配置。配完点「立即执行」。文档写明评测需要一段时间,结果稍后在任务列表里看。
这一页没有写扣分档位、用例数量和通过率阈值。
字节跳动,火山引擎,管理评测任务,2026-09-17,https://www.volcengine.com/docs/agentkit/Managementevaluationtasks
觉得有用,转给同事
微信扫码
用微信扫一扫,在手机上打开后即可转发。