终答对了也不够：阿里云百炼把 Agent 轨迹收进评测集

终答对了也不够：阿里云百炼把 Agent 轨迹收进评测集

阿里云大模型服务平台百炼（Model Studio，阿里云的模型与智能体应用平台）帮助中心《Evolution 添加轨迹评测数据》的页面日期和最后修改时间都是 2026-10-22。页面没有另给更早的首次发布时间。文档讲的不是再打一个总分，而是怎样把智能体的执行过程收成评测集：轨迹评测看步骤是否通顺、有没有无关或多余的步骤，用来补只看最终输出的缺口。

轨迹记的是过程，不是最后一句

轨迹（Trajectory）是智能体从接到用户指令开始，在多轮里留下的结构化时序记录，包括思考、行动和观察。数据是 JSON。文档把格式版本写成 schema_version，示例是 ATIF-v1.8。ATIF 在这里是百炼轨迹结构的版本名，页面没有展开缩写。

一条轨迹至少带着这些字段：session_id 是会话 ID；trajectory_id 是这条轨迹自己的 ID；agent 写执行它的智能体名称和版本；steps 是步骤列表，每步记下是用户还是智能体、消息内容、时间戳，以及 Span ID、耗时、Token 消耗这类执行详情；extra 放轨迹这一层的 Span 标识、类型、状态、耗时、语义格式 semantic_profile，以及输入输出明细。agent、steps 和 final_metrics 下面还可以再挂各自的 extra。final_metrics 汇总总步数、Token 消耗、工具调用次数和首字延迟。

示例里的智能体名称是 invoke_agent_app，版本是 2。两条步骤都发生在 2026-10-13T02:11:36.660Z：用户说 Hello，智能体回 Hello! How can I help you?。extra 里 span_kind 是 CHAIN，operation_type 同样是 invoke_agent_app，duration_ms 是 4499，status 是 1，semantic_profile 是 bailian.trace-atif/v1。汇总指标是 2 步、输入 Token 4984、输出 Token 52。这是格式样例，不是一次评测得分。手工新增时可以点「轨迹样例」，插入一条完整示例当模板。

评测集默认三列，轨迹列必填

创建评测集时，场景要选「轨迹」。系统给出的默认表是三列：input，字符串，必填，表示用户输入；reference_output，字符串，选填，表示参考输出；trajectory，类型就是轨迹，必填，表示智能体执行轨迹。列还可以继续改。怎么建表、怎么发布，文档指到另一篇《创建与管理》，本篇不重复那些步骤。

单条、批量和从 Trace 倒回来

单条新增在评测集详情里走「添加数据 > 单条新增」。input 必填，最多 10000 字符。reference_output 选填，同样最多 10000 字符。trajectory 必填，在代码编辑器里改，可以折叠、展开和复制。

编辑器上还有三个动作。插入轨迹样例时，如果框里已经有内容，样例会盖掉它，必须在确认弹窗里再确认一次。通过 TraceID 导入，是把一条当前仍然有效的 Trace 拉成轨迹；失效的 Trace 不能当数据源。预览会把这段 JSON 画成 Trace 视图，用来看调用链、输入输出、状态、耗时和 Token。保存前有两条硬限制：必须是合法 JSON 对象，单条不能超过 1 MB，否则存不进去。

批量导入走「添加数据 > 批量导入」。文件只接受 .xls、.xlsx、.csv，单个文件最大 20 MB。导入方式二选一：追加数据会留下原有行，新行接到末尾；全量覆盖会先清空再写入。文件列要映射到评测集的列，字段类型必须对得上。失败的行可以在导入结果里下载日志看原因。文档没有写失败比例，也没有写一批最多多少行。

第三条路是从应用观测回流。在 Trace 列表里批量勾选，把 Trace 字段映射到评测集字段，再导入。具体点击顺序写在《应用观测》的「添加到评测集」，本篇只规定了方向：线上 Trace 可以变成轨迹评测数据，但映射要人来对。

这篇没有写出的评测结果

页面没有裁判模型、打分刻度、通过阈值，也没有任何一条样本的过程分或终答分。示例里的 4499 毫秒、4984 和 52 是轨迹字段里的耗时和 Token，不是评测结论。参考输出可以空着，所以这套表本身不保证每条都有对照答案。轨迹超 1 MB、Trace 已失效、列类型没对齐，文档只说明会存失败或要看导入日志，没有给修复后的回归分数。

出处：阿里云，阿里云，Evolution 添加轨迹评测数据，2026-10-22，https://help.aliyun.com/zh/model-studio/agenteval-evaluation-set-trajectory-data