关掉 采集 不会 补洞: 阿里 云 把 Agent 轨迹 洗 成 可进 评 测 集 的 ATIF
阿里云 AgentLoop 把 Trace 洗成 ATIF 轨迹,一轮只留一条 JSON,子 Agent 嵌在里面。关闭采集不删历史,也不补洗空档。原文没有准确率。

本文目录
关掉采集不会补洞:阿里云把 Agent 轨迹洗成可进评测集的 ATIF
AgentLoop 是阿里云的 Agent 观测与优化产品。文档《Agent 轨迹》的页面日期是 2026 年 8 月 10 日,后来在 9 月 10 日改过页面,正文仍按这一版整理。它不讲模型分数,讲的是怎么把已经接入的 Trace 洗成结构化执行记录,再挑进数据集,给后面的评估、训练和迭代用。
ATIF 是 Agent Trajectory Interchange Format,智能体轨迹交换格式。轨迹在这里被定义成用户和智能体的一串交互:内部推理、执行动作、环境观测,加上用户消息、智能体响应、工具结果。文档给它三条用途:JSON 直接描述 agent loop,评估时不用再把 span 拼起来;步骤级输入输出和整条轨迹的汇总指标放在一起;只留 Agent 行为,丢掉主机、操作系统、进程、容器、Kubernetes 和部署环境这些基础设施字段,减少评估噪声和 Token。
会话、Trace 和轨迹不是同一层
文档先写三者是逐层展开,基数写成 1:N:N,接着又把 Trace 到轨迹收成 1:1。两句要一起看,不能只记前面的 N:
- 会话(Session)是用户和 Agent 的一次完整交互,里面有多轮对话。一个会话对多条 Trace,是 1:N。
- Trace 是一轮交互,从用户这次输入到系统给出最终输出,里面有主 Agent 和子 Agent 的调用明细、耗时。
- Agent 轨迹是单个 Agent 实例处理这一轮时的执行过程:模型调用、思考、工具调用、输入输出和 Token。
一条 Trace 清洗后只生成一条轨迹 JSON。主子 Agent 不会拆成多条轨迹,子 Agent 的明细嵌在这一条 JSON 里。所以「1:N:N」说的是三层整体可以展开,落到清洗结果上,一轮 Trace 仍然只对应一条轨迹。
采集默认勾上,关掉的空档不会补
新建 AgentSpace 时,Agent 轨迹默认勾选。取消勾选再创建,这个空间就不会开采集。
已有空间要到数据中心的 Agent 轨迹页。还没初始化存储时,点「开启轨迹清洗」并确认;采集关着时,点「开启轨迹采集」;页面说还没接入观测数据,就先去接入再回来。文档写明开启可能产生轨迹清洗费用,没有给单价。
右上角可以关或开。关闭后立刻停止把新 Trace 洗成轨迹,历史轨迹还在。再次开启只从新的时间点洗之后的 Trace,不延续关闭前的进度,也不补洗关闭期间的数据。常见问题把这句又说了一遍:历史不会被删,空档也不会回补。评测集如果依赖连续轨迹,关采集的那段就是缺口,不是延迟。
筛选能按步骤、耗时和语义搜
进数据中心 > Agent 轨迹,先定时间范围,再叠加条件。可选的有 Agent 应用、模型、工具调用、Steps、耗时、TraceID、SessionID,以及输入或输出。Steps 支持大于、小于、等于和区间。耗时同样四种比较,单位可以是秒或分钟。TraceID 和 SessionID 是精确匹配。输入输出可以语义搜索,也可以关键字匹配。
列表列包括输入输出、Agent、Tokens、耗时、Steps、模型及调用次数、工具及调用次数、开始时间,以及 ATIF 预览。点模型名或工具名会把该值加进查询。点一行进详情。条件可以单个拿掉,重置会清光。
详情把成功和失败的工具调用分开数
详情顶部五张卡:
- Steps:总步骤,以及 system、user、agent 三种角色各多少步。
- 工具调用:总数,再拆成功和失败。
- Tokens:总数,再拆输入和输出。
- 耗时:总耗时和起止时间。
- 模型:这条轨迹的主要模型。
步骤区可以按关键字搜,看每步的角色、时间、内容、模型、工具、Tokens 和耗时。展开后,有数据才能看到推理过程、工具入参和执行结果,以及关联的子 Agent 轨迹。也可以一次展开或收起全部。
右侧是完整输入输出、可复制的会话 ID 和轨迹 ID、ATIF 版本,以及 Agent 名称、版本、模型和工具定义。右上角能打开完整 ATIF JSON,在面板里搜索、折叠或复制。文档没有写单条 JSON 的大小上限。
进数据集可以勾选,也可以选当前筛选的全部
列表里勾一条或多条,点底部「加入数据集」。要处理当前筛选结果的全部,先点「选择全部」。然后新建数据集或写入已有数据集,按页面做字段选择或字段映射,再确认。数据量大时会建后台导入任务,进度到任务列表看。文档没有写「大量」的条数阈值。
详情页右上角也可以把当前这一条加入,同样要选数据集和字段。字段映射没写死列名,不能假设输入输出会自动对齐某个评估器。
能用它做评测集,不能用它报准确率
这篇没有准确率、通过线或对照实验。它规定的是采集开关、1 条 Trace 对 1 条轨迹、关闭不补洗、筛选维度,以及把轨迹写进数据集的入口。后面的评估是否打分,取决于数据集和评估任务,不取决于轨迹页本身。费用只被提醒「可能产生」,没有数字。
阿里云,阿里云帮助中心,Agent 轨迹,2026-08-10,https://help.aliyun.com/zh/agentloop/agent-trajectories
觉得有用,转给同事
微信扫码
用微信扫一扫,在手机上打开后即可转发。