三种裁判：阿里云用轨迹回归决定 Agent 能不能放量

个人用的 Agent 偶尔跑偏，重跑一次就行。企业要把故障处理、改客户资料、跨系统操作交给它，就不能把「多试几次」当成稳定性方案。阿里云在 2026 云栖大会上介绍的 AgentCore，是一套企业级 Agent 构建和治理平台。下面按分享顺序，只记它怎么把结果变成可核对、可回归的评测，不记产品发布本身。

生产环境先要回答的五个问题

模型输出是概率的。进了 Agent 之后，不确定性会沿着拆任务、选工具、读知识、调外部系统继续放大。分享把生产部署拆成四个转变：从概率智能到可靠生产力，从粗用到精用，从单点试验到智能基础设施，从各自为战到智能组织。

落到运行上，要先回答五件事。长任务的状态怎么留。中断之后能不能从失败点接着跑。多个任务同时跑时，上下文怎么隔开。Agent 调了哪些工具、改了哪些资源，能不能完整追回去。它准备做高风险操作时，人能不能及时接手。

AgentCore 把这些收进同一套运行和治理。Runtime 和 Sandbox 负责隔离、弹性调度和长任务环境。Harness 是管会话、状态和任务恢复的运行外壳。Agent Identity、AI Gateway 和审计用来卡住行动边界。观测和评测负责记下执行过程，并判断任务结果是否达标。关注点不是有没有返回一句话，而是任务有没有连续、正确地做完，并且仍可控。

评测看的是整条轨迹

实验阶段通常只问一件事：任务做完了没有。上了生产，答案对不对只是其中一项。还要看规划是否合理，工具是否选对，参数是否正确，知识检索是否相关，执行中有没有无效循环，以及这次任务花了多少时间和 Token。

观测对象因此从单次模型请求，扩成 Agent 的完整轨迹。轨迹记下用户提了什么任务，Agent 做了什么判断，调了哪些模型、工具和知识库，每一步拿到什么结果，这些结果又怎么影响下一步。工程师可以按用户、会话、单轮请求三层回看，定位问题出在哪一步。

看见过程之后，还要判断过程和结果对不对。AgentCore 和阿里云 AgentLoop 接在一起。AgentLoop 是用来观测、评测并管理成本的闭环。判分分成三种。

Code Judge 处理确定性的问题，例如格式、数值阈值和 API 参数。

LLM Judge 处理单轮问答、文本质量和语义匹配。

Agent Judge 处理多轮对话、工具调用、RAG、Skills 或跨系统任务。它读完整条轨迹，调工具核对事实，再按企业自己的业务规则下判断。RAG 这里指先检索知识再生成回答。Skills 指可复用的专项能力，不是泛指所有提示词。

评测不能停在一个分数上。线上产生的低分样本和失败案例必须进入 Dataset。改完的新版本，必须用评测集做回归。确认没有退步，才逐步放到生产环境。改进要能对照、能复核，而不是「感觉这一版更好」。

成本也按同样的粒度管。AgentLoop 可以按调用方、Agent 和模型，拆 Token、费用、延迟和成功率。不同的人、团队和模型可以设配额。出现异常尖峰或超限，系统可以告警、限流、降级或直接拦住请求。

谁维护评测集

Agent 变多之后，各团队各自接模型、知识库、身份、日志、评测和成本，版本、权限和质量没有统一标准。AgentCore 的做法不是把所有 Agent 收成同一种形态，而是给不同形态同一套运行和治理底座。高代码 Agent、不同 Harness、企业里已经在跑的 Agent，都可以接进来。身份、权限、观测、评测、审计和成本走同一套规则。

协作方式按任务性质选，不默认堆很多 Agent。即时并发：主 Agent 把问题拆成多个独立分支，临时子 Agent 并行查完就释放，深度研究是典型场景。按需组队：把稳定任务链做成可复用模板，开工时分配能力、权限和上下文，结束时收回。内容任务可以依次交给研究、写作和审核 Agent。长期服务：把稳定能力收成长期存在、可被发现和调用的数字员工。分享写明，这一方向仍在规划中。

Team 模式下，Leader Agent 负责理解意图、拆任务和看进度，Worker Agent 做各领域的具体工作。团队共享完成任务所需的上下文，不同任务之间保持隔离。人可以查看 Agent 之间的通信和推断，补充信息，打断执行，或在关键节点审批。

责任也拆开。业务负责人定义目标、验收结果、处理异常。领域专家维护知识、Skills 和评测集，并复盘失败案例。平台团队提供运行时、权限、观测、预算和发布这些公共能力。Agent 负责执行，结果仍要有人认。

这篇分享没有给出某次评测的样本量、三种 Judge 的分数，也没有对照「回归前 / 回归后」的退化率。五种运行问题、轨迹要核对的六项、三种 Judge 的分工，以及低分样本进 Dataset、新版本必须回归才能放量，是方法约束，不是线上效果。

阿里云，阿里云原生社区（周琦、李国强分享整理），What Makes Alibaba Cloud’s Newly Released AgentCore Different?，2026-10-12，https://www.alibabacloud.com/blog/what-makes-alibaba-cloud’s-newly-released-agentcore-different_603627