行业与实践 · 标签「轨迹」

最新优先最早优先

查看全部

案例研究2026-10-1316 分钟
外环先看洞察：用 AQuA 诊断生产里的旅行智能体
Google 用 AQuA 扫 travel-concierge 的 32 个生产会话：42 条发现收成 6 个已核验问题。两处提示词修改后，绕过选座从 15 个会话降到 2 个，整段通过从 5/32 升到 13/32。
方法与教程2026-10-1014 分钟
工具智能体评测审计：子串判定接近偶然，参数错误约六成传到错答案
AgentProp-Bench 用 14,750 条轨迹审计自动评测。子串判定与人工的 κ 只有 0.049；三模型集成 0.432。参数错误传到错答案的校准概率约 0.62。拒绝和恢复互不相关。编造工具调用最多占 37.5%。
方法与教程2026-10-1025 分钟
实时语音智能体评测：从部件质量到可核验的结果
Walmart Global Tech 综述 38 份来源、41 篇 PDF，把实时语音智能体分成六类。端到端最快约 702 毫秒，级联可到 516 毫秒，但架构不是判决。评测应同时报告时序、恢复和可核验结果。
方法与教程2026-10-1028 分钟
信任层：已记录的通过，四项检查后还剩 22.6%
Centific 在基准分数旁边加四项核验：评分器能否复现、通过是否可追溯、完成声明是否为假、五次重复是否换档。108 道 ALE 任务、五种配置上，84 次已记录通过只有 19 次全部通过（22.6%，95% 区间 15.0–32.6）。没干活就通过的比例，模型之间相差约十倍。
方法与教程2026-10-0916 分钟
LiteTrajEval：用一次评判、固定预算给生产轨迹定位失败
华为把轨迹评测收成一次量表评判。相对 AgentRx，Magentic-One 上失败定位对齐大约高 20–35 个百分点，同一 GPT-5-mini 下总费用从 2.4628 美元降到 0.4155 美元，评测时间从 15,990 秒降到 1,840 秒。只靠规则时，τ-retail 检出率只有 31.0%。
研究与基准测试2026-10-0518 分钟
审计 WebArena-Lite：最终分数漏掉了多少真正完成的任务
165 个 WebArena Lite 任务的人工复核显示，自动评测器在四种 GPT 5.5 设定上漏掉 5.45 到 8.49 个百分点的成功。滚动循环和过早作答占失败的大头，早期进展也常常以失败收场。
研究与基准测试2026-09-306 分钟
OpenAI Cookbook：用轨迹、评测和 Codex 把 Agent 改进转起来
Wesley Pasfield 在 2026 年 5 月的笔记本里搭了一条闭环：真实轨迹、人工和模型反馈、Promptfoo 评测、HALO 排序，再交给 Codex 改支架。评论先过，再考虑自动合并。
方法与教程2026-09-283 分钟
先看一条轨迹，再给对话打分
GitHub 上的 Arize Phoenix 用来把一次模型调用拆开：输入、工具、检索和最终回答。适合已经有对话功能、但还不知道坏在哪一步的人。不打榜，也不代替 Promptfoo 的规则断言。
研究与基准测试2026-07-0110 分钟
轨迹比答案难评：阿里云把 Agent 评测拆成步骤、路径和结果
阿里云 AgentLoop 把企业 Agent 飞轮写成采集轨迹、自动建 Golden 和 BadCase、再用 Agent 做评测。文中给出 55 个字段、84% 覆盖率和三层评分，并标明哪些数字来自外部论文。