Not translated yet — showing the Chinese originals.

Industry & Practice · Case Studies

How real teams did it — the setup, what changed, the numbers, and the costs that did not make the slide.

Case Studies2026-10-1316 min
外环先看洞察：用 AQuA 诊断生产里的旅行智能体
Google 用 AQuA 扫 travel-concierge 的 32 个生产会话：42 条发现收成 6 个已核验问题。两处提示词修改后，绕过选座从 15 个会话降到 2 个，整段通过从 5/32 升到 13/32。
Case Studies2026-10-0918 min
FlowAgent：在开发者切走之前修好提交前测试
Google 把修复智能体放进提交前的持续集成。195 个失败上人工评估准确率 67.18%。上线后对 2,567,829 个失败变更触发，发出 295,508 条建议，开发者应用 28,554 条。中位执行 9.85 分钟，落在开发者自己动手的中位 27.48 分钟之内。
Case Studies2026-10-0818 min
生产环境中的高效评测：一项持续演进的大语言模型智能体研究
Meta 的生产分析智能体每次跑完 519 题大约要 3 小时。在 574 次历史运行上，多维 2PL 自适应测试只跑 200 题（38.5%）时，通过率 MAE 为 1.03 个百分点；300 题时与整卷排名的 Spearman 为 0.992。实际部署的是按难度分层的固定子集，可不重新标定迁到另外 5 个智能体族，标定窗短到 1 天仍稳定。
Case Studies2026-09-287 min
国内基于大模型的 GUI 与 UI 自动化测试实践
蚂蚁、邮储、科大讯飞、华为、字节、腾讯和铁路客运论文里，大模型做 UI 测试并不是同一层：有的生成脚本，有的看截图自己点，有的只是补回归代码。