Not translated yet — showing the Chinese originals.

Industry & Practice · Case Studies

How real teams did it — the setup, what changed, the numbers, and the costs that did not make the slide.

Case Studies2026-10-2119 min
数字可以很近，分析合同仍然失败：Thumbtack 用轨迹评测企业分析智能体
Thumbtack 在内部分析智能体上跑了 50 题、两种匿名配置、各 3 次，共 300 条轨迹。能力更高的配置把早期拒绝从 73% 降到 0%，真实数据回答从 21% 升到 73%；但 16% 的运行耗尽工具轮次，77% 的轨迹超出表结构探索，50 题里 41 题改变了表解释。金融题上，标题数字可以落在标准答案约 0.3% 以内，30 条里仍有 15 条没用规范源表、27 条跳过拆解。