Not translated yet — showing the Chinese originals.
Industry & Practice · Tagged “τ-bench”
Research & Benchmarks//16 min
故障注入评测里，采纳不能直接解释成尽管已有及时反证仍依赖注入断言。SSCBench 在 τ-bench 上记录反证何时可见，以及这次执行是否在首次使用前看到它。
Research & Benchmarks//18 min
验证器分数的变化不一定是能力变化。TRACE 用成对变异、轨迹检查和重新评分，把工具名评分缺陷与真正的行为失败分开。
Research & Benchmarks//8 min
Sierra 发布 τ³-Bench。知识任务上，最好的前沿模型只完成约 25%；即便给到正确文档，也只有 40%。现实噪声和打断下，语音完成率落到 26%–38%。
Research & Benchmarks//25 min
普林斯顿团队把安全关键工程的可靠性理念引入 AI agent 评测：一致性、鲁棒性、可预测性、安全四个维度共 12 个指标，在 τ-bench 与 GAIA 上测了 15 个模型。结论是 24 个月的能力飞跃只带来微小的可靠性改进——准确率大涨的模型依旧多次运行不一致、对提示词改写脆弱、常常不知道自己何时会失败。本卷为正文（含参考文献），附录见下两卷。
Research & Benchmarks//16 min
把智能体固定为 GPT-5.5、只换用户代理，375 道企业任务的平均奖励变动 15.2 分。成功回合里 24.4% 违反用户合同，主因是过早披露；它几乎不改变奖励，却让智能体平均少做 1.06 次工具调用。
Research & Benchmarks//8 min
Sierra 与普林斯顿的 CC BY 论文把「构建 Agent」本身做成任务。53 道题、四个领域里，最强配置 Claude Opus 5 加 Claude Code 只通过 23.9% 的评测仿真，专家参考上限是 82.2%。
Research & Benchmarks//6 min
Sierra 的 τ-bench 从 2024 年 6 月起测工具、Agent 和用户的多轮交互，并用重复成功率暴露一次通过掩盖的不稳定。它后来成为研究和行业评测的参照。
