行业与实践 · 标签「τ-bench」

最新优先最早优先

查看全部

研究与基准测试2026-10-1216 分钟
SSCBench：评测面向工具使用型 LLM 智能体的故障注入测试的证据效力
故障注入评测里，采纳不能直接解释成尽管已有及时反证仍依赖注入断言。SSCBench 在 τ-bench 上记录反证何时可见，以及这次执行是否在首次使用前看到它。
研究与基准测试2026-10-1218 分钟
TRACE：诊断智能体评测中的验证器脆性
验证器分数的变化不一定是能力变化。TRACE 用成对变异、轨迹检查和重新评分，把工具名评分缺陷与真正的行为失败分开。
研究与基准测试2026-10-118 分钟
τ³-Bench：把智能体基准评测推进到知识与语音
Sierra 发布 τ³-Bench。知识任务上，最好的前沿模型只完成约 25%；即便给到正确文档，也只有 40%。现实噪声和打断下，语音完成率落到 26%–38%。
研究与基准测试2026-10-0225 分钟
普林斯顿提出 Agent 可靠性科学：12 个指标证明能力提升带不来可靠
普林斯顿团队把安全关键工程的可靠性理念引入 AI agent 评测：一致性、鲁棒性、可预测性、安全四个维度共 12 个指标，在 τ-bench 与 GAIA 上测了 15 个模型。结论是 24 个月的能力飞跃只带来微小的可靠性改进——准确率大涨的模型依旧多次运行不一致、对提示词改写脆弱、常常不知道自己何时会失败。本卷为正文（含参考文献），附录见下两卷。
研究与基准测试2026-09-3016 分钟
UserProxyBench：用户模拟器会改写智能体基准结果
把智能体固定为 GPT-5.5、只换用户代理，375 道企业任务的平均奖励变动 15.2 分。成功回合里 24.4% 违反用户合同，主因是过早披露；它几乎不改变奖励，却让智能体平均少做 1.06 次工具调用。
研究与基准测试2026-09-308 分钟
τ^τ-Bench：评的不是当客服，而是能不能把客服 Agent 做出来
Sierra 与普林斯顿的 CC BY 论文把「构建 Agent」本身做成任务。53 道题、四个领域里，最强配置 Claude Opus 5 加 Claude Code 只通过 23.9% 的评测仿真，专家参考上限是 82.2%。
研究与基准测试2026-09-306 分钟
τ-bench 如何把「做成一次」和「每次都能做成」拆开
Sierra 的 τ-bench 从 2024 年 6 月起测工具、Agent 和用户的多轮交互，并用重复成功率暴露一次通过掩盖的不稳定。它后来成为研究和行业评测的参照。

SSCBench：评测面向工具使用型 LLM 智能体的故障注入测试的证据效力

TRACE：诊断智能体评测中的验证器脆性

τ³-Bench：把智能体基准评测推进到知识与语音

普林斯顿提出 Agent 可靠性科学：12 个指标证明能力提升带不来可靠

UserProxyBench：用户模拟器会改写智能体基准结果

τ^τ-Bench：评的不是当客服，而是能不能把客服 Agent 做出来

τ-bench 如何把「做成一次」和「每次都能做成」拆开