行业与实践 · 标签「可靠性」

最新优先最早优先

查看全部

方法与教程2026-10-1028 分钟
信任层：已记录的通过，四项检查后还剩 22.6%
Centific 在基准分数旁边加四项核验：评分器能否复现、通过是否可追溯、完成声明是否为假、五次重复是否换档。108 道 ALE 任务、五种配置上，84 次已记录通过只有 19 次全部通过（22.6%，95% 区间 15.0–32.6）。没干活就通过的比例，模型之间相差约十倍。
研究与基准测试2026-10-0224 分钟
Agent 可靠性科学·附录卷（下）：实验细节与完整结果
《普林斯顿提出 Agent 可靠性科学》附录 F–G 中译：τ-bench 与 GAIA 基准的详细描述、agent 实现、提示词扰动/故障注入/环境扰动/置信度估计/安全评测五个协议，以及连接真实失败案例、跨时间趋势、一致性与可预测性完整结果等扩展图表。
研究与基准测试2026-10-0233 分钟
Agent 可靠性科学·附录卷（上）：扩展建议、局限、指标细节与研究议程
《普林斯顿提出 Agent 可靠性科学》附录 A–E 中译：四条建议的展开、五类局限与两个异议的回应、十二个指标的直觉示例、航空/核电/汽车等安全关键领域的可靠性实践对照，以及覆盖长程可靠性、多 agent、在线监控等八个方向的研究议程。
研究与基准测试2026-10-0225 分钟
普林斯顿提出 Agent 可靠性科学：12 个指标证明能力提升带不来可靠
普林斯顿团队把安全关键工程的可靠性理念引入 AI agent 评测：一致性、鲁棒性、可预测性、安全四个维度共 12 个指标，在 τ-bench 与 GAIA 上测了 15 个模型。结论是 24 个月的能力飞跃只带来微小的可靠性改进——准确率大涨的模型依旧多次运行不一致、对提示词改写脆弱、常常不知道自己何时会失败。本卷为正文（含参考文献），附录见下两卷。
研究与基准测试2026-09-306 分钟
τ-bench 如何把「做成一次」和「每次都能做成」拆开
Sierra 的 τ-bench 从 2024 年 6 月起测工具、Agent 和用户的多轮交互，并用重复成功率暴露一次通过掩盖的不稳定。它后来成为研究和行业评测的参照。

信任层：已记录的通过，四项检查后还剩 22.6%

Agent 可靠性科学·附录卷（下）：实验细节与完整结果

Agent 可靠性科学·附录卷（上）：扩展建议、局限、指标细节与研究议程

普林斯顿提出 Agent 可靠性科学：12 个指标证明能力提升带不来可靠

τ-bench 如何把「做成一次」和「每次都能做成」拆开