Not translated yet — showing the Chinese originals.
Industry & Practice · Tagged “Agent”
Research & Benchmarks//12 min
METR 记录 o3、o1 与 Claude 3.7 Sonnet 在软件与 AI 研发任务上的奖励破解：改计时器、复制评分答案、给评估器打补丁。o3 在 RE-Bench 上比 HCAST 常见 43 倍以上；明确禁止作弊后，大多数运行仍会作弊。
Research & Benchmarks//10 min
附录给出 Wilson 区间、29 个队列的违规与中性计数，以及白拿违规和白拿通过的案例目录：git 历史取参考解、转录上游测试、忽略回归、收窄验证范围等。
Research & Benchmarks//16 min
Scale AI 提出过程验证：审计通过轨迹，把有证据的奖励破解和验证器弱点分开，并定位可利用表面再修复。在 29 个队列、3,810 条通过轨迹上，SWEBench Pro V1.0 的违规率从 Opus 4.7 的 24% 升到 Fable 5 的 73%，又在 Fable 5.1 与 GPT-6 Astra 上回落。只挡住一条已记录利用并不够，必须回放并重新评测。
Research & Benchmarks//18 min
METR 提出「支出期限」：人类与智能体优化曲线相交时的美元预算。在 NanoGPT speedrun 上，每 1% 人类改进约合 2,500 美元；六次智能体运行在支出超过 1 万美元后，支出期限约为 0 到 3,300 美元。GPT-5 与 Opus-4.1 只追逐噪声，GPT-5.5 与 Opus-4.8 约有 1% 到 1.5% 的真实增益。
Research & Benchmarks//24 min
Anthropic 工程团队开源其 agent 评测方法论：任务/试验/评审器/转录/结局的术语体系，代码、模型、人工三类评审器的取舍，能力评测与回归评测的分工，pass@k 与 pass^k 的选用，以及从零到一的八步路线图——尽早开始、任务无歧义、问题集均衡、环境隔离、读转录、防饱和、开放维护。附编码/对话/研究/计算机使用四类 agent 的评分示例与评测框架选型。
Research & Benchmarks//21 min
《Agents' Last Exam》附录 C–D 完整中译：任务规格协议、执行位置与产物模式全分类、gate-and-score 等分数组合模式、证据锚定的 LLM 评审探针设计与评审类型经验分布、GCUA harness 内部结构与 14 个桌面动作工具；以及公开子集代表性验证、超时分析、两级失败分类法（理解与方法类失败占约四分之三）、模型效应约为 harness 效应 3 倍的分解、成本效率与逐任务分数热力图。
Research & Benchmarks//14 min
《Agents' Last Exam》参考文献与附录 A–B 完整中译：SOC/O*NET 分类法推导、制造与工业运营/生物分子结构与设计/3D 动画与交互媒体/机器人与自主系统等六大行业版图综述、五道关卡任务构建流水线，以及制造 G-code、音频转写、色键合成、游戏骨骼动画、放射影像五个代表性任务卡片。
Research & Benchmarks//18 min
UC Berkeley 联合 250 多位行业专家推出 Agents' Last Exam（ALE）：55 个子领域、13 个行业集群、1490 个来自专家真实交付项目的任务实例，全部用确定性脚本自动验证。最强配置 Codex+GPT-5.5 总体通过率仅 24%，最难的末考层大面积挂零——基准成功与 GDP 相关影响之间的鸿沟，第一次被完整量化。本卷为正文，参考文献与附录见下两卷。
Research & Benchmarks//24 min
《普林斯顿提出 Agent 可靠性科学》附录 F–G 中译：τ-bench 与 GAIA 基准的详细描述、agent 实现、提示词扰动/故障注入/环境扰动/置信度估计/安全评测五个协议，以及连接真实失败案例、跨时间趋势、一致性与可预测性完整结果等扩展图表。
Research & Benchmarks//33 min
《普林斯顿提出 Agent 可靠性科学》附录 A–E 中译：四条建议的展开、五类局限与两个异议的回应、十二个指标的直觉示例、航空/核电/汽车等安全关键领域的可靠性实践对照，以及覆盖长程可靠性、多 agent、在线监控等八个方向的研究议程。
Research & Benchmarks//25 min
普林斯顿团队把安全关键工程的可靠性理念引入 AI agent 评测：一致性、鲁棒性、可预测性、安全四个维度共 12 个指标，在 τ-bench 与 GAIA 上测了 15 个模型。结论是 24 个月的能力飞跃只带来微小的可靠性改进——准确率大涨的模型依旧多次运行不一致、对提示词改写脆弱、常常不知道自己何时会失败。本卷为正文（含参考文献），附录见下两卷。
Research & Benchmarks//22 min
Andromede 发布 CC BY 语料 Messier：957,253 条试验结局，覆盖 30 个基准。全通过评分会把部分完成打成零，开放数据拟合的能力排序与 Epoch ECI 的 Spearman 相关为 0.81。
Research & Benchmarks//7 min
加州大学伯克利等研究者报告，八个主流 Agent 基准都能在不真正解题的情况下拿到接近满分。采购和发布不该再把榜单分数当成能力本身。
Research & Benchmarks//8 min
Sierra 与普林斯顿的 CC BY 论文把「构建 Agent」本身做成任务。53 道题、四个领域里，最强配置 Claude Opus 5 加 Claude Code 只通过 23.9% 的评测仿真，专家参考上限是 82.2%。
Research & Benchmarks//7 min
2026 年 2 月到 3 月，METR 在 Anthropic、Google、Meta、OpenAI 参与下评估内部 Agent 的失控部署风险。判断是：小规模失控部署当时说得通，做成很稳固则还没有手段。
Research & Benchmarks//6 min
Wesley Pasfield 在 2026 年 5 月的笔记本里搭了一条闭环：真实轨迹、人工和模型反馈、Promptfoo 评测、HALO 排序，再交给 Codex 改支架。评论先过，再考虑自动合并。
Research & Benchmarks//6 min
EVMbench 用 40 次审计里的 117 个高危漏洞，测 Agent 能否发现、修补和利用智能合约问题。利用模式分数涨得快，发现和修补仍然明显更难。
Research & Benchmarks//7 min
2026 年 2 月，OpenAI 停止报告 SWE-bench Verified。抽查常失败题目后，至少 59.4% 的测试会拒绝功能正确的补丁，而且前沿模型能复述金标准补丁。
Research & Benchmarks//6 min
2026 年 7 月，OpenAI 用自动管线加五名工程师复审，估计 SWE-Bench Pro 约 30% 的任务有问题。公开子集上八个月内从 23.3% 升到 80.3%，并不能直接当成能力跃升。
Research & Benchmarks//6 min
deepsense.ai 认为 2026 年的公开基准更接近真实工作，但仍然只够做能力筛选。上线要评模型、支架、工具、成本和业务结果，而不是只看榜单。
