Not translated yet — showing the Chinese originals.
Industry & Practice · Tagged “评测”
Research & Benchmarks//24 min
Anthropic 工程团队开源其 agent 评测方法论：任务/试验/评审器/转录/结局的术语体系，代码、模型、人工三类评审器的取舍，能力评测与回归评测的分工，pass@k 与 pass^k 的选用，以及从零到一的八步路线图——尽早开始、任务无歧义、问题集均衡、环境隔离、读转录、防饱和、开放维护。附编码/对话/研究/计算机使用四类 agent 的评分示例与评测框架选型。
Research & Benchmarks//21 min
《Agents' Last Exam》附录 C–D 完整中译：任务规格协议、执行位置与产物模式全分类、gate-and-score 等分数组合模式、证据锚定的 LLM 评审探针设计与评审类型经验分布、GCUA harness 内部结构与 14 个桌面动作工具；以及公开子集代表性验证、超时分析、两级失败分类法（理解与方法类失败占约四分之三）、模型效应约为 harness 效应 3 倍的分解、成本效率与逐任务分数热力图。
Research & Benchmarks//14 min
《Agents' Last Exam》参考文献与附录 A–B 完整中译：SOC/O*NET 分类法推导、制造与工业运营/生物分子结构与设计/3D 动画与交互媒体/机器人与自主系统等六大行业版图综述、五道关卡任务构建流水线，以及制造 G-code、音频转写、色键合成、游戏骨骼动画、放射影像五个代表性任务卡片。
Research & Benchmarks//18 min
UC Berkeley 联合 250 多位行业专家推出 Agents' Last Exam（ALE）：55 个子领域、13 个行业集群、1490 个来自专家真实交付项目的任务实例，全部用确定性脚本自动验证。最强配置 Codex+GPT-5.5 总体通过率仅 24%，最难的末考层大面积挂零——基准成功与 GDP 相关影响之间的鸿沟，第一次被完整量化。本卷为正文，参考文献与附录见下两卷。
Research & Benchmarks//24 min
《普林斯顿提出 Agent 可靠性科学》附录 F–G 中译：τ-bench 与 GAIA 基准的详细描述、agent 实现、提示词扰动/故障注入/环境扰动/置信度估计/安全评测五个协议，以及连接真实失败案例、跨时间趋势、一致性与可预测性完整结果等扩展图表。
Research & Benchmarks//33 min
《普林斯顿提出 Agent 可靠性科学》附录 A–E 中译：四条建议的展开、五类局限与两个异议的回应、十二个指标的直觉示例、航空/核电/汽车等安全关键领域的可靠性实践对照，以及覆盖长程可靠性、多 agent、在线监控等八个方向的研究议程。
Research & Benchmarks//25 min
普林斯顿团队把安全关键工程的可靠性理念引入 AI agent 评测：一致性、鲁棒性、可预测性、安全四个维度共 12 个指标，在 τ-bench 与 GAIA 上测了 15 个模型。结论是 24 个月的能力飞跃只带来微小的可靠性改进——准确率大涨的模型依旧多次运行不一致、对提示词改写脆弱、常常不知道自己何时会失败。本卷为正文（含参考文献），附录见下两卷。
Research & Benchmarks//28 min
OpenAI 用 44 种职业、1,320 道真实任务比较模型与专家。金标准子集上 Claude Opus 4.1 有 47.6% 的交付物优于或同样好于人类；自动评分器与人类一致率 65.7%，人类互评为 70.8%。
Research & Benchmarks//16 min
把智能体固定为 GPT-5.5、只换用户代理，375 道企业任务的平均奖励变动 15.2 分。成功回合里 24.4% 违反用户合同，主因是过早披露；它几乎不改变奖励，却让智能体平均少做 1.06 次工具调用。
Research & Benchmarks//22 min
Andromede 发布 CC BY 语料 Messier：957,253 条试验结局，覆盖 30 个基准。全通过评分会把部分完成打成零，开放数据拟合的能力排序与 Epoch ECI 的 Spearman 相关为 0.81。
Research & Benchmarks//7 min
加州大学伯克利等研究者报告，八个主流 Agent 基准都能在不真正解题的情况下拿到接近满分。采购和发布不该再把榜单分数当成能力本身。
Research & Benchmarks//8 min
Sierra 与普林斯顿的 CC BY 论文把「构建 Agent」本身做成任务。53 道题、四个领域里，最强配置 Claude Opus 5 加 Claude Code 只通过 23.9% 的评测仿真，专家参考上限是 82.2%。
Research & Benchmarks//7 min
2026 年 2 月到 3 月，METR 在 Anthropic、Google、Meta、OpenAI 参与下评估内部 Agent 的失控部署风险。判断是：小规模失控部署当时说得通，做成很稳固则还没有手段。
Research & Benchmarks//6 min
Wesley Pasfield 在 2026 年 5 月的笔记本里搭了一条闭环：真实轨迹、人工和模型反馈、Promptfoo 评测、HALO 排序，再交给 Codex 改支架。评论先过，再考虑自动合并。
Research & Benchmarks//6 min
EVMbench 用 40 次审计里的 117 个高危漏洞，测 Agent 能否发现、修补和利用智能合约问题。利用模式分数涨得快，发现和修补仍然明显更难。
Research & Benchmarks//7 min
2026 年 2 月，OpenAI 停止报告 SWE-bench Verified。抽查常失败题目后，至少 59.4% 的测试会拒绝功能正确的补丁，而且前沿模型能复述金标准补丁。
Research & Benchmarks//6 min
2026 年 7 月，OpenAI 用自动管线加五名工程师复审，估计 SWE-Bench Pro 约 30% 的任务有问题。公开子集上八个月内从 23.3% 升到 80.3%，并不能直接当成能力跃升。
Research & Benchmarks//6 min
deepsense.ai 认为 2026 年的公开基准更接近真实工作，但仍然只够做能力筛选。上线要评模型、支架、工具、成本和业务结果，而不是只看榜单。
Research & Benchmarks//6 min
Sierra 的 τ-bench 从 2024 年 6 月起测工具、Agent 和用户的多轮交互，并用重复成功率暴露一次通过掩盖的不稳定。它后来成为研究和行业评测的参照。
Research & Benchmarks//6 min
Artificial Analysis 介绍的 Terminal-Bench 2.1 仍是 89 道硬任务，但修了环境和指令，让分数反映 Agent 能力而不是环境缺口。评测用 Terminus 2，每题三次取 pass@1。
