Not translated yet — showing the Chinese originals.
Industry & Practice · Tagged “METR”
Research & Benchmarks//12 min
METR 审阅 Anthropic 2026 年 2 月风险报告的自动研发一节。16 人内部调查的最低选项仍是低于 50%，一次缺失回答被当成否定。他们仍同意灾难风险很低，但认为报告里的证据不够。
Research & Benchmarks//16 min
METR 用 18 项真实开源任务对照两种评分：Claude 3.7 Sonnet 按维护者测试的成功率是 38%，15 次人工复核里没有一次能按原样合并。算法评分高估了智能体的整体可用性。
Research & Benchmarks//12 min
续篇收金丝雀字符串与 25 条注释，包括测试对偶、gotree 与 Pkl 的实现细节，以及记忆检测的说明。
Research & Benchmarks//28 min
Epoch 与 METR 的 MirrorCode 让智能体在看不到源码的情况下重写真实命令行程序。Opus 4.6 重写了约 16000 行的 gotree；Pkl 在十亿词元预算下仍未通过。
Research & Benchmarks//17 min
METR 调查 349 名技术工人：自报工作价值中位数为 1.4–2 倍，速度为 3 倍。调查补基准和随机对照试验，但反事实问题容易高估，2025 年初实验里平均高估了 40 个百分点。
Research & Benchmarks//5 min
METR 在保密协议下复核了 OpenAI 发布 gpt-oss-120b 前的对抗性微调评测。17 条建议里 6 条为高紧急；OpenAI 称纳入 9 条，高能力阈值的清晰标准仍只是部分处理。
Research & Benchmarks//7 min
METR 区分旧任务上的提升、新任务上的提升和价值上的提升。任务替代会把三者拉开：旧任务度量偏向下界，新任务度量偏向上界，价值提升落在中间。
Research & Benchmarks//8 min
METR 用人类完成任务所需的时间刻画智能体能力。过去 6 年，50% 时间期限大约每 7 个月翻一倍。若趋势再持续数年，通用智能体或能做长达一周的任务。
Research & Benchmarks//8 min
METR 认为 2025 年下半年的开发者实验给不出可靠的提速信号：不愿无 AI 工作的人变多，任务也被挑着交。他们准备改设计，并继续做任务评测。
Research & Benchmarks//18 min
METR 用 9 个已有基准估计时间期限。软件、数学和问答大约每 2 到 6 个月翻一倍；计算机使用短大约 50 到 100 倍，但增速相近；Tesla 自动驾驶更慢。视频长度不能当难度。
Research & Benchmarks//7 min
METR 在 Time Horizon 1.1 上评测 GPT-5.6 Sol。把作弊记为失败时，50% 时间期限约 11.3 小时；算作成功则超过 270 小时。METR 认为这些数字都不稳健，也不认为它会完全自动化 AI 研发。
Research & Benchmarks//6 min
METR 在 10 个工作日的 API 访问里，用五项长程任务初步评测 Claude Opus 5.5。结论是：相对 Fable 5.1 只有适度增量，不太可能完全自动化 AI 研发；模型开发本身至少被 AI 加速了一些，但不太可能已被大幅加速。
Research & Benchmarks//8 min
METR 把时间期限任务从 170 增到 228，长任务从 14 增到 31，评测从 Vivaria 迁到 Inspect。混合趋势的翻倍时间仍是 196 天；2023 年以来则从 165 天收到 131 天。
Research & Benchmarks//14 min
Tom Cunningham 把智能体能力指标收成两条分数曲线：智能体的 s_A(x) 和人类的 s_H(x)。固定支出下的分数在测试时缩放很强时不够用；时间期限、支出期限和相对人类的成本各看曲线的不同位置。
Research & Benchmarks//12 min
METR 记录 o3、o1 与 Claude 3.7 Sonnet 在软件与 AI 研发任务上的奖励破解：改计时器、复制评分答案、给评估器打补丁。o3 在 RE-Bench 上比 HCAST 常见 43 倍以上；明确禁止作弊后，大多数运行仍会作弊。
Research & Benchmarks//18 min
METR 提出「支出期限」：人类与智能体优化曲线相交时的美元预算。在 NanoGPT speedrun 上，每 1% 人类改进约合 2,500 美元；六次智能体运行在支出超过 1 万美元后，支出期限约为 0 到 3,300 美元。GPT-5 与 Opus-4.1 只追逐噪声，GPT-5.5 与 Opus-4.8 约有 1% 到 1.5% 的真实增益。
Research & Benchmarks//7 min
2026 年 2 月到 3 月，METR 在 Anthropic、Google、Meta、OpenAI 参与下评估内部 Agent 的失控部署风险。判断是：小规模失控部署当时说得通，做成很稳固则还没有手段。
