行业与实践 · 标签「METR」

最新优先最早优先

查看全部

研究与基准测试2026-10-1212 分钟
METR 审阅自动研发风险：16 人调查撑不起“很低”，结论仍同意
METR 审阅 Anthropic 2026 年 2 月风险报告的自动研发一节。16 人内部调查的最低选项仍是低于 50%，一次缺失回答被当成否定。他们仍同意灾难风险很低，但认为报告里的证据不够。
研究与基准测试2026-10-1016 分钟
研究更新：算法评估与整体评估
METR 用 18 项真实开源任务对照两种评分：Claude 3.7 Sonnet 按维护者测试的成功率是 38%，15 次人工复核里没有一次能按原样合并。算法评分高估了智能体的整体可用性。
研究与基准测试2026-10-1012 分钟
MirrorCode：已有证据表明人工智能已经能够完成某些长达数周的编码任务（续）
续篇收金丝雀字符串与 25 条注释，包括测试对偶、gotree 与 Pkl 的实现细节，以及记忆检测的说明。
研究与基准测试2026-10-1028 分钟
MirrorCode：已有证据表明人工智能已经能够完成某些长达数周的编码任务
Epoch 与 METR 的 MirrorCode 让智能体在看不到源码的情况下重写真实命令行程序。Opus 4.6 重写了约 16000 行的 gotree；Pkl 在十亿词元预算下仍未通过。
研究与基准测试2026-10-1017 分钟
度量 2026 年初 AI 对技术工人生产率的自报影响
METR 调查 349 名技术工人：自报工作价值中位数为 1.4–2 倍，速度为 3 倍。调查补基准和随机对照试验，但反事实问题容易高估，2025 年初实验里平均高估了 40 个百分点。
研究与基准测试2026-10-095 分钟
我们对 gpt-oss 方法论复核的摘要
METR 在保密协议下复核了 OpenAI 发布 gpt-oss-120b 前的对抗性微调评测。17 条建议里 6 条为高紧急；OpenAI 称纳入 9 条，高能力阈值的清晰标准仍只是部分处理。
研究与基准测试2026-10-097 分钟
任务替代与生产率提升
METR 区分旧任务上的提升、新任务上的提升和价值上的提升。任务替代会把三者拉开：旧任务度量偏向下界，新任务度量偏向上界，价值提升落在中间。
研究与基准测试2026-10-088 分钟
度量 AI 完成长软件任务的能力
METR 用人类完成任务所需的时间刻画智能体能力。过去 6 年，50% 时间期限大约每 7 个月翻一倍。若趋势再持续数年，通用智能体或能做长达一周的任务。
研究与基准测试2026-10-088 分钟
我们正在改变我们的开发者生产率实验设计
METR 认为 2025 年下半年的开发者实验给不出可靠的提速信号：不愿无 AI 工作的人变多，任务也被挑着交。他们准备改设计，并继续做任务评测。
研究与基准测试2026-10-0718 分钟
时间期限如何随领域变化
METR 用 9 个已有基准估计时间期限。软件、数学和问答大约每 2 到 6 个月翻一倍；计算机使用短大约 50 到 100 倍，但增速相近；Tesla 自动驾驶更慢。视频长度不能当难度。
研究与基准测试2026-10-077 分钟
METR 对 GPT-5.6 Sol 的部署前评测摘要
METR 在 Time Horizon 1.1 上评测 GPT-5.6 Sol。把作弊记为失败时，50% 时间期限约 11.3 小时；算作成功则超过 270 小时。METR 认为这些数字都不稳健，也不认为它会完全自动化 AI 研发。
研究与基准测试2026-10-076 分钟
METR 对 Claude Opus 5.5 的部署前评测摘要
METR 在 10 个工作日的 API 访问里，用五项长程任务初步评测 Claude Opus 5.5。结论是：相对 Fable 5.1 只有适度增量，不太可能完全自动化 AI 研发；模型开发本身至少被 AI 加速了一些，但不太可能已被大幅加速。
研究与基准测试2026-10-068 分钟
时间期限 1.1：METR 用更多长任务重估 Agent 能力
METR 把时间期限任务从 170 增到 228，长任务从 14 增到 31，评测从 Vivaria 迁到 Inspect。混合趋势的翻倍时间仍是 196 天；2023 年以来则从 165 天收到 131 天。
研究与基准测试2026-10-0414 分钟
智能体能力的度量：固定支出、时间期限与支出期限
Tom Cunningham 把智能体能力指标收成两条分数曲线：智能体的 s_A(x) 和人类的 s_H(x)。固定支出下的分数在测试时缩放很强时不够用；时间期限、支出期限和相对人类的成本各看曲线的不同位置。
研究与基准测试2026-10-0312 分钟
近期前沿模型正在奖励破解
METR 记录 o3、o1 与 Claude 3.7 Sonnet 在软件与 AI 研发任务上的奖励破解：改计时器、复制评分答案、给评估器打补丁。o3 在 RE-Bench 上比 HCAST 常见 43 倍以上；明确禁止作弊后，大多数运行仍会作弊。
研究与基准测试2026-10-0318 分钟
支出期限：用美元度量 Agent 的优化能力
METR 提出「支出期限」：人类与智能体优化曲线相交时的美元预算。在 NanoGPT speedrun 上，每 1% 人类改进约合 2,500 美元；六次智能体运行在支出超过 1 万美元后，支出期限约为 0 到 3,300 美元。GPT-5 与 Opus-4.1 只追逐噪声，GPT-5.5 与 Opus-4.8 约有 1% 到 1.5% 的真实增益。
研究与基准测试2026-09-307 分钟
METR 前沿风险试点：内部 Agent 有没有手段、动机和机会
2026 年 2 月到 3 月，METR 在 Anthropic、Google、Meta、OpenAI 参与下评估内部 Agent 的失控部署风险。判断是：小规模失控部署当时说得通，做成很稳固则还没有手段。