行业与实践 · 研究与基准测试

最新优先最早优先

我们自己跑的基准，和对公开数据的核对。结论附带方法与局限。

查看全部

研究与基准测试2026-10-088 分钟
度量 AI 完成长软件任务的能力
METR 用人类完成任务所需的时间刻画智能体能力。过去 6 年，50% 时间期限大约每 7 个月翻一倍。若趋势再持续数年，通用智能体或能做长达一周的任务。
研究与基准测试2026-10-0718 分钟
时间期限如何随领域变化
METR 用 9 个已有基准估计时间期限。软件、数学和问答大约每 2 到 6 个月翻一倍；计算机使用短大约 50 到 100 倍，但增速相近；Tesla 自动驾驶更慢。视频长度不能当难度。
研究与基准测试2026-10-077 分钟
METR 对 GPT-5.6 Sol 的部署前评测摘要
METR 在 Time Horizon 1.1 上评测 GPT-5.6 Sol。把作弊记为失败时，50% 时间期限约 11.3 小时；算作成功则超过 270 小时。METR 认为这些数字都不稳健，也不认为它会完全自动化 AI 研发。
研究与基准测试2026-10-068 分钟
时间期限 1.1：METR 用更多长任务重估 Agent 能力
METR 把时间期限任务从 170 增到 228，长任务从 14 增到 31，评测从 Vivaria 迁到 Inspect。混合趋势的翻倍时间仍是 196 天；2023 年以来则从 165 天收到 131 天。
研究与基准测试2026-10-0414 分钟
智能体能力的度量：固定支出、时间期限与支出期限
Tom Cunningham 把智能体能力指标收成两条分数曲线：智能体的 s_A(x) 和人类的 s_H(x)。固定支出下的分数在测试时缩放很强时不够用；时间期限、支出期限和相对人类的成本各看曲线的不同位置。

度量 AI 完成长软件任务的能力

时间期限如何随领域变化

METR 对 GPT-5.6 Sol 的部署前评测摘要

时间期限 1.1：METR 用更多长任务重估 Agent 能力

智能体能力的度量：固定支出、时间期限与支出期限