PaperBench：
OpenAI 的 PaperBench 用 20 篇 ICML 2024 论文、8316 条量规叶节点，测智能体能否从零复现研究。Claude 3.5 Sonnet 平均 21.0%，3 篇子集上博士 48 小时后 41.4%，o1 为 26.6%。
本文目录
PaperBench：评测智能体能否从零复现人工智能研究
Giulio Starace、Oliver Jaffe、Dane Sherburn、James Aung、Chan Jun Shern、Leon Maksin、Rachel Dias、Evan Mays、Benjamin Kinsella、Wyatt Thompson、Johannes Heidecke、Amelia Glaese、Tejal Patwardhan。星号在原文中标共同贡献。通信：Giulio Starace，giulio.starace@c-openai.com。单位：OpenAI。预印本。
摘要
PaperBench 是一套基准（benchmark，用固定任务比较系统能力）。它评测人工智能智能体（agent，能自己写代码、执行命令并连续多步做事的系统）从零复现前沿人工智能研究的能力。智能体必须复现 20 篇 ICML 2024 的 Spotlight 与 Oral 论文，包括读懂贡献、从零写出代码库，并成功跑完实验。
为了客观评分，作者把每篇复现拆成层级化的评分量规（rubric，把“做成了”拆成可以逐条判定的要求）。PaperBench 共有 8,316 个可单独评分的任务。每份量规都和对应 ICML 论文的作者共同写成，以保证准确、接近真实复现。为了能规模化评分，作者还做了基于大语言模型的评判器，并另建一套给评判器本身用的基准。在测过的前沿模型里，成绩最好的是带开源脚手架的 Claude 3.5 Sonnet（New），平均复现分数（Replication Score，按权重计算、已满足的量规要求所占比例）为 21.0%。作者又请机器学习博士尝试其中一部分论文，发现模型还没有超过人类基线。代码已开源，用来继续研究智能体做人工智能工程的能力。
1 引言
图 1：PaperBench 评测智能体复现人工智能研究的能力。每个样本包含一篇论文和一份评分量规，量规定义完整复现要满足的标准。智能体从零提交代码库（1），随后执行以核验结果是否复现（2），再由基于大语言模型的评判器对照量规打分（3）。
能自主复现机器学习论文的智能体，可能加快机器学习进展。这既值得期待，也需要仔细研究，才能让能力在安全的前提下发展。PaperBench 可以用来度量 OpenAI Preparedness Framework（OpenAI，2023）里的模型自主性、Anthropic Responsible Scaling Policy（Anthropic，2024）里的自主能力，以及 Google DeepMind Frontier Safety Framework（Google DeepMind，2024）里的机器学习研发能力。
设置里的智能体能自主写代码并执行。对基准中的每篇机器学习论文，智能体拿到论文内容，被要求复现其中的经验性贡献。完整复现包括读懂论文、从零实现全部实验，并在需要时运行、监控和排错。一般来说，每一项复现至少要人类专家做几天。
基准从 2024 年国际机器学习会议（ICML）的 Spotlight 和 Oral 中选出 20 篇，覆盖 12 个 ICML 主题，包括深度强化学习、稳健性和概率方法。每篇论文配有人工编写的量规，写明复现所需的全部结果，20 篇合计 8,316 个可单独评分的结果。每份量规都与原论文的一位作者共同开发。量规是树状的：结果可以再拆成更细的子结果，从而度量朝着复现走了多远。
机器学习论文很复杂，作者发现人类专家给一次复现尝试评分就要几十小时。为了把评分做快，他们试了基于大语言模型的评判器，并引入辅助评测 JudgeEval：把自动评判器和人类专家的金标准标签对比。最好的评判器用 o3-mini-high 加定制脚手架，在这项辅助评测上的 F1（精确率和召回率的调和平均，用来概括二分类打分准不准）为 0.83，说明它可以合理代替人类评判。
智能体表现出并非为零的复现能力。Anthropic 的 Claude 3.5 Sonnet（New）配简单智能体脚手架，在 PaperBench 上得 21.0%。在 3 篇论文的子集上，机器学习博士的人类基线（3 次尝试中的最好一次）在 48 小时后达到 41.4%，同一子集上 o1 为 26.6%。作者还发布更轻的变体 PaperBench Code-Dev。在这个变体上，o1 得 43.4%。
贡献包括：
- PaperBench：20 篇机器学习论文、经作者认可的量规，以及用大语言模型评判器自动评分的流程。
- PaperBench Code-Dev：放宽 PaperBench 的部分要求，让搭建和评测更容易。
- JudgeEval：人类评过的提交数据集，用来开发和评估自动评判器。
- 前沿模型在 PaperBench 上的评测：看若干前沿智能体做长程任务和机器学习研发的能力。
2 PaperBench
这一节说明整体流程。图 1 是总览。
2.1 任务
每个样本里，被评测的智能体（原文称 candidate）拿到论文，以及一份对论文的澄清附录（addendum）。它必须交出一个仓库，里面有复现论文经验结果所需的全部代码。仓库根目录必须有 reproduce.sh，作为跑完全部复现代码的入口。只有 reproduce.sh 复现出论文报告的经验结果，这次提交才算复现成功。
数据集里的量规定义每篇论文复现成功所需的具体结果（评分用法见 2.3，设计见 3.1）。为避免对着评分标准过拟合，尝试期间不把量规给智能体，它必须从论文自己推断要复现什么。
不允许智能体使用或查看论文作者的原始代码库（如果有）。这样测的是从零编写并执行复杂实验的能力，而不是使用已有研究代码的能力。后一种能力已有先前工作覆盖（Siegel 等，2024）。
2.2 复现
只有在全新环境里跑出来的结果，才算复现了该结果。因此评分之前有一个复现阶段。
尝试结束后，提交被复制到一台新的虚拟机：Ubuntu 24.04，可使用一块 A10 GPU。从干净状态执行复现脚本。实验中把 reproduce.sh 的运行时间上限设为 12 小时，所有脚本都在此时限内结束；智能体写出的 reproduce.sh 平均执行 5.5 分钟。以后使用 PaperBench 时，复现可能需要更长时间。执行会生成复现过程输出的文件（例如结果和图片），并附带产生 reproduce.log。更新后的提交文件夹称为已执行提交（executed submission）。
把复现从智能体的运行中拆出来，是为了提高复现的可信度，并把复现输出和智能体在做任务时写死的结果区分开。
2.3 评分
图 2：量规把复现任务拆成越来越细的要求树。叶节点按二元通过或失败评分，父节点分数是子节点的加权平均。上例中最终复现分数为 55%。
每篇论文有一份量规，写明完整复现的评定标准。
量规是一棵要求树。每个叶节点是一条清楚的通过或失败标准（见图 2）。每个节点相对其兄弟节点有人工设定的权重。叶节点满足要求记 1，否则记 0。
全部叶节点评完后，父节点分数等于子节点分数的加权平均，一直传到根。根上的分数就是该提交的复现分数。
也就是说，分数是按权重调整后、已满足的量规要求所占比例。100% 表示所有叶节点都满足的完美复现。
主指标是全部论文上的平均复现分数。
2.4 要求类型
每个叶节点属于三种要求类型之一，类型决定怎么评分。
- 结果匹配（Result Match）：已执行提交里是否有证据表明复现了论文中的某一结果。评分时看
reproduce.sh、reproduce.log，以及复现步骤新建或改过的文件。例子：“记录的 F1 显示，从基于表示的预测方法里去掉频率先验项后，所有模型、数据集和微调设置上的平均 F1 都下降。” - 执行（Execution）：运行
reproduce.sh时，某一执行结果是否发生。结果匹配很难达到，因此多条执行节点让提交即使没达到对应的结果匹配，也能因部分进展得分。评分时看reproduce.sh、reproduce.log和源代码。例子：“在表 1 的全部模型、数据集和微调配置上，评估去掉先验的基于表示的预测方法的代码已经执行，并且 F1 已记录。” - 代码开发（Code Development）：源代码看起来是否包含某项要求的正确实现。它给执行节点记部分分数。例如代码写对了，但没在
reproduce.sh里正确执行。例子：“已写代码，用 BART0 Large 在 P3 数据集测试集上生成预测，并用精确匹配分数评分，从而按第 4.1 节构造数据集 D_R^train 和 D_R^test。”
只保留结果匹配节点在定义上就等于复现论文。作者仍然加入执行和代码开发节点，是为了给走向结果的部分进展记分，使 PaperBench 上的成绩能逐步上升。
反过来，只保留代码开发节点在概念上也可以：真正正确的全部代码一旦运行，就应正确执行并得到预期结果。但实践中不运行就无法完全判定代码正确。因此还要分开看代码是否执行、结果是否匹配，评估才更完整、更稳。
表 1 汇总每种要求类型会给评判器看哪些文件。没有 reproduce.sh 的提交，在全部执行节点和结果匹配节点上得 0。
表 1：叶节点是代码开发、执行或结果匹配，这决定评分该叶节点时给评判器看哪些文件。
| 文件 | 代码开发 | 执行 | 结果匹配 |
|---|---|---|---|
| README 与文档 | 看 | 看 | 看 |
| 源代码 | 看 | 看 | 不看 |
| reproduce.sh | 看 | 看 | 看 |
| reproduce.log | 不看 | 看 | 看 |
| 复现输出 | 不看 | 不看 | 看 |
2.5 规则
PaperBench 不绑定特定智能体脚手架，因此不规定智能体的环境。为保证比较公平，有三条规则：
- 智能体可以上网，但不得使用每篇论文黑名单上的网站。黑名单包括作者自己的代码仓库，以及其他在线复现。
- 运行时间和算力不设上限。作者鼓励报告实验设置。
- 开发者应为必要的在线服务提供 API 密钥（例如下载数据集的 HuggingFace 凭据）。获取在线账号不属于 PaperBench 要测的技能。
实验中有一个简单的事后监视器，检查智能体日志里是否出现黑名单 URL，再交人工复核，取消使用黑名单资源的提交资格。监视器细节在附录 E。全部 646 次运行中，有 10 次使用了黑名单资源，这些提交的分数被设为 0。
2.6 PaperBench Code-Dev
完整评测在模型推理和提供给智能体的计算环境上都很贵。为了让更多人能用，作者发布简化版 PaperBench Code-Dev。它把任务收成只做代码开发，不再强调执行代码以核验结果是否复现。评测时跳过复现步骤，评判器只给量规里的“代码开发”节点打分。
这样就不必为智能体运行和复现步骤准备通常很贵的 GPU。以 o3-mini 为评判器时，评分成本大约降低 85%。
Code-Dev 更容易用，但对复现能力的评估没那么稳。它和完整 PaperBench 的成绩只是弱相关。o1 的 Pearson r 为 0.48，关系为 PB = 0.45 × PBCD + 0.05。作者预期 Code-Dev 适合作为完整 PaperBench 的初步、有噪声的指示。
3 数据集
PaperBench 含 20 篇机器学习论文，列在表 2。为了代表当代人工智能研究，作者考虑 ICML 2024 的全部 Spotlight 和 Oral，再按附录 B 的标准筛选是否适合。另外发布两篇 NeurIPS 2024 研讨会论文作为开发集，并保留一份内部留出集。
表 2：PaperBench 中的论文。节点数来自表 7。
| 论文 | 来源 | ICML 主题 | 节点数 |
|---|---|---|---|
| APT: Adaptive Pruning and Tuning Pretrained Language Models for Efficient Training and Inference | Oral | 深度学习：大语言模型 | 172 |
| All-in-one simulation-based inference | Oral | 概率方法 | 234 |
| Batch and match: black-box variational inference with a score-based divergence | Spotlight | 概率方法：变分推断 | 1021 |
| BBox-Adapter: Lightweight Adapting for Black-Box Large Language Models | Spotlight | 深度学习：大语言模型 | 422 |
| Bridging Data Gaps in Diffusion Models with Adversarial Noise-Based Transfer Learning | Spotlight | 理论：域适配与迁移学习 | 207 |
| Unsupervised Zero-Shot Reinforcement Learning via Functional Reward Encodings | Spotlight | 深度强化学习 | 636 |
| Fine-tuning Reinforcement Learning Models is Secretly a Forgetting Mitigation Problem | Spotlight | 强化学习：深度强化学习 | 233 |
| Refined Coreset Selection: Towards Minimal Coreset Size under Model Performance Constraints | Spotlight | 以数据为中心的人工智能 | 1471 |
| LCA-on-the-Line: Benchmarking Out of Distribution Generalization with Class Taxonomies | Oral | 深度学习：稳健性 | 1048 |
| A Mechanistic Understanding of Alignment Algorithms: A Case Study on DPO and Toxicity | Oral | 深度学习：大语言模型 | 128 |
| Challenges in Training PINNs: A Loss Landscape Perspective | Oral | 深度学习 | 2551 |
| RICE: Breaking Through the Training Bottlenecks of Reinforcement Learning with Explanation | Spotlight | 深度强化学习 | 489 |
| Robust CLIP: Unsupervised Adversarial Fine-Tuning of Vision Embeddings for Robust Large Vision-Language Models | Oral | 深度学习：稳健性 | 146 |
| Sample-specific Masks for Visual Reprogramming-based Prompting | Spotlight | 机器学习杂项：一般技术 | 396 |
| SAPG: Split and Aggregate Policy Gradients | Oral | 深度强化学习 | 279 |
| Sequential Neural Score Estimation: Likelihood-Free Inference with Conditional Score Based Diffusion Models | Spotlight | 概率方法 | 123 |
| Stay on Topic with Classifier-Free Guidance | Spotlight | 深度学习：大语言模型 | 186 |
| Stochastic Interpolants with Data-Dependent Couplings | Spotlight | 生成模型 | 94 |
| Test-Time Model Adaptation with Only Forward Passes | Oral | 分布偏移与分布外 | 236 |
| What Will My Model Forget? Forecasting Forgotten Examples in Language Model Refinement | Spotlight | 深度学习：其他 | 1146 |
3.1 量规
为每篇论文构建量规，是开发 PaperBench 最费时间的部分。每份量规与该论文的一位原作者合作写成，从读论文、初稿、审阅、迭代到最终签字，每篇要数周。创建过程在附录 C。
每份量规是一棵树，按层级拆开复现该论文所需的主要结果。根节点是最高层结果，例如“论文的核心贡献已被复现”。第一层可能为每项核心贡献设一个节点。再下一层写更具体的结果，例如“gpt2-xl 已按附录 B.1 的超参数在该数据集上微调”。一个节点的全部子节点都满足，就表示父节点也满足，因此只给全部叶节点评分就足以评估整体是否成功。
叶节点的要求精确且细。要求多而细，才能给部分尝试打分，也让评判器更容易评单个节点。作者持续拆分，直到估计一位熟悉论文的人类专家能在 15 分钟内判断提交是否满足该要求。20 篇论文共 8,316 个叶节点。表 2 是每份量规的节点总数；节点类型的进一步分解见表 7（附录 C）。
所有节点都有权重。权重表示该贡献相对兄弟节点的重要性，不一定是实现难度。加权会奖励优先复现论文里更重要的部分。
3.2 处理说明不足
作者为每篇论文手工写一份附录，收入原作者的澄清，也写明哪些部分不在范围内。必要时还有只给评判器看的附录，提供参考信息，帮助它更准确地评分。
4 大语言模型评判器
初步实验里，专家人工评分大约每篇要几十小时，因此实际使用 PaperBench 必须能自动评分。
为了规模化评估提交，作者开发了简单的大语言模型评判器 SimpleJudge，并建立辅助评测 JudgeEval，用来评估这个评判器以及以后的评判器。
作者预期自动评判器的质量会随时间提高，基准上报告的分数也会因此更可靠。
4.1 SimpleJudge 的实现
给定一份提交，评判器独立给量规中的每个叶节点评分。对某个叶节点，提示里包括论文的 Markdown、完整量规 JSON、该叶节点的要求，以及提交内容。
完整提交常常放不进模型上下文。评判器先按相关度给文件排序，只把前十个文件放进上下文，再判断该叶节点的要求是否满足。
除非另有说明，后端模型是 OpenAI 的 o3-mini（o3-mini-2025-01-31，reasoning_effort 设为 high）。按 2025 年 3 月 21 日公开的 o1 API 价格估算，用 o3-mini 给一篇论文的一次提交评分大约 66 美元。SimpleJudge 平均每篇约 5,000 万输入词元和 200 万输出词元。PaperBench Code-Dev 的评分成本降到大约每篇 10 美元。这比雇用专家人类评分便宜且快（见图 5）。
实现称为 SimpleJudge。更多细节在附录 D。
4.2 用 JudgeEval 评估评判器
JudgeEval 评测自动评判器在 PaperBench 场景下的准确度。
构建时使用 PaperBench 数据集中四篇论文的部分复现，以及开发集中的一篇。这些复现有的从零写，有的改自原作者代码库。原作者代码库并不预期得满分：它们常常不完整或有缺陷，也没有 PaperBench 要求的 reproduce.sh。作者对照量规人工评分，把这些人类评过的叶节点当作自动评判器的真值。
每个叶节点是二分类，因此用标准二分类指标评估 JudgeEval。
作者用宏平均（macro-average，先按论文算指标再平均）比较 GPT-4o-mini、GPT-4o、o1-mini、o1 和 o3-mini。表 3 显示，o3-mini 加 SimpleJudge 脚手架最划算：F1 为 0.83，每篇 66 美元。主结果用的就是这套评判器。
表 3：GPT-4o、o1-mini、o1 和 o3-mini 配该评判脚手架在 JudgeEval 上的宏平均。o 系列的 reasoning_effort 为 high。成本是每篇美元均价。按要求类型分层的 F1 在附录 G。
| 评判器 | 准确率 | 精确率 | 召回率 | F1 | 成本（美元） |
|---|---|---|---|---|---|
| 随机 | 0.48 | 0.49 | 0.49 | 0.49 | 0 |
| GPT-4o-mini | 0.63 | 0.64 | 0.60 | 0.59 | 8 |
| GPT-4o | 0.74 | 0.74 | 0.72 | 0.73 | 120 |
| o1-mini | 0.81 | 0.85 | 0.76 | 0.78 | 72 |
| o1 | 0.84 | 0.84 | 0.84 | 0.84 | 830 |
| o3-mini | 0.83 | 0.83 | 0.83 | 0.83 | 66 |
5 实验与结果
5.1 智能体与执行环境
每个智能体跑在 Ubuntu 24.04 的 Docker 容器里，可使用一块 A10 GPU。本地工作目录里有 PDF 和 Markdown 两种格式的论文、论文附录，以及一份说明文本（说明见图 13）。
容器可以上网，以便安装软件包和浏览网页。作者提供 HuggingFace 的 API 密钥，以及充了 1,000 美元的 OpenAI API，供运行中使用这些服务（例如论文要求用 OpenAI 微调 API 做实验）。
脚手架基于 Inspect AI 的 basic agent（https://inspect.ai-safety-institute.org.uk/agents.html#sec-basic-agent），称为 BasicAgent，用 nanoeval 编排。脚手架执行工具循环，直到模型选择结束，或到达时间上限。工具包括 bash、Python 代码执行、网页浏览器，以及用来读长文档的分页文件阅读器。脚手架细节在附录 F。
5.2 主实验
在全部 20 篇论文上各跑 3 次的模型有：GPT-4o（gpt-4o-2024-08-06）、o1（o1-2024-12-17，reasoning 为 high）、o3-mini（o3-mini-2025-01-31，reasoning 为 high）、DeepSeek-R1（经 OpenRouter）、Claude 3.5 Sonnet（New）（claude-3-5-sonnet-20241022）、Gemini 2.0 Flash（gemini-2.0-flash）。作者也想评 Claude 3.7 Sonnet，但受 Anthropic API 速率限制，实验没有做完。智能体最长运行 12 小时。这个上限是出于实际考虑。作者鼓励其他人报告自己的运行时间。
表 4 是各模型的平均复现分数。Claude 3.5 Sonnet 为 21.0%。OpenAI o1 较弱，为 13.2%。其余被测模型都低于 10%。
作者抽查了若干智能体日志。除 Claude 3.5 Sonnet 外，模型经常提前结束，声称已经完成全部复现，或遇到自己解决不了的问题。所有智能体都没能针对有限时间规划怎样复现这篇论文。o3-mini 经常在使用工具上遇到困难。
这些失败说明当前模型做长程任务仍然弱：它们能写出多步计划，但做不到按计划连续采取行动。
作者认为，继续改进智能体脚手架会提高 PaperBench 成绩。本文的重点是提出基准，智能体结果只是初始基线，并不代表这些模型能力的上限。
表 4：BasicAgent 主设置下的平均复现分数（%）。误差是均值的一个标准误。
| 模型 | PaperBench |
|---|---|
| o3-mini-high | 2.6 ± 0.2 |
| gpt-4o | 4.1 ± 0.1 |
| gemini-2.0-flash | 3.2 ± 0.2 |
| DeepSeek-R1 | 6.0 ± 0.3 |
| o1-high | 13.2 ± 0.3 |
| claude-3.5-sonnet | 21.0 ± 0.8 |
表 5：IterativeAgent 的平均复现分数（%）。它去掉提前结束任务的能力，并提示模型一小块一小块地做。相对 BasicAgent，o3-mini 和 o1 明显提高，Claude 3.5 Sonnet 下降，说明模型对提示很敏感。
| 模型 | PaperBench |
|---|---|
| o3-mini-high | 8.5 ± 0.8 |
| claude-3.5-sonnet | 16.1 ± 0.1 |
| o1-high | 24.4 ± 0.7 |
| o1-high，时限延长到 36 小时 | 26.0 ± 0.3 |
表 6：o1 用 IterativeAgent 在 PaperBench Code-Dev 上的平均复现分数（%）。误差是均值的一个标准误。
| 模型 | PaperBench Code-Dev |
|---|---|
| o1-high | 43.4 ± 0.8 |
图 3：在 4 篇论文的子集上比较人类与智能体。o1 一开始高于人类基线，但第一个小时后趋于平缓，最后落后于人类。test-time-model-adaptation 的人类尝试在 24 小时结束，因此不计入文中其他地方说的“3 篇子集”。模型误差线是 3 次重复的均值标准误。
5.3 IterativeAgent
模型往往用不完可用时间。作者测试了 BasicAgent 的一个变体：去掉提前结束的能力，迫使它跑满时间，并用调整过的提示鼓励它分块工作。这个智能体称为 IterativeAgent。提示细节在附录 F.2。
用 IterativeAgent 测试了 o1、o3-mini 和 Claude 3.5 Sonnet，结果见表 5。
o1 和 o3-mini 的分数明显上升。Claude 3.5 Sonnet 在 BasicAgent 上超过 o1，在 IterativeAgent 上则低于 o1。这说明 IterativeAgent 的提示调整更适合 OpenAI 的 o 系列。作者推测，若 BasicAgent 也禁止提前结束，Claude 3.5 Sonnet 仍可能超过使用 IterativeAgent 的 o1。
5.4 人类基线
作者招募 8 名正在攻读或已经完成机器学习博士的参与者，学校为 Berkeley、Cambridge、Carnegie Mellon、Columbia、Cornell、Purdue、TU Wien 或 UMass Amherst。每人先过简历筛选，再做机器学习和 git 的技术测试。
设置要在 4 篇论文的子集上建立人类基线：每篇收集 3 次独立复现，把参与者分到他们最有信心复现的论文上。每篇 3 次独立尝试，用来取 best@3，作为“专家”分数。
条件尽量和智能体相同。参与者拿到 PDF 和 Markdown 论文、附录，以及尽可能接近智能体的说明。人类说明里多了工作预期，以及如何给虚拟机配 GPU。每人可使用一块 NVIDIA A10。有四次基线尝试因 A10 不够，改用一块 NVIDIA A100。这可能让人类做得稍快，但所有人类和智能体提交的复现步骤仍用 A10，作者预期分数提升可以忽略。不限制参与者怎么工作，例如可以用 ChatGPT 和 GitHub Copilot，但不得查阅该论文黑名单上的网站。
参与者兼职，有四周窗口尽量推进。一周后评估，只把 3 人中最好的一位延长到剩余几周。有效工作时间用时间表记录；机器在无人值守时跑实验（例如过夜）也计入总工时。按这些小时，在不同时间点取提交快照并评分。
o1 配 IterativeAgent 做了 36 小时的延长运行，每小时存快照，并给 1、3、6、12 和 36 小时的快照评分。
图 3 把这次 36 小时运行和人类随时间的表现放在一起。o1 在复现早期高于人类基线，24 小时之后人类超过智能体。智能体先超过人类、在更长时间尺度上又落后，这与先前结果一致（Wijk 等，2024）。o1 的分数大多在第一个小时后就平了：它擅长在开头快速写大量代码，但过了这个时间尺度就不能有效地规划如何改进提交。人类分数在最初几小时上升慢，可能是因为他们在读论文。
6 相关工作
这一节综述在机器学习研究和工程上评测智能体的工作。量规式评测和其他评测、监督形式的更大比较见附录 A。
评测机器学习工程与研究
CORE-Bench（Siegel 等，2024）让智能体在已有仓库上复现论文结果。PaperBench 则要求从零复现。
MLE-bench（Chan 等，2024）、MLAgentBench（Huang 等，2024）和 DSBench（Jing 等，2024）在 Kaggle 竞赛上评测智能体。许多 Kaggle 竞赛较旧，而且相对简单。PaperBench 只收录与当代机器学习研究相关的任务。
RE-Bench（Wijk 等，2024）提出 7 个开放的机器学习研究工程任务。作者预期 PaperBench 覆盖的子任务更广、工作时间更长，而 RE-Bench 的任务更自成一体。另外，RE-Bench 在多数任务上给智能体一个评分函数，用来完美度量当前任务上的表现。PaperBench 要测的是完成并串起一大片机器学习研究工作的能力，这种评分函数覆盖不了全部范围。
近期工作发现，大语言模型在特定领域里能提出与人类博士新颖性相当的研究想法（Si 等，2024），也能解决一些玩具研究问题，包括形成假设、设计并运行实验、分析结果（Jansen 等，2024；Wang 等，2022）。
自动评判
已有工作用大语言模型评判提交（Zheng 等，2023；Chen 等，2024；Fu 等，2023）。在某些任务上，基于智能体的评判器比非智能体的语言模型评判器更准（Zhuge 等，2024）。本文在比以往更难的任务上测量模型的评判能力。
7 限制
数据集规模
PaperBench 目前只有 20 篇论文，理想情况下应覆盖机器学习研究产出的更大一块。但只看论文篇数会误导：每份量规有数百个节点，PaperBench 实际在数千条不同要求上评测智能体。
污染
基准里几乎每篇论文的原作者代码库都在网上。以作者的经验，这些代码库常常不能复现整篇论文，也不符合 PaperBench 的提交格式（例如要有执行代码的 reproduce.sh）。尽管如此，在大规模语料上预训练的模型可能已经记住解法，从而抬高分数。以数据集中论文的新近程度，当前模型多半还不受这个问题影响，但以后的模型可能会。
数据集创建很难
写出这些详细量规极其费人工，每份都要专家花满好几天。写的人必须深入理解论文，而且要求必须写准，否则评测就不准。作者发现很难把别人训练到自己想要的量规质量。这使别人难以重复他们创建数据集的过程。以后的工作可以研究更省事的量规生成，例如借助模型。
基于大语言模型的评判器表现
尽管评判器在 JudgeEval 上表现较好，它仍不如专家人类准确。而且评判器调用的是非确定性模型，分数不是确定的。作者希望看到复杂任务上自动评判器的进一步工作，也希望以后用对抗性提交等办法压力测试评判器。复杂任务评测以及还需要的进展，见附录 A。
成本
作者估计，o1 的 IterativeAgent 在 PaperBench 上对一篇论文做 12 小时运行，API 费用平均约 400 美元。20 篇合计每次评测约 8,000 美元。再用 o3-mini 的 SimpleJudge 评分，平均每篇另加 66 美元。PaperBench Code-Dev 既是为了去掉 GPU，也是为了降低成本。由于不做执行，作者预期 Code-Dev 的运行可以是 PaperBench 的一半时长，从而每次评测约 4,000 美元。观察到的分数平台说明运行还可以再缩短，成本还能再降。Code-Dev 的评分成本平均降到每篇 10 美元。作者还发布了实验版 SimpleJudge 的工作，初步结果显示评分成本降到约十分之一（见附录 H）。
8 结论
PaperBench 是一个有难度的基准，用来评估智能体复现前沿机器学习研究的能力。收入的论文来自当代受关注的领域，例如强化学习、稳健性和概率方法，并用与原作者共同开发的严格量规来评。智能体必须从零建起整个代码库、做复杂实验并给出最终结果，因此它是对机器学习研发能力的高要求实测。
对若干前沿模型的实验表明：当前系统能复现机器学习论文的某些侧面，但离胜任成功复现所需的全部任务还很远。主设置里最强的被评智能体 Claude 3.5 Sonnet（New），平均复现分数只有 21.0%。这既说明机器学习研究任务的复杂，也说明当前智能体做复杂长程任务的限制。这些早期结果也显示进展并非为零：智能体能够实现并验证多种方法，以后还有改进空间。
开源 PaperBench，是为了帮助评估、监测和预测人工智能系统自己做人工智能研发的能力。这个基准覆盖不了真实研究的每一方面，但作者认为它是朝严谨评估机器学习研究中的人工智能自主性迈出的实质性一步。
影响说明
人工智能系统若能自主开展复杂的机器学习研究，就有可能加快多个领域的科学发现。一个相关例子是：由人工智能驱动的机器学习研究，可能明显加快人工智能安全与对齐研究。能从零复现前沿机器学习研究，说明系统有自主性和机器学习专门知识。在 PaperBench 上得分高的模型，会有并非微不足道的能力去处理真实、开放的机器学习研究任务。
但是，自主复现并延伸前沿研究的能力，也可能使创新快过人们理解其影响的速度。如果强模型不仅能复现当前技术，还能反复改进它们，就可能以更高风险的速度加快更强系统的开发。模型可能在几乎没有时间做充分风险评估、治理、安全与对齐干预的情况下被引入，从而带来危险或破坏稳定的结果。
开源 PaperBench 是为了提供一种方法，去测量前沿人工智能系统正在出现的自主研发能力。作者承认它只是自主人工智能研发评测版图中的一块，并鼓励以后的工作去预见和准备更大自主性可能带来的强烈影响。
致谢
感谢 Arvind Ramaswami 和 Francisco Garcia 对数据集创建的贡献。
感谢被收入论文的作者与作者一起核验每份量规：Alexander Spangher、Ananye Agarwal、Andrew Lee、Bartłomiej Cupiał、Bowen Zhao、Chang Xu、Christian Schlarmann、Diana Cai、Dong Gong、Feng Liu、Haotian Sun、Jia Shi、Kevin Frans、Louis Sharrock、Manuel Gloeckler、Michael Samuel Albergo、Pratik Rathore、Shuaicheng Niu、Tim Knappe、Tongliang Liu、Xinyu Xing、Xisen Jin。他们澄清方法、提供材料并支持写量规，对做出全面、准确的量规是必要的。
感谢参加人类基线实验的 Amy Lu、Anit Kumar Sahu、Armin Wasicek、Brendan Rappazzo、Chun-Wei Chiang、David Khachaturov、Marc Harary、Stephen Giguere。
感谢 Aparna Dutta、Jerry Tworek、Phoebe Thacker、Phillip Guo、Kevin Liu、Vichyr Pong、Mengyuan Yan、Yining Chen 的建议与合作。
Giulio Starace、Oliver Jaffe、Dane Sherburn、James Aung、Chan Jun Shern、Leon Maksin、Rachel Dias、Evan Mays、Benjamin Kinsella、Wyatt Thompson、Johannes Heidecke、Amelia Glaese、Tejal Patwardhan，PaperBench: Evaluating AI’s Ability to Replicate AI Research，2025-04-02（arXiv v3，2025-04-07），https://arxiv.org/abs/2504.01848 ，CC BY 4.0
觉得有用，转给同事
微信扫码
用微信扫一扫，在手机上打开后即可转发。