PaperBenchX：人工智能能跨学科复现科学吗？

PaperBenchX：人工智能能跨学科复现科学吗？

2026 年 10 月 29 日

UniPat AI 所属单位：UniPat AI。通信与发布信息见文末贡献者名单。

摘要

在人工智能可以被信任去发现新科学之前，它应当能够复现科学已经知道的东西。复现给人工智能科学家一个严格的检查点：目标主张是已知的，但把它找回来仍然需要把一份不完整的科学描述翻译成可执行的实验，并产生可以独立核验的证据。现有的研究复现基准大多集中在人工智能和机器学习，那里的实验共享相对同质的软件栈。把这种能力扩展到各个科学学科，会带来另一种挑战：智能体必须操作领域专用的科学软件，做出物理和数值上的选择，诊断长时间运行的计算，并把有效证据与仅仅说得通的输出区分开。我们提出 PaperBenchX，一个由专家构建的论文复现基准，共 93 个任务，覆盖电磁学、光子学、化学、材料科学、生物学和机器人学中的 12 个研究领域。每个任务提供源论文、一份公开的任务说明，以及涉及专用科学软件的领域原生科学环境。智能体必须重建一项关键实验，执行并诊断它，并交付一个可运行的工作流，以支持目标科学主张。为了评测科学有效性而不是表面上的吻合，我们把每一份提交从头重放，并且只对照专家确认过的标准给重新生成的证据打分。在 10 种前沿智能体配置上，最好的配置在 90% 阈值下只完全复现了 14% 的任务。与此同时，平均量规分数从 27.53% 到 59.08%，说明相当多的部分进展很少变成完整的科学复现。这些结果揭示了理解论文与可靠地产生可复现科学证据之间的巨大差距。

主页：https://unipat.ai/blog/PaperBenchX。代码：https://github.com/UniPat-AI/PaperBenchX。排行榜：https://unipat.ai/benchmarks/PaperBenchX。

图 1：前沿智能体在 PaperBenchX 上的表现。条形是完全分数（$>90\%$）；箱线是部分分数。GPT-6-Astra 和 GPT-5.6-sol 使用 Codex；其余都使用 Claude Code。

1 引言

可复现性是科学的界定特征之一：一个结果有意义，不只是因为它被报告了，还因为其背后的假设、程序和证据可以被重建并独立检查。对人工智能系统来说，这使复现成为对科学能力的苛刻测试。智能体必须超出理解一篇论文的结论，去恢复结果是如何得到的，把不完整的描述翻译成可执行程序，操作专用工具，诊断失败，并判断所得证据是否真的支持该主张。现有复现基准大多集中在人工智能和机器学习，而跨领域科学基准通常只隔离工作流的一部分（Starace et al., 2025; Siegel et al., 2024; Geng et al., 2026）。尚未充分探索的是：智能体能否在各学科之内、在底层科学原生的环境里，复现已发表的实验。

这一区分重要，是因为在机器学习之外，环境不只是基础设施。它是科学问题的一部分。复现一个天线结果，可能需要在 HFSS 里构建并求解一个电磁模型；复现一个光子学结果，可能取决于几何、边界条件、模式提取，以及在 Lumerical 或 Meep 里的收敛行为（Oskooi et al., 2010）；复现一个化学或材料结果，可能需要选择基组、数值容差或电子结构设置；复现一个机器人学结果，可能需要在具身仿真器里执行并核验行为。一个工作流可以成功跑完、生成说得通的数字，却仍然代表错误的物理系统。因此跨学科的科学复现所要求的，多于写出能执行的代码。

图 2：从任务包到以重放为据的分数。智能体收到论文、任务说明、环境和起始提交；与领域原生的科学软件交互；并返回一个可运行的包。干净重放重新生成用来给科学量规打分的证据。图中显示的叶子和分数是示意。

我们指出三个耦合的挑战。第一，科学重建：论文不是可执行的规格。智能体必须把散文、方程、图和领域惯例翻译成具体实验，识别目标可观测量，并解决任务合同没有完全规定的建模选择。第二，领域原生执行：智能体必须操作专用科学软件，选择适当的物理和数值设置，解释诊断，并判断一次计算是否稳定且收敛。第三，科学核验：匹配一个报告值是不够的。结果必须来自一个有效的实验工作流，支持它的证据必须可以独立再生成。这些挑战把科学复现与“重跑已发布的代码”或“给出一个说得通的最终答案”区分开。

为研究这一设置，我们提出 PaperBenchX，一个跨学科、论文级科学复现基准。它包含 93 个专家构建的任务，覆盖 12 个研究领域：电磁学、光子学、计算化学、计算材料科学、计算生物学与生物信息学，以及机器人学与具身人工智能。任务跑在 10 个领域原生的科学计算环境里，包括 Ansys HFSS、Ansys Lumerical、Meep（Oskooi et al., 2010）、PySCF/GPU4PySCF（Sun et al., 2026）、ABACUS（Zhou et al., 2025）、Quantum ESPRESSO（Giannozzi et al., 2009）、AutoDock Vina（Eberhardt et al., 2021）、Habitat（Savva et al., 2019）、SimplerEnv（Li et al., 2025）和 AI2-THOR（Kolve et al., 2017）。每个任务以一篇已发表论文中可核验的科学主张为中心。智能体收到论文、一份规定复现范围和交付物的公开任务说明，以及所需的科学环境，但收不到私有的参考工作流、参考证据或评测量规。它的目标是重建实验，并交付一个可运行的工作流，重新生成支持目标主张的证据。

PaperBenchX 通过以重放为据的核验来评测持续的、端到端的科学复现：智能体在重建实验、运行并诊断长时间仿真、改进分析时，必须维持科学意图、计算状态和证据来源；提交之后，每个工作流在干净环境里从头重跑，只有重新生成的产物才对照专家确认的标准打分。这一设计把说得通的实现和成功的软件执行，与对目标科学结果的真正复现区分开。在同样 93 个任务上的 10 种前沿智能体配置里，最强的配置只在 13 个任务上超过 90% 的完全复现阈值，而 71 个任务没有任何被评测的配置完全复现；平均量规分数从 27.53% 到 59.08%。智能体常常在建模和执行上取得相当进展，却在科学验证上失败，这揭示了部分进展与可靠地走完“从理解论文到可复现科学证据”这一环之间的巨大差距。

我们的贡献有三项：

• 跨学科的论文级复现。我们提出 93 个专家构建的任务，覆盖 12 个研究领域和 10 个科学计算环境，每个任务以一篇已发表论文中可核验的主张为中心。
• 领域原生的科学执行。PaperBenchX 不把科学问题收成一个共同的编码接口，而要求智能体在底层研究所需的仿真器、软件栈、数值惯例和资源约束之内操作。
• 以重放为据的科学核验。我们把每一份提交的工作流从头重跑，并且只对照专家确认的科学标准给重新生成的证据打分，把说得通的输出与可复现的科学结果区分开。

2 相关工作

表 1：与先前智能体基准的比较。勾号表示该基准明确评测所列出的能力。

这张表把先前基准分成两组。机器学习一组里，MLAgentBench 和 RE-Bench 都不做论文级复现，也不做领域原生执行，也不做以重放为据的核验。PaperBench 做论文级复现，但不做后两项。SA-Bench 做论文级复现和以重放为据的核验，仍不做领域原生执行。跨领域一组里，DiscoveryBench、ScienceAgentBench 和 CORE-Bench 三项都没有。DISCOVERYWORLD 只做领域原生执行。NatureBench 只做以重放为据的核验。ScienceIDE 做领域原生执行和以重放为据的核验，但不做论文级复现。只有 PaperBenchX 三项都做，范围是十二个研究领域。

2.1 机器学习研究与论文复现

MLAgentBench 和 RE-Bench 评测长程的机器学习实验和研究工程，但它们的目标被规定为任务级指标的改进，而不是复现已发表的主张（Huang et al., 2023; Wijk et al., 2024）。PaperBench 和 SA-Bench 通过复现或语义对齐量规走向论文级评测（Starace et al., 2025; Hu et al., 2026）。它们确立了单凭最终指标不能衡量对一篇论文的忠实度，但仍然集中在相对同质的机器学习软件栈，而不是异质的、领域原生的科学环境。

2.2 跨领域科学基准

跨领域基准拓宽了科学范围，但通常只隔离复现过程的一部分。SciCode、DiscoveryBench 和 ScienceAgentBench 评测科学编码、假设发现或数据分析，而 CORE-Bench 通过重跑已发布的代码来恢复结果（Tian et al., 2024; Majumder et al., 2024; Chen et al., 2024; Siegel et al., 2024）。DISCOVERYWORLD 在一个统一的虚拟世界里评测交互式发现，NatureBench 构建从论文派生的科学机器学习任务（Jansen et al., 2024; Wang et al., 2026）。ScienceIDE 最直接地评测领域原生的科学执行，把智能体放进生产用的科学软件，但它的任务关心的是仓库级修复和实现，而不是复现一个已发表的实验（Geng et al., 2026）。

PaperBenchX 对准这些基准留下的交集。它要求对关键实验做论文级复现，在异质的领域原生科学环境里执行任务，并使用以重放为据的科学核验。提交的工作流必须从头再跑，并重新生成支持目标主张的证据；说得通的最终答案或一个完成的仓库都不够。表 1 概括这些区分。

3 PaperBenchX 基准

PaperBenchX 评测智能体能否在底层研究所要求的领域原生环境里，把一项科学主张变成可以独立重放的证据。图 2 概括完整生命周期，从提供给智能体的材料，到干净重放和基于证据的评分。本节定义任务，描述基准的组成和构建流水线，并规定评测协议。

图 3：PaperBenchX 的覆盖与评测结构。A，93 个任务跨越六个科学领域中的 12 个研究领域。B，它们的 93 篇源论文跨越 44 个发表场所；条形颜色对应 A 中的 12 个研究领域。C，任务量规包含 3,168 条可评分标准（每题中位数 38）；点是任务，黑刻度标出研究领域的中位数。

3.1 任务定义

每个 PaperBenchX 任务以一篇已发表科学论文中可核验的科学主张为中心。如图 2 所示，任务输入有三部分：论文；一份公开任务说明，规定科学范围、目标条件与变体、可观测量、所需证据和交付接口；以及一个科学计算环境，其中有领域原生的仿真器、依赖、数据和分配的资源。环境是任务定义的一部分，而不是附带的基础设施，因为模型表示、数值惯例、执行程序和收敛证据在不同科学软件之间并不相同。

智能体必须提交一个可运行的包，包含复现所需的全部源码、建模、仿真、后处理和分析代码，并以 reproduce.sh 作为规范入口。干净重放时，评测者刷新任务容器，只恢复提交的包，运行这一入口，并收集工作流重新生成的输出。被打分的是这些输出，而不是智能体的断言，对照的是一份隐藏的科学量规。私有参考工作流和参考产物从不暴露给智能体。参考产物是任务构建期间产生的、由专家生成的仿真器日志、原始数值输出、收敛记录和派生指标；它们确立任务可执行，并为其预期证据和评分标准提供依据。源论文中报告的值仍然可见，但私有容差和参考证据被扣下。因此这个任务检验的是智能体能否构造一个科学上有效、且可以独立重放的程序，而不是它能否找回一个隐藏的数字。

3.2 任务统计

图 4：任务构建与质量控制。专家把一项已发表主张变成可运行的任务，方法是定义其科学范围、配备领域原生环境，并写明公开的任务合同。参考重放、校准检查和独立专家复查，在任务被准入基准之前核验可执行性、公平性和证据要求。

#### 基准组成。

PaperBenchX 包含 93 个论文复现任务，跨越 12 个研究领域和 10 个领域原生科学计算环境，有 3,168 条可评分标准。这十二个研究领域是：射频天线与阵列；射频超表面与散射；射频滤波器与频率选择表面；集成光子器件；光子晶体与拓扑光子学；光学超表面、光栅与等离激元；光学计算与信号处理；光学谐振器、滤波器与可调器件；计算化学；计算材料科学；计算生物学与生物信息学；机器人学与具身人工智能。图 3A 给出任务在这些研究领域上的分布。

任务跑在十个领域原生科学计算环境里：Ansys HFSS、Ansys Lumerical、Meep、PySCF/GPU4PySCF、ABACUS、Quantum ESPRESSO、AutoDock Vina、Habitat、SimplerEnv 和 AI2-THOR。基准依据 93 篇不同的源论文，来自 44 个发表场所，如图 3B 所概括。每个任务有由其仿真规模和资源需求决定的执行预算；智能体时限从 $4\text{\,}\mathrm{h}$ 到 $72\text{\,}\mathrm{h}$，中位数 $7\text{\,}\mathrm{h}$。图 3C 给出同样 93 个任务上可评分标准的分布。

#### 发布与基准完整性。

我们从十二个研究领域中各发布一个代表性任务。九个任务包含完整的、可再分发的科学计算环境；其余三个依赖商业许可软件，对此我们发布任务说明和评分细节，但不发布相应的软件环境。其余任务作为隐藏评测集保留，以减少测试集污染，并保持该基准对未来智能体的评测效力。

3.3 任务构建流水线

流水线分两个阶段（图 4）：先构建一个可运行的候选任务，再核验它能否被准入基准。

阶段 1：构建。步骤 1–2：论文与主张的选择。领域专家选择一篇已发表论文，识别一项科学上有意义的主张，并检查它能否在可用的软件、许可、算力和时间约束下被复现。专家然后定义科学范围：目标图或表、模型配置、实验条件与变体、可观测量、有效的方法替代，以及支持该主张所需的证据。步骤 3–4：环境与公开合同。专家配备领域原生的科学环境，并撰写公开任务说明，其中写明范围、所需输出、提交位置和重放入口，而不披露私有量规或参考解。步骤 5：初次执行检查。专家实现一个私有参考工作流，并在装配好的环境里执行它。这第一次执行检查核验仿真器能否被调用、范围内的实验能否在资源包络内完成，以及所需参考产物能否生成。只有这一端到端工作流成功跑完，任务才到达候选阶段。

阶段 2：核验与复查。步骤 6：构建量规。专家把证据要求转换成可独立评分的量规叶子，覆盖模型构建、参数设置、执行、收敛、后处理和主张核验。每片叶子规定得分所需的证据及其评分规则、容差和权重。步骤 7：干净的参考重放。私有参考工作流从最终容器的一份干净副本、通过与提交相同的重放接口再跑一次。与步骤 5 的初次检查不同，这次更严的执行检查核验任务不依赖陈旧状态、未声明的文件或隐藏设置；它也确认预期产物能在最终资源限制下重新生成，并被评测者消费。步骤 8：校准检查。对成功、部分成功和无效的工作流评分，以确认量规给有支持的进展加分，对缺失或矛盾的证据扣分，并把完整复现与说得通但科学上无效的结果区分开。步骤 9：独立专家复查。两位独立的领域专家检查科学范围、公平性、可复现性、证据要求和评分行为。

因范围、环境或参考工作流而失败的任务从阶段 1 重建。因量规、评分规则或评测者而失败的，回到步骤 6。无论哪种情况，所有受影响的下游执行、校准和复查都要重复。只有通过完整流水线的任务才被冻结并准入基准。在整个基准上，任务构建与核验需要超过 1,000 小时的博士级专家工作，大约每题十小时。

3.4 评测

科学正确性不能从智能体的最终报告确立。因此 PaperBenchX 通过干净重放、基于证据的评分和分层打分来评测每一份提交。对智能体工作流的这一评测，不同于任务构建步骤 7 中用来核验基准任务本身的干净参考重放。完整协议见附录 B。

干净重放。交付之后，生成的输出和可变的执行状态被去掉。评测者刷新任务容器，只恢复智能体提交的包，并调用 bash/home/submission/reproduce.sh，此时私有评测资源不可访问，出站网络关闭，并强制执行任务特定的资源限制。退出状态、计时、源码哈希和执行来源被独立于智能体报告而记录。只有这次重放重新生成的产物才是可采信的证据；重放失败被明确记录，只有由可采信的重新生成证据所支持的量规要求才仍可能得分。

基于证据的评分。重放输出——包括仿真器日志、原始数值数组、轨迹、收敛记录、派生指标和可视化——被冻结为一份只读证据集。每一个科学结论都必须能追溯到这一集合：收敛主张需要收敛记录，一个报告的可观测量既需要原始输出，也需要推导它的分析。确定性检查评测可以直接测试的性质，例如文件模式、单位、数值一致性和任务特定容差。需要领域解释的要求，由同一个 GPT-5.6-sol 科学量规评测者对每一种被评测的配置进行评估，它可以访问隐藏量规、参考产物和只读的重放证据。智能体的报告可以定位或解释证据，但不能指挥评测者，也不能代替缺失或矛盾的产物。

量规阶段。每片量规叶子被分到建模（科学模型、假设、输入、参数和配置）、执行（领域原生执行、所需的完成或收敛、产物和来源）或验证（后处理以及对目标主张的定量支持）。阶段分数用该阶段内获得的权重除以量规总权重来归一。

评分。令 $s_{i}\in[0,1]$ 为量规叶子 $i$ 的分数，$w_{i}$ 为其有效分层权重。这些叶子代表可独立评估的科学要求，其有效权重之和为一。任务分数是

我们用两个指标同时报告任务完成层面和部分进展层面的表现：

• 完全率，即 $R>0.9$ 的任务所占比例。恰好为 $0.9$ 的分数不合格。
• 部分分数，即在共享的 93 题结果集上 $R$ 的均值，它捕捉未完成的长程复现上的加权进展。

每种配置都在同一任务集上评测；实验特定的回退和缺失结局处理在第 4.1 节定义。缺失的产物只影响依赖它的量规叶子，与之无关的已核验证据仍可得分。

4 实验

下面给出模型、脚手架和评测协议，然后报告主要结果。

4.1 实验设置

#### 模型与脚手架。

被评测的是十种模型与脚手架的搭配，两个 GPT 走 Codex，其余走 Claude Code。

我们评测十种模型与脚手架配置：GPT-6-Astra（Codex）（OpenAI, 2026b）、Fable 5.1（Anthropic, 2026b）、Fable 5（Anthropic, 2026b）、Opus 5（Anthropic, 2026b）、GPT-5.6-sol（Codex）（OpenAI, 2026b）、Kimi-K3（Moonshot AI, 2026）、Qwen3.8-Max（Alibaba Cloud, 2026）、GLM-5.3（Zhipu AI, 2026; Alibaba Cloud, 2026）、DeepSeek-V4.1-Flash（DeepSeek, 2026）和 HY3（Tencent, 2026）。任务被打包成 Harbor 环境（Laude Institute, 2026）。两个 GPT 模型使用 Codex（OpenAI, 2026a），其余八个使用 Claude Code（Anthropic, 2026a）。所有配置都使用可用的最大推理设置，并收到相同的公开任务材料和外壳访问，而不能访问私有参考工作流或量规。

#### 评测协议。

所有配置都在同样的 93 个任务上评测。当 Fable 5 或 Fable 5.1 拒绝一道题时，系统自动回退到 Opus 5：原来的拒绝保留在拒绝率里，而回退提交决定任务分数。没有有效回退的缺失结局和拒绝计为零。我们把部分分数报告为平均量规分数，把完全率报告为严格高于 90% 的比例，拒绝率来自原始模型回复。所有可用提交都由同一个 GPT-5.6-sol 评测者做干净重放和评分（OpenAI, 2026b），并辅以确定性检查。

4.2 主要结果

表 2：共享的 93 题集合上的模型级结果。部分、完全、拒绝以及所有阶段分数都以百分比报告；指标定义和结局处理遵循第 4.1 节。

表中十种配置的部分分数从高到低为百分之五十九点零八、五十八点一七、五十七点九六、五十五点零七、五十二点五二、四十九点二四、四十六点七六、四十五点四七、四十点七八和二十七点五三。对应的完全率分别为百分之十三点九八、十二点九零、十一点八三、九点六八、七点五三、七点五三、五点三八、七点五三、七点五三和二点一五。Fable 五点一和 Fable 五的拒绝率分别为百分之十一点八三和十三点九八，其余配置的拒绝率为零。平均部分分数百分之四十九点二六，平均完全率只有百分之八点六零。建模、执行和验证的平均分数分别是百分之六十二点七三、六十一点八三和四十二点九一，平均轮次二百三十五点二，平均时间五点五五小时。

#### 总体表现。

GPT-6-Astra（Codex）以 $59.08\%$ 的部分分数和 $13.98\%$ 的完全率领先，却只在 93 题中的 13 题上超过 $90\%$ 阈值。各模型的宏平均部分分数是 $49.26\%$，而平均完全率只有 $8.60\%$，说明相当多的部分进展很少变成完整复现。这一差距集中在科学验证：平均建模和执行分数分别达到 $62.73\%$ 和 $61.83\%$，而验证降到 $42.91\%$。因此当前智能体可以在建模和执行上取得相当进展，但可靠地复现一篇论文的关键实验结果，并产生足以核验它们的科学工作流，仍然困难。

图 5：分领域的能力剖面。(a) 按模型和研究领域的平均量规分数，从最难到最易排列；圆圈标出用 Opus 5 回退来评分的 Fable 拒绝。(b) 领域难度，定义为 100 减去跨模型均值。(c) 总体分数，与表 2 一致。名称作了缩写。

#### 按研究领域的表现。

表现在研究领域之间差异很大（图 5）。平均部分分数从射频滤波器与频率选择表面的 $34.05\%$ 到计算材料科学的 $84.32\%$。热图也揭示相当大的模型与领域变异：GPT-6-Astra 在十二个领域中的六个上领先，Fable 5 和 Fable 5.1 各领先三个，没有任何配置在每个领域都占优。

5 分析

分析围绕部分进展、交互效率、上游决策和失败模式展开。

#### 部分进展很少组合成完整复现。

930 个结局里只有 80 个超过 90% 阈值，而这些成功集中在 22 个任务上；71 个任务没有任何配置完成，其余 22 个里有 11 个至多被两种配置完成。图 6(a) 把这一组合差距定位出来。建模和执行的中位分数分别为 73.4% 和 73.5%，而验证的中位数只有 40.0%。即使在建模和执行都至少 80% 的 304 个结局里，也只有 53 个（17.4%）超过完全复现阈值，其平均验证分数为 58.37%。这些结果表明，当前智能体常常能重建并执行科学工作流的相当部分，却仍然不能把这些部分成功组合成产生可信证据并核验论文主张的端到端复现。

图 6：阶段表现、交互长度和工作流分配。(a) 930 个结局上的阶段分数分布；粗线和细线分别表示四分位距和第 10 到第 90 百分位范围，圆和菱形表示中位数和均值。(b) 部分分数对表 2 中截尾平均轮次。(c) 200 条抽样轨迹（每种模型 50 条）上由工具中介的平均时间分配，阶段由带时间戳的工具动作按固定规则编码。

#### 交互效率在智能体之间差异很大。

图 6(b) 把每种配置的截尾平均交互轮次与其部分分数比较，只发现弱的负相关（$r=-0.14$）。Fable 5.1 和 Fable 5 平均只有大约 113 轮，部分分数却分别达到 58.17% 和 57.96%，接近 GPT-6-Astra 以平均 348.7 轮取得的 59.08%。相比之下，DeepSeek-V4.1-Flash 平均 372.6 轮，分数只有 45.47%。更长的轨迹不一定改进复现，反而可能反映反复试错、失败恢复，或继续执行一个规定错误的工作流。这些结果表明，单凭交互次数不足以解释复现表现；早期决策的准确性可能是同时塑造交互效率和最终分数的重要因素。

#### 上游决策塑造执行的价值。

我们从四个模型中各抽样 50 条轨迹，把由工具中介的时间分成论文重建、实现、原生执行、诊断与调参，以及证据与重放。图 6(c) 显示原生执行占经过时间的 51.8–63.3%，但模型在把它转化成有效科学证据的效率上差异很大。Fable 5 把 37.1% 的时间分配给论文重建和实现，是四个模型里最大的上游份额。

F 形短截线超宽带多输入多输出天线任务说明了这一模式。Fable 5 在 159 轮里得 28.9%，而 GPT-6-Astra 在 464 轮里得 27.4%，HY3 在 390 轮里得 18.1%。它完成了三种天线变体，并恢复了端口互易、辐射方向图和分集增益的证据。这个例子表明单靠执行是不够的。扎实的重建、参数选择和工作流设计，决定计算能否产生可核验的证据。

#### 单凭最终输出不能区分科学失败模式。

失败有两种性质不同的形式。有些工作流执行成功，却因为模式、端口、参数、机制实现或结果抽取上的错误而支持一个不正确的结论。在偏振不敏感的铌酸锂绝缘体边缘耦合器任务上，GPT-6-Astra 得到全部执行分数，验证却只有 41.9%。类似地，若干模型完成了八单元智能手机多输入多输出天线的可重放实验，却没有复现其报告的性能。

另一些失败使证据本身失效。缓存的结果可以阻止由核验者拥有的重放，特权测试状态信息可以使科学结果失效，过早终止可以留下无法评分的提交。最终输出掩盖了这一区分：一种工作流执行了但到达错误结论，另一种则没有建立任何可信结果。

因此最终输出上的吻合是不够的。通过分别给建模、执行和验证打分，并检查重放和来源，PaperBenchX 区分实验构建错误、不正确的结论和不可核验的证据。端到端复现所需要的不只是一个输出，而是由正确构建且可以独立核验的科学工作流产生的输出。

6 结论

PaperBenchX 检验智能体能否把已发表的科学主张变成可执行的工作流和可以独立核验的证据。在 12 个研究领域和 10 个领域原生环境的 93 个任务上，我们评测 10 种前沿智能体配置。最好的取得 $59.08\%$ 的部分分数，但完全率只有 $13.98\%$；没有任何配置在 71 个任务上达到完全复现。智能体常常建立说得通的模型并运行原生仿真，但验证仍是它们最弱的阶段，更多交互也不一定改进表现。这些结果使科学复现成为人工智能科学家的一个以证据为据的检查点，并促使更好的诊断、来源和核验。

贡献

#### 核心贡献者。

六位核心贡献者均标注所属单位一，即 UniPat AI。

Ruoyu Wu1、Zengji Tu1、Aolong Sun1、Tianyi Ma1、Liang Chen1、Kuan Li1。上标 1 表示所属单位 UniPat AI。

#### 贡献者。

以下贡献者参与任务、环境或写作，带上标一者所属单位为 UniPat AI，未标上标者原文未再注明单位。

Junren Li1、Xinbo Xu1、Li Fu1、Ziyan Zhang1、Pinrui Huang1、Xiaochen Wang1、Chengda Wu1、Yutao Zhou1、Jin Chen、Shen Yan、Xu Li、Zhongfei Hou、Nan Shu、Chaoyi Huang、Sihang Yuan、Zihan Xu。带上标者所属单位为 UniPat AI。

#### 顾问。

Baobao Chang2、Lin Chang2、Jianjun Wu2。上标 2 表示北京大学。

#### 所属单位。

1 UniPat AI。2 北京大学。

参考文献

• Alibaba Cloud (2026)。作者与年份：2026。题名译为：模型工作室的模型目录。Model studio model catalog。阿里云文档，2026。网址 https://help.aliyun.com/zh/model-studio/models。访问于 2026-09-25。出处按原文著录。
• Anthropic (2026a)。作者与年份：2026。题名译为：Claude Code 概述。Claude code overview。产品文档，2026a。网址 https://docs.anthropic.com/en/docs/claude-code/overview。访问于 2026-09-25。出处按原文著录。
• Anthropic (2026b)。作者与年份：2026。题名译为：模型概述。Models overview。Claude API 文档，2026b。网址 https://platform.claude.com/docs/en/about-claude/models/overview。访问于 2026-09-25。出处按原文著录。
• Chen et al. (2024)。Ziru Chen、Shijie Chen、Yuting Ning、Qianheng Zhang、Boshi Wang、Botao Yu、Yifei Li、Zeyi Liao、Chen Wei、Zitong Lu、Vishal Dey、Mingyi Xue、Frazier N. Baker、Benjamin Burns、Daniel Adu-Ampratwum、Xuhui Huang、Xia Ning、Song Gao、Yu Su、Huan Sun。题名译为：ScienceAgentBench：对数据驱动科学发现的语言智能体做严格评估。ScienceAgentBench: Toward rigorous assessment of language agents for data-driven scientific discovery。arXiv 预印本 arXiv:2410.05080，2024。出处按原文著录。
• DeepSeek (2026)。题名译为：DeepSeek V4.1 Flash。官方模型公告，2026。网址 https://www.deepseek.com/news/deepseek-v4-1-flash/。访问于 2026-09-25。出处按原文著录。
• Eberhardt et al. (2021)。Jerome Eberhardt、Diogo Santos-Martins、Andreas F. Tillack、Stefano Forli。题名译为：AutoDock Vina 1.2.0：新的对接方法、扩展的力场和 Python 绑定。AutoDock Vina 1.2.0: New docking methods, expanded force field, and python bindings。Journal of Chemical Information and Modeling，61(8):3891–3898，2021。doi: 10.1021/acs.jcim.1c00203。出处按原文著录。
• Geng et al. (2026)。Hejia Geng 等。题名译为：ScienceIDE：把世界上的科学代码库变成智能体可学习的环境。ScienceIDE: Turning world’s scientific codebase into agent learnable environments。arXiv 预印本 arXiv:2609.19134，2026。出处按原文著录。
• Giannozzi et al. (2009)。Paolo Giannozzi 等。题名译为：QUANTUM ESPRESSO：用于材料量子模拟的模块化开源软件项目。QUANTUM ESPRESSO: a modular and open-source software project for quantum simulations of materials。Journal of Physics: Condensed Matter，21(39):395502，2009。doi: 10.1088/0953-8984/21/39/395502。出处按原文著录。
• Hu et al. (2026)。Xue Hu、Zewei Pan、Zeli Su、Zhou Liu、Wentao Zhang。题名译为：SA-Bench：评测基于大语言模型的论文复现中的语义对齐。SA-Bench: Evaluating semantic alignment in LLM-based paper reproduction。arXiv 预印本 arXiv:2608.24252，2026。出处按原文著录。
• Huang et al. (2023)。Qian Huang、Jian Vora、Percy Liang、Jure Leskovec。题名译为：MLAgentBench：在机器学习实验上评测语言智能体。MLAgentBench: Evaluating language agents on machine learning experimentation。arXiv 预印本 arXiv:2310.03302，2023。出处按原文著录。
• Jansen et al. (2024)。Peter Jansen、Marc-Alexandre Cote、Tushar Khot、Erin Bransom、Bhavana Dalvi Mishra、Bodhisattwa Prasad Majumder、Oyvind Tafjord、Peter Clark。题名译为：DISCOVERYWORLD：用于开发和评测自动科学发现智能体的虚拟环境。DISCOVERYWORLD: A virtual environment for developing and evaluating automated scientific discovery agents。arXiv 预印本 arXiv:2406.06769，2024。出处按原文著录。
• Kolve et al. (2017)。Eric Kolve、Roozbeh Mottaghi、Winson Han、Eli VanderBilt、Luca Weihs、Alvaro Herrasti、Matt Deitke、Kiana Ehsani、Daniel Gordon、Yuke Zhu、Aniruddha Kembhavi、Abhinav Gupta、Ali Farhadi。题名译为：AI2-THOR：用于视觉人工智能的交互式三维环境。AI2-THOR: An interactive 3d environment for visual AI。arXiv 预印本 arXiv:1712.05474，2017。出处按原文著录。
• Laude Institute (2026)。题名译为：Harbor：一个容器化的智能体评测框架。Harbor: A containerized agent evaluation framework。软件仓库，2026。网址 https://github.com/laude-institute/harbor。访问于 2026-09-25。出处按原文著录。
• Li et al. (2025)。Xuanlin Li、Kyle Hsu、Jiayuan Gu、Oier Mees、Karl Pertsch、Homer Rich Walke、Chuyuan Fu、Ishikaa Lunawat、Isabel Sieh、Sean Kirmani、Sergey Levine、Jiajun Wu、Chelsea Finn、Hao Su、Quan Vuong、Ted Xiao。题名译为：在仿真中评测真实世界的机器人操作策略。Evaluating real-world robot manipulation policies in simulation。载于第 8 届机器人学习会议论文集，Proceedings of Machine Learning Research 第 270 卷，第 3705–3728 页。PMLR，2025。出处按原文著录。
• Majumder et al. (2024)。Bodhisattwa Prasad Majumder、Harshit Surana、Dhruv Agarwal、Bhavana Dalvi Mishra、Abhijeetsingh Meena、Aryan Prakhar、Tirth Vora、Tushar Khot、Ashish Sabharwal、Peter Clark。题名译为：DiscoveryBench：走向用大语言模型做数据驱动的发现。DiscoveryBench: Towards data-driven discovery with large language models。arXiv 预印本 arXiv:2407.01725，2024。出处按原文著录。
• Moonshot AI (2026)。题名译为：Kimi K3。Kimi API 文档，2026。网址 https://platform.kimi.com/docs/guide/kimi-k3-quickstart。访问于 2026-09-25。出处按原文著录。
• OpenAI (2026a)。题名译为：Codex。产品文档，2026a。网址 https://developers.openai.com/codex/。访问于 2026-09-25。出处按原文著录。
• OpenAI (2026b)。题名译为：模型。OpenAI API 文档，2026b。网址 https://developers.openai.com/api/docs/models。访问于 2026-09-25。出处按原文著录。
• Oskooi et al. (2010)。Ardavan F. Oskooi、David Roundy、Mihai Ibanescu、Peter Bermel、J. D. Joannopoulos、Steven G. Johnson。题名译为：Meep：用时域有限差分法做电磁仿真的灵活自由软件包。Meep: A flexible free-software package for electromagnetic simulations by the FDTD method。Computer Physics Communications，181(3):687–702，2010。doi: 10.1016/j.cpc.2009.11.008。出处按原文著录。
• Savva et al. (2019)。Manolis Savva、Abhishek Kadian、Oleksandr Maksymets、Yili Zhao、Erik Wijmans、Bhavana Jain、Julian Straub、Jia Liu、Vladlen Koltun、Jitendra Malik、Devi Parikh、Dhruv Batra。题名译为：Habitat：具身人工智能研究的平台。Habitat: A platform for embodied AI research。载于 IEEE/CVF 国际计算机视觉会议论文集，第 9339–9347 页，2019。doi: 10.1109/ICCV.2019.00943。出处按原文著录。
• Siegel et al. (2024)。Zachary S. Siegel、Sayash Kapoor、Nitya Nadgir、Benedikt Stroebl、Arvind Narayanan。题名译为：CORE-Bench：通过计算可复现性智能体基准来培养已发表研究的可信度。CORE-Bench: Fostering the credibility of published research through a computational reproducibility agent benchmark。arXiv 预印本 arXiv:2409.11363，2024。出处按原文著录。
• Starace et al. (2025)。Giulio Starace、Oliver Jaffe、Dane Sherburn、James Aung、Jun Shern Chan、Leon Maksin、Rachel Dias、Evan Mays、Benjamin Kinsella、Wyatt Thompson、Johannes Heidecke、Amelia Glaese、Tejal Patwardhan。题名译为：PaperBench：评测人工智能复现人工智能研究的能力。PaperBench: Evaluating AI’s ability to replicate AI research。arXiv 预印本 arXiv:2504.01848，2025。出处按原文著录。
• Sun et al. (2026)。Qiming Sun 等。题名译为：化学的 Python 仿真框架：一个开源量子化学项目的十年。The python simulations of chemistry framework: 10 years of an open-source quantum chemistry project。The Journal of Chemical Physics，165(10):102502，2026。doi: 10.1063/5.0337441。出处按原文著录。
• Tencent (2026)。题名译为：腾讯混元。Tencent Hunyuan。官方模型文档，2026。网址 https://hunyuan.tencent.com/。访问于 2026-09-25。出处按原文著录。
• Tian et al. (2024)。Minyang Tian、Luyu Gao、Shizhuo Dylan Zhang 等。题名译为：SciCode：由科学家编选的研究编码基准。SciCode: A research coding benchmark curated by scientists。arXiv 预印本 arXiv:2407.13168，2024。出处按原文著录。
• Wang et al. (2026)。Yuru Wang、Lejun Cheng、Yuxin Zuo 等。题名译为：NatureBench：编码智能体能赶上自然系列论文已发表的最好结果吗？NatureBench: Can coding agents match the published SOTA of nature-family papers? arXiv 预印本 arXiv:2606.24530，2026。出处按原文著录。
• Wijk et al. (2024)。Hjalmar Wijk、Tao Lin、Joel Becker 等。题名译为：RE-Bench：对照人类专家评测语言模型智能体的前沿人工智能研发能力。RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts。arXiv 预印本 arXiv:2411.15114，2024。出处按原文著录。
• Zhipu AI (2026)。题名译为：GLM-5.3-Flash/FlashX。智谱文档，2026。网址 https://docs.bigmodel.cn/cn/guide/models/vlm/glm-5.3-flash。访问于 2026-09-25。出处按原文著录。
• Zhou et al. (2025)。Weiqing Zhou、Daye Zheng、Qianrui Liu 等。题名译为：ABACUS：面向人工智能时代的电子结构分析软件包。ABACUS: An electronic structure analysis package for the AI era。The Journal of Chemical Physics，163(19):192501，2025。doi: 10.1063/5.0297563。出处按原文著录。

译注：下面用中文交代这二十九条文献在本文里各自承担什么，作者姓名、预印本编号、数字对象标识和网址仍以条目原文为准，不另造出处。阿里云二零二六年的模型工作室目录，是核对通义等模型名称时引用的产品文档。Anthropic 的前一条是 Claude Code 概述，说明多数配置使用的脚手架；后一条是模型概述，用来核对 Claude 模型族。Chen 等人二零二四年的 ScienceAgentBench，评估数据驱动科学发现里的语言智能体，出现在科学智能体基准的相关工作中。DeepSeek 二零二六年的公告，对应被评测配置里的 DeepSeek-V4.1-Flash。Eberhardt 等人二零二一年写 AutoDock Vina 一点二的对接方法、力场和 Python 绑定，本文把它列为分子对接环境，而不是实验合成步骤。Geng 等人二零二六年的 ScienceIDE，讨论把科学代码库变成智能体可以学习的环境。Giannozzi 等人二零零九年的 QUANTUM ESPRESSO，是材料量子模拟的模块化开源软件，公开材料演示的执行栈写的就是它。Hu 等人二零二六年的 SA-Bench，评测大语言模型做论文复现时的语义对齐。Huang 等人二零二三年的 MLAgentBench，评测语言智能体做机器学习实验。Jansen 等人二零二四年的 DISCOVERYWORLD，是开发和评测自动科学发现智能体的虚拟环境。Kolve 等人二零一七年的 AI2-THOR，是视觉人工智能用的交互式三维环境，具身任务会用到。Laude Institute 二零二六年的 Harbor，是一个容器化的智能体评测框架。Li 等人二零二五年发表在第八届机器人学习会议论文集，评测仿真中的真实世界机器人操作策略，对应文中的 SimplerEnv。Majumder 等人二零二四年的 DiscoveryBench，面向用大语言模型做数据驱动发现。Moonshot 二零二六年的接口文档对应 Kimi K3。OpenAI 的前一条是 Codex 产品文档，后一条是模型文档；文中写明 GPT-6-Astra 和 GPT-5.6-sol 走 Codex，其余走 Claude Code。Oskooi 等人二零一零年的 Meep，是用时域有限差分做电磁仿真的自由软件，五个公开光子学演示都以它为执行栈。Savva 等人二零一九年的 Habitat，是具身人工智能研究平台。Siegel 等人二零二四年的 CORE-Bench，用计算可复现性智能体基准来培养已发表研究的可信度。Starace 等人二零二五年的 PaperBench，评测人工智能复现人工智能研究的能力，是本文直接对照、并声称要跨出机器学习代码复现的前作。Sun 等人二零二六年回顾 PySCF 这一开源量子化学项目的十年，对应计算化学公开包里的 PySCF 与 GPU4PySCF。腾讯二零二六年的混元文档，对应配置表里的 HY3。Tian 等人二零二四年的 SciCode，是科学家编选的研究编码基准。Wang 等人二零二六年的 NatureBench，问编码智能体能不能赶上自然系列论文已经发表的最好结果。Wijk 等人二零二四年的 RE-Bench，把语言模型智能体的前沿研发能力和人类专家对照。智谱二零二六年的文档对应 GLM-5.3-Flash 和 FlashX。Zhou 等人二零二五年的 ABACUS，是面向人工智能时代的电子结构分析软件，列入十个领域原生环境，但十二个公开演示包的材料任务用的是 Quantum ESPRESSO。