SciΠvot：在科学自主研究智能体的关键时刻评测课题负责人判断

SciΠvot：在科学自主研究智能体的关键时刻评测课题负责人判断

本篇作者姓名如下，顺序与原文一致，姓名保留原文拼写。Youran Sun, Xingyu Ren, Chugang Yi, Kejia Zhang, Di Wu, Yingkang Cao, Allen Zhou, Jianping Ye, Suying Liu, Jiaxuan Guo, Jianda Du, Weicheng Ye, Kecheng Liu, Hefan Zhang, Haixin Wang, Jie Xiao, Eric Yang, Haizhao Yang

原文脚注标明前两位作者同等贡献。通讯作者为 Eric Yang（ey@gradientdata.ai）与 Haizhao Yang（hzyang@umd.edu）。原文所列单位为马里兰大学帕克分校、Gradient Network、斯坦福大学、香港中文大学、达特茅斯学院、加利福尼亚大学洛杉矶分校。

摘要

大语言模型（LLM）智能体可以在很少人工监督的情况下把科学实验持续跑上数月，但可靠的自主研究还需要科学判断。评测科学判断很难，因为研究决策是开放式的，并且依赖于项目语境。我们构建 SciΠvot，这是一个基于人类纠正的、含 248 个案例的科学判断基准。该基准取自六个月的研究记录：资深研究者在六个科学领域的 26 个项目上运行大语言模型智能体，并反复介入，以纠正智能体的研究判断。在每个案例里，智能体只使用纠正发生之前可得的项目记录作为语境，在原始大语言模型计划与人类纠正后的替代方案之间做选择。我们比较大语言模型与人类的表现，并考察推理努力、能否访问项目记录，以及再考虑的效应。在中等推理努力并给出项目记录时，模型系统性地偏好原始大语言模型计划，而不是人类纠正后的替代方案。五个前沿模型中有四个在这些被选出的案例上低于随机水平。在项目条件下，所测模型与推理努力设置中的最高准确率是 63.5%，而新请来的研究者是 73.4%。在中等努力下，每个模型有项目记录时的准确率都低于没有项目记录时，再考虑也并不一致地提高总体准确率。即便人类纠正后的替代方案就摆在面前，前沿模型仍然难以处理这些被选出的研究决策，而 SciΠvot 支持对大语言模型智能体的科学判断做系统评测。

1 引言

科学研究处理的是答案未知的问题。提出有用的问题、设计实验，并在证据到来时修改假设，使科学研究成为对一般智能的一次苛刻检验。具备这种能力的人工智能系统可以研究并改进它自己的模型与方法。这样的进展可能使递归式自我改进成为可能，因为更好的系统做出更好的研究，而这又帮助创造出更有能力的系统（Wijk et al., 2025）。

我们从一个实际问题开始。前沿模型能否自主开展高质量的科学研究？我们使用前沿模型与前沿智能体系统，跨学科、大规模地在原创的、博士水准的项目上运行科学自主研究智能体。大约半年里，单个项目以发表为目标跑了数周到数月。它们涉及理论、模拟、计算，以及用 CPU 和 GPU 分析已有科学数据。让实验持续跑下去，被证明比选择那些能推进科学问题的实验更容易。自动检查和审阅仍然依赖模型去注意到错误假设，并决定如何检验它们。判断失败可能使项目停滞，或产出并未解决底层问题的结果。资深研究者不得不诊断问题，并引导下一次实验。

这些介入要求预先判断一次实验能够确立什么。自主研究智能体应当扩大规模，还是先检查它的测量？一次失败的尝试是动摇了想法本身，还是只动摇了它的实现？这类决策反复需要人类介入（图 2）。我们把这种科学规划与决策称为课题负责人（PI）判断。

图 1：一个案例如何建成并被使用。顶行展示一份原始大语言模型计划（A）、一次资深研究者的介入，以及项目随后的进展。我们用完成了的历史来重建人类纠正后的计划（B）以及支持它的证据。评测者收到介入之前的项目记录和两份计划，然后选择追求哪一份。选择 B 计为正确。

这种依赖引出我们的下一个问题。我们怎样改进科学自主研究智能体，使更少的决策需要人类介入？智能体可以轻易提出看起来合理的计划，但执行一份没有信息量的计划可能浪费数周研究。瓶颈是判断哪一份计划值得这些资源。人类纠正把这些决策暴露出来，并提供一条教给它们的途径。

我们引入 SciΠvot，使这些判断变得可测量。它来自 26 个项目的 248 个案例，把原始大语言模型计划与根据已完成项目历史重建的人类纠正替代方案配成对。模型使用人类介入之前可得的项目记录在二者之间选择，记录包括代码、实验日志和进展笔记。

在中等推理努力并给出项目记录时，五个模型中有四个在这组被选出的案例上，选择原始大语言模型计划的次数多于人类纠正后的计划。进一步斟酌可能撤销一次正确选择，并回到同一个错误，我们把这种失败称为再次落入陷阱。

SciΠvot 也连接到自然语言处理的核心问题。这些案例对提供的是科学纠正的偏好监督，而不是文风改写。给一次选择打分，评测的是语言智能体的判断，而该协议锻炼智能体如何用语言阅读项目记录、比较两份计划并论证一次选择。这些连接使 SciΠvot 成为自然语言处理训练与评测方法的试验台。

2 科学判断是瓶颈

图 2：来自前沿研究项目的两则人类纠正。在（A）中，一个小语言模型在 LiveCodeBench 的三组上得分为零（Jain et al., 2024），原始大语言模型计划是用更大的模型重测。资深研究者保留小模型，随后的审计发现打分器跳过了答案抽取。在（B）中，一次布料拟合碰到搜索边界，同时四个参数一直固定为零，这个限制是智能体在此前每一次运行中自己选定的。资深研究者要求拟合全部六个参数。模型收到的是介入之前的项目记录和两份计划，没有正确性标签，也没有这里展示的解释。附录 B 给出源证据和模型响应。

2.1 我们对自主研究的要求

我们的自主研究计划有三项同时成立的要求。

1. 自主。自主研究智能体应当昼夜工作，人类介入极少。
2. 规模与范围。许多项目应当跨科学学科并行运行。
3. 科学质量。项目应当追求原创的、博士水准的、值得发表的前沿科学研究。

频繁的人类介入限制了一位人类科学家能监督多少项目，因此自主和规模取决于更好的科学判断。

2.2 科学质量取决于什么

科学质量取决于三个贡献者。

1. 模型能力。模型必须解释证据、适应实验结果，并选择有用的下一步。
2. 智能体系统。系统必须组织实验、保存项目知识，并在长程运行中支持审阅。
3. 人类科学判断。人类科学家目前诊断科学错误，并把实验导向研究问题。

智能体系统可以通过为已观察到的失败增加规则和自动检查，来降低对人类判断的依赖。然而，不断增长的指令集会让模型更难可靠遵循。额外指令也消耗词元，并可能损害任务表现。受控的报告写作实验表明，随着要求累积，遵循下降，并且对某些模型而言报告质量也下降（Jaroslawicz et al., 2025）。

规则也把科学问题留给模型去解决。一条“检查某项测量”的指令并不指明哪个假设是错的，或什么样的证据会把它暴露出来。在我们的项目里，已有的检查和审阅并不能可靠地提供这些判断。资深研究者每天数次审阅项目，以识别停滞或走偏的工作，并选择下一次检验。没有这些纠正，继续执行可能耗掉计算，却并不解决科学问题。一个有能力的自主研究智能体必须学会自己提供这种诊断和转向。

2.3 人类科学判断的两个例子

图 2 表明，一次人类纠正如何改变项目能从下一次实验中学到什么。

#### 先检查测量，再扩大规模。

Transformer 项目询问：复用一个预训练模型的层，并配上小型可训练适配器，能否提高表现。它首先需要一些任务，使小基座模型能够被有意义地评测。在观察到 LiveCodeBench 三组得分为零之后，智能体提议改用更大的模型。资深研究者保留小模型，并要求智能体寻找合适的任务。后来的审计发现，打分器未能从生成文本中抽取答案。用同一个打分器去改变模型规模，会把这个错误留在原地。

#### 先质疑拟合，再细化搜索。

布料项目询问：模拟参数应当如何随网格分辨率改变，以保持逼真的运动。它的智能体把六个参数中的四个固定为零，这个限制从它自己更早的运行中延续下来，并在最佳采样拟合碰到边界之后提议细化这个两参数搜索。资深研究者指出，缺失的拟合值并不能证明把对应的物理参数设为零是正当的，并要求拟合全部六个，同时把受限制的拟合当作对照。

两条工作流都可以在不检验纠正所针对的错误假设的情况下继续跑下去。我们评测模型能否从项目记录中识别这些科学决策。

3 从人类纠正到评测

表 1：基准所代表的科学领域，按每个项目的首要目标分组。构建程序并不依赖这些领域标签。

• 规划（123 个案例）。智能体在基本检查之前就启动昂贵的运行，或把实验做得小到无法回答问题。
• 适应（65 个案例）。即使更早的实验已经表明应当改变什么，它仍保持同一假设或搜索策略。
• 异常意识（88 个案例）。它忽略应当触发检查的可疑结果，这些检查针对程序错误、错误测量或混淆因素。
• 证据充分性（47 个案例）。它在实验尚未证明结论之前，就把一个想法宣布为成功或失败。
• 重复（4 个案例）。它重复一次答案已经可得的实验或计算。
• 焦点（122 个案例）。它检验另一个主张或优化一个代理指标，使项目真正的研究问题得不到回答。

表 2：判断类别、涉及每个类别的案例数，以及智能体做错了什么。计数包括全部 248 个案例上的主要与次要判断标签。类别可以重叠。附录 C 把判断标签与历史错误编码区分开。

图 3：按（a）科学领域（表 3）和（b）判断类别（表 3）的准确率。模型在中等推理努力下带项目记录运行。第 4.1 节描述人类基线。（b）中的类别可以重叠。

3.1 评测应当保留什么？

我们回顾性地从已完成的科学研究项目构建案例。每个项目的资深研究者从最初的想法一直监督到最终成稿。完整历史把人类介入与随后的调查联系起来，并提供其科学价值的证据。我们用这些证据恢复有用的纠正，再在更早的决策点上评测它们。评测者只看到更早的项目记录和两份计划，并在结果仍然未知时判断哪一份更可能推进科学问题。提供同样的计划，把这一判断与生成合理替代方案隔离开。图 1 概括构建与评测。

3.2 从历史中恢复一个决策

候选决策来自人类消息，以及对项目中人类指令部分的修改。案例写作者检查完整项目历史，恢复原始大语言模型计划，并选择人类介入之前的一个提交。它利用这次介入和随后的科学调查来重建人类纠正后的计划。评测者收到该提交处的项目记录和两份计划，没有后来的历史。准确率衡量评测者选择参照计划的频率。

Grok 4.6 撰写了这些案例。附录 A 报告一次受控试点：写作者在它自己的案例上并不相对其他模型获得优势。写作指令排除行政动作、无法恢复的状态或决策，以及不能与某个错误联系起来的人类纠正。两个选项都遵循同样的英文 Goal: 与 Plan: 格式。提示要求可比的细节和长度，并且不使用能标识参照计划的措辞。评测者看不到写作者的解释。每个案例都链接到它的提交和确切的选项文本。

我们使用构建期间收集的、每个案例 120 条模型响应，从 26 个项目中选出 248 个案例。这些响应覆盖五个模型、十二种条件和两种选项顺序。我们保留那些模型响应在两份计划之间有变化的案例。每个被保留的案例在两份计划上都保持最低份额的响应。四个一边倒的案例只在对照案例提交处的文档核对其参照计划之后才被保留。这一选择把比较集中在模型响应会变化的案例上。模型在环的选择遵循挑战集先例（Kiela et al., 2021）。该先例适用于构建，所得分数是诊断性的，测量的是模型意见分歧的决策上的识别，而不是一般研究决策上的准确率。案例审阅把决策点当时可得的证据，与后来的人类纠正、结果以及资深研究者目标的变化区分开。

3.3 反复出现的失败模式

人类纠正揭示出科学研究项目中反复出现的失败（表 3）。我们按所涉判断为每个类别命名，并描述哪里出了错。这些判断的范围从适应实验结果，到决定证据是否足以支持一个结论。焦点类别覆盖那些可以正确运行、却使研究问题得不到回答的实验。例如，改变一块布的物理面积，并不能回答在同一块布上参数应如何随网格分辨率改变。覆盖计数和雷达分数按这些判断给案例分组。全部 248 个案例都有一个主要判断标签，有些还带次要标签。历史错误编码给 243 个案例指定一个主要错误标签，以及至多两个次要标签。编码使用原始大语言模型计划和人类纠正，不使用被评测的响应（附录 C）。

构建要求可恢复的项目状态和有记录的人类纠正，因此只要这些记录存在，它就适用。表 3 按首要目标把项目分成六个科学领域。因此，使用神经模型的生物研究被归类为生物学应用。

SciΠvot：前沿科学研究 $\rightarrow$ 实验证据 $\rightarrow$ 人类纠正 $\rightarrow$ 课题负责人判断测试

表 3：有代表性的科学研究基准，以及它们如何确立好的答案。SciΠvot 用真实前沿科学研究中的实验记录和资深研究者的纠正，来测试科学规划与决策。有些基准在分开的任务里评测所列活动。多个表示覆盖宽泛的科学领域。人工智能与机器学习的子领域算作一个领域。

3.4 与现有基准的关系

现有基准评估科学研究的不同方面（表 3）。PaperBench 测试复现，而 RE-Bench 和 MLE-bench 测试相对于已定义研究或工程目标的进展（Starace et al., 2025；Wijk et al., 2025；Chan et al., 2025）。ScienceAgentBench 测试可执行的科学工作流（Chen et al., 2025）。SDE 基准包含来自进行中和过去的科学研究的场景（Song et al., 2026）；Corral 支持科学环境、轨迹分析和回放（Ríos-García et al., 2026）。BLADE 使用来自人类专家的分析决策（Gu et al., 2024b）；TruthInsightBench 评估科学主张的证据（Yang et al., 2026）；SoundnessBench 使用人类审稿人对提案的判断（Ho et al., 2026）；ForeSci 对照后来的文献评测计划（Tian et al., 2026）。

SciΠvot 评测模型能否用人类介入之前可得的信息，识别得到更好支持的科学决策。它的参照计划以人类纠正以及解释这些纠正的实验记录为根据。AI Scientist 系统与 Agon 发展的是开展实验并产出科学文稿的工作流（Lu et al., 2024；Yamada et al., 2025；Sun et al., 2026）。SciΠvot 测试的是引导这类工作流所需的科学判断。

4 模型能识别人类纠正吗？

表 4：同一 248 个案例上的模型准确率，对两种选项顺序取平均。项目与仅选项使用中等努力。观察到的最佳项目是七种条件中的最高分。这七种条件是五种初始努力设置，以及中等努力下的第一次与第二次审阅。完整的 95% 区间在附录 A。附录 D 描述人类基线。仅选项条件测量模型的语境敏感性。表中数字保持原文：项目列是带项目记录的准确率，仅选项列是不给项目记录的准确率。

4.1 评测设置

我们评测 GPT-6 Astra（OpenAI, 2026b）、Claude Opus 5（Anthropic, 2026）、Grok 4.6（xAI, 2026），以及 GPT-5.6 Sol 与 Terra（OpenAI, 2026a），简称为 Astra、Opus、Grok、Sol 和 Terra。在项目条件下，模型收到两份计划和项目记录。我们要求它从研究想法、提案和进展笔记开始，然后按需要查阅其他文件。项目记录排除 Git 历史和后来的项目状态。禁止网络访问和研究执行。模型返回一个选择和一段解释。仅选项条件呈现同样的计划，但不给项目记录。客户端细节见附录 A。附录 E 给出确切提示、全部十二种条件，以及可用材料。

主要比较请求中等推理努力，并在两个分开的会话里以对调的选项顺序评测每一个案例。我们对两种顺序的正确性取平均，然后给每个案例相等的权重。随机准确率是 50%。没有可解析选择的已完成响应计为不正确，不过主要比较中的全部响应都有一个已解析的选择。我们用 10,000 个案例的成对自助样本估计 95% 区间，并在附录中报告项目聚类区间。

#### 人类基线。

人类基线来自对这些项目没有事先接触、也没有参与监督它们的新请研究者。他们通过一个用于阅读项目的界面作答，并可使用智能体助手。每个人从项目记录了解项目并判断一个案例，由自己做出最终选择。十三名博士生和博士后参加，全都被告知了这项研究、给出了同意，并以匿名标识报告。附录 D 描述人类基线协议。

4.2 模型常常拒绝人类纠正后的计划

在中等努力并给出项目记录时，五个模型中有四个在这组被选出的案例上，选择被拒计划的次数多于参照计划（表 4）。对这四个模型而言，案例自助区间和项目自助区间的上界都低于 50%。Astra 达到 59.5%，五模型平均是 39.2%。在全部被测努力设置上观察到的最高项目分数，是 Astra 在 xhigh 下的 63.5%，对照人类基线的 73.4%。

在 49 个案例上，五个模型在两种顺序里都选择被拒计划；在 16 个案例上，它们都选择参照计划。原始大语言模型计划是策略内文本，而人类纠正后的计划是策略外文本。对原始计划的系统性偏好是这种不对称的结构特征，不是巧合。

图 4：带项目记录时相对仅选项条件的准确率差。比较在中等努力下配对同一批案例。误差条给出 95% 案例自助区间。

图 5：更多斟酌可能在一次正确选择之后恢复被拒计划。（a）每个被请求的努力设置上的准确率。（b）中等努力下的初始答案及其两次有记录的续写。（c）五个模型、两种顺序上的修复与新错误。每次审阅包含 248 个案例上的 2,480 次响应转移。（a）和（b）使用 25–67% 的准确率范围。虚线标出 50%。努力设置并不是配平的词元预算。重复的响应不是独立案例。

4.3 不同判断暴露不同差距

图 3 按科学领域（a）和每个案例所要求的判断（b）分解科学决策类型上的变异。每个模型的点在案例内对两种顺序取平均，并在其组内给案例相等的权重。Astra 在异常意识案例上达到 72.2%，但在规划案例上是 56.1%，在焦点案例上是 54.9%。

两个案例说明选择实验规模所需的判断（附录 C）。在案例 21 中，一个未经检验的设置需要先做试点，但模型在十次响应中有七次保留每个单元格 200 条的批次。在案例 13 中，检验假设需要一次全长训练，但模型在十次响应中有六次保留三次短的门控运行。模型必须按照调查所要求的来分配努力，而不是一贯偏好更大或更小的实验。

4.4 有项目记录时准确率更低

项目记录里除了观察，还有原始智能体的解释，包括错误解释。在这组被选出的案例上，每个模型在中等努力下没有项目记录时得分仍然更高。平均准确率在有项目记录时是 39.2%，没有时是 55.8%（图 4）。对四个模型而言，这一下降的成对 95% 区间不含零，Astra 的区间含零。即便增加的材料是有信息的，长上下文仍可能降低任务准确率（Liu et al., 2023）。这一比较评测的是项目条件的完整协议，包括检索、解释，以及随客户端而异的阅读界面。

Transformer 案例说明，一份继承来的解释如何使被拒计划看起来有理。Opus 接受进展笔记中“打分故障已被排除”的说法，并把该说法当作已确立的证据，用记录去支持原来的错误。课题负责人判断要求拿观察和代码去核对这个说法。

4.5 想得更多可能回到同一个错误

测试时缩放可以通过把更多计算分配给推理来提高模型表现（Snell et al., 2024）。进一步斟酌能否帮助模型质疑这些解释并保留一次纠正？我们把所请求的努力从低变到最大，并把原始的中等努力会话续写两次。每次续写允许继续阅读项目并改变答案，没有正确性反馈。提供外部反馈的精炼方法可以改进输出（Madaan et al., 2023；Shinn et al., 2023），而这里的再考虑得不到反馈，没有外部反馈的自我纠正可能降低准确率（Huang et al., 2023）。我们把每个答案与其有记录的父答案配对，以便同时计数被修复的错误和新引入的错误。

更高的努力有时有帮助，但增益并不一致（图 5a）。从低到最大，四个模型提高，而 Sol 从 36.1% 降到 29.2%。Terra 在第一次审阅后从 29.2% 升到 52.0%，然后在第二次审阅后降到 42.7%。Opus 在第二次审阅上也损失准确率，两次下降在成对的案例区间和项目区间下都不含零。

在五个模型上，第一次审阅修复 422 个错误并引入 302 个。第二次修复 264 个并引入 305 个，部分撤销了早先的增益。三个阶段的平均准确率是 39.2%、44.0% 和 42.3%，成对区间在表 10。

在 Transformer 案例中，Opus 先选择更大的模型，然后质疑打分器并选择参照计划。在第二次审阅时，它回到更大的模型，而其所依据的前提与冻结的代码相矛盾。

5 从诊断走向更好的自主研究智能体

持续的科学研究暴露出一些决策，前沿模型和智能体系统仍然把它们留给资深研究者。SciΠvot 把这些人类纠正变成对课题负责人判断的测试，例如适应实验结果，以及让实验停留在研究问题上。即便有项目记录和进一步斟酌，模型也常常回到资深研究者纠正过的那些决策。

每个案例提供一份项目记录、一份被偏好的人类纠正计划，以及一份被拒绝的原始大语言模型计划。这些比较符合直接偏好优化的训练格式（Rafailov et al., 2023）。作为未来工作，在这些比较上训练的偏好打分器可以为智能体强化学习中的研究动作提供奖励。下一步要检验的是，这样的训练能否改进新项目中的决策并减少人类介入。

学会这些共享的判断，可以支持跨学科、更自主的科学自主研究智能体，包括旨在改进人工智能系统本身的研究。

局限

SciΠvot 覆盖使用 CPU 和 GPU 的理论与计算研究，包括模拟以及对已有数据（如生物图像）的分析。湿实验室执行，以及使用 COMSOL 这类专门商业科学软件的工作流，留在本次评测之外。这些案例测试的是跨学科博士研究的核心判断，包括实验选择、异常诊断和结论修订。在其他环境中的评测，将检验这些判断如何与不同工具和实验程序一起迁移。

SciΠvot 测量的是对纠正性科学决策的识别，这些决策来自资深研究者所监督的项目，并按第 3 节的程序选出。生成计划和开展科学研究需要分开的评测。被选出的案例并不估计这些失败在全部科学研究活动中出现得多频繁。每个项目有若干案例，因此我们在案例层面区间之外还报告项目聚类区间。

被评测的客户端暴露不同的阅读工具，所请求的努力设置并不规定相等的词元预算。我们的努力与再考虑实验测试的是这些现成的控制；它们并不测试受控的计算缩放或由验证器引导的搜索。

伦理声明

源记录包括科学研究对话和项目历史。公开材料应当保留理解每个决策所需的证据，同时去掉个人标识、账户信息以及无关的私人讨论。所有新请研究者都被告知了这项研究、给出了同意，并以匿名标识报告；附录 D 描述评测环境。

语言模型协助了起草、组织文献和编写分析代码。作者仍对核对主张、参考文献和所报告的结果负责。

#### 数据可用性。

含匿名案例标识的完整 248 个案例问题集、每个案例两份选项的原文措辞，以及参照答案，发布在 SciΠvot 仓库中（AutoResearch-Factory, 2026）。该仓库也托管确切的评测提示和案例写作提示，以及全部十二种条件的汇总模型结果。单条模型响应日志不属于这次发布。冻结的项目记录太大，无法上传，同一仓库将会托管它们。全部案例细节将以允许研究与训练使用的开放许可发布，格式为 JSON 和纯文本。

参考文献

Anthropic (2026) Anthropic。2026。系统卡片：Claude Opus 5。https://www.anthropic.com/claude-opus-5-system-card。2026 年 7 月 24 日发表，2026 年 8 月 19 日更新。人名与文献编号保留原文。题名按原文译出。

Austin et al. (2021) Jacob Austin, Augustus Odena, Maxwell Nye, Maarten Bosma, Henryk Michalewski, David Dohan, Ellen Jiang, Carrie Cai, Michael Terry, Quoc Le, and Charles Sutton。2021。用大语言模型做程序合成。预印本，arXiv:2108.07732。人名与文献编号保留原文。题名按原文译出。

AutoResearch-Factory (2026) AutoResearch-Factory。2026。SciPIvot 仓库。https://github.com/AutoResearch-Factory/SciPIvot。人名与文献编号保留原文。题名按原文译出。

Chan et al. (2025) Jun Shern Chan, Neil Chowdhury, Oliver Jaffe, James Aung, Dane Sherburn, Evan Mays, Giulio Starace, Kevin Liu, Leon Maksin, Tejal Patwardhan, Lilian Weng, and Aleksander Mądry。2025。MLE-bench：在机器学习工程上评测机器学习智能体。预印本，arXiv:2410.07095。人名与文献编号保留原文。题名按原文译出。

Chen et al. (2025) Ziru Chen, Shijie Chen, Yuting Ning, Qianheng Zhang, Boshi Wang, Botao Yu, Yifei Li, Zeyi Liao, Chen Wei, Zitong Lu, Vishal Dey, Mingyi Xue, Frazier N. Baker, Benjamin Burns, Daniel Adu-Ampratwum, Xuhui Huang, Xia Ning, Song Gao, Yu Su, and Huan Sun。2025。ScienceAgentBench：对数据驱动科学发现所用语言智能体的严格评估。预印本，arXiv:2410.05080。人名与文献编号保留原文。题名按原文译出。

Gu et al. (2024a) Alex Gu, Baptiste Rozière, Hugh Leather, Armando Solar-Lezama, Gabriel Synnaeve, and Sida I. Wang。2024a。CRUXEval：代码推理、理解与执行的基准。预印本，arXiv:2401.03065。人名与文献编号保留原文。题名按原文译出。

Gu et al. (2024b) Ken Gu, Ruoxi Shang, Ruien Jiang, Keying Kuang, Richard-John Lin, Donghe Lyu, Yue Mao, Youran Pan, Teng Wu, Jiaqian Yu, Yikun Zhang, Tianmai M. Zhang, Lanyi Zhu, Mike A Merrill, Jeffrey Heer, and Tim Althoff。2024b。BLADE：为数据驱动科学评测语言模型智能体。载于计算语言学协会发现：EMNLP 2024，第 13936–13971 页，美国佛罗里达州迈阿密。计算语言学协会。人名与文献编号保留原文。题名按原文译出。

Hendrycks et al. (2021) Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart, Eric Tang, Dawn Song, and Jacob Steinhardt。2021。用 MATH 数据集测量数学问题求解。预印本，arXiv:2103.03874。人名与文献编号保留原文。题名按原文译出。

Ho et al. (2026) Sy-Tuyen Ho, Minghui Liu, Huy Nghiem, and Furong Huang。2026。SoundnessBench：你的人工智能科学家真能分辨好坏研究想法吗？预印本，arXiv:2605.30329。人名与文献编号保留原文。题名按原文译出。

Huang et al. (2023) Jie Huang, Xinyun Chen, Swaroop Mishra, Huaixiu Steven Zheng, Adams Wei Yu, Xinying Song, and Denny Zhou。2023。大语言模型还不能自我纠正推理。预印本，arXiv:2310.01798。人名与文献编号保留原文。题名按原文译出。

Jain et al. (2024) Naman Jain, King Han, Alex Gu, Wen-Ding Li, Fanjia Yan, Tianjun Zhang, Sida Wang, Armando Solar-Lezama, Koushik Sen, and Ion Stoica。2024。LiveCodeBench：对大语言模型代码能力的整体且无污染评测。预印本，arXiv:2403.07974。人名与文献编号保留原文。题名按原文译出。

Jaroslawicz et al. (2025) Daniel Jaroslawicz, Brendan Whiting, Parth Shah, and Karime Maamari。2025。大语言模型一次能遵循多少条指令？预印本，arXiv:2507.11538。人名与文献编号保留原文。题名按原文译出。

Kiela et al. (2021) Douwe Kiela, Max Bartolo, Yixin Nie, Divyansh Kaushik, Atticus Geiger, Zhengxuan Wu, Bertie Vidgen, Grusha Prasad, Amanpreet Singh, P. Ringshia, Zhiyi Ma, Tristan Thrush, Sebastian Riedel, Zeerak Talat, Pontus Stenetorp, Robin Jia, Mohit Bansal, Christopher Potts, and Adina Williams。2021。Dynabench：重新思考自然语言处理中的基准测试。预印本，arXiv:2104.14337。人名与文献编号保留原文。题名按原文译出。

Liu et al. (2023) Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, F. Petroni, and Percy Liang。2023。迷失在中间：语言模型如何使用长上下文。预印本，arXiv:2307.03172。人名与文献编号保留原文。题名按原文译出。

Lu et al. (2024) Chris Lu, Cong Lu, Robert Tjarko Lange, Jakob Foerster, Jeff Clune, and David Ha。2024。AI Scientist：走向完全自动化的开放式科学发现。预印本，arXiv:2408.06292。人名与文献编号保留原文。题名按原文译出。

Madaan et al. (2023) Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck, Amir Yazdanbakhsh, and Peter Clark。2023。Self-Refine：带自我反馈的迭代精炼。预印本，arXiv:2303.17651。人名与文献编号保留原文。题名按原文译出。

Miao et al. (2020) Shen-Yun Miao, Chao-Chun Liang, and Keh-Yih Su。2020。一个用于评测和开发英语数学应用题求解器的多样语料。载于第 58 届计算语言学协会年会论文集。人名与文献编号保留原文。题名按原文译出。

OpenAI (2026a) OpenAI。2026a。GPT-5.6 系统卡片。https://deploymentsafety.openai.com/gpt-5-6。2026 年 7 月 9 日发表，2026 年 10 月 11 日访问。人名与文献编号保留原文。题名按原文译出。

OpenAI (2026b) OpenAI。2026b。GPT-6 Astra 系统卡片。https://deploymentsafety.openai.com/gpt-6-astra。2026 年 9 月 3 日发表，2026 年 10 月 11 日访问。人名与文献编号保留原文。题名按原文译出。

Rafailov et al. (2023) Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, and Chelsea Finn。2023。直接偏好优化：你的语言模型暗中是一个奖励模型。预印本，arXiv:2305.18290。人名与文献编号保留原文。题名按原文译出。

Rein et al. (2023) David Rein, Betty Li Hou, Asa Cooper Stickland, Jackson Petty, Richard Yuanzhe Pang, Julien Dirani, Julian Michael, and Samuel R. Bowman。2023。GPQA：研究生水准、抗谷歌检索的问答基准。预印本，arXiv:2311.12022。人名与文献编号保留原文。题名按原文译出。

Ríos-García et al. (2026) Martiño Ríos-García, Nawaf Alampara, Chandan Gupta, Indrajeet Mandal, Sajid Mannan, Ali Asghar Aghajani, N. M. Anoop Krishnan, and Kevin Maik Jablonka。2026。人工智能科学家产出结果，却并不按科学方式推理。预印本，arXiv:2604.18805。人名与文献编号保留原文。题名按原文译出。

Shinn et al. (2023) Noah Shinn, Federico Cassano, Edward Berman, Ashwin Gopinath, Karthik Narasimhan, and Shunyu Yao。2023。Reflexion：带言语强化学习的语言智能体。预印本，arXiv:2303.11366。人名与文献编号保留原文。题名按原文译出。

Snell et al. (2024) Charlie Snell, Jaehoon Lee, Kelvin Xu, and Aviral Kumar。2024。最优地缩放大语言模型的测试时计算，可以比缩放模型参数更有效。预印本，arXiv:2408.03314。人名与文献编号保留原文。题名按原文译出。

Song et al. (2026) Zhangde Song, Jieyu Lu, Yuanqi Du, Botao Yu, Thomas M. Pruyn, Yue Huang, Kehan Guo, Xiuzhe Luo, Yuanhao Qu, Yi Qu, Yinkai Wang, Haorui Wang, Jeff Guo, Jingru Gan, Parshin Shojaee, Di Luo, Steven Dillmann, Andres M Bran, Gen Li 等 38 人。2026。在科学发现中评测大语言模型。预印本，arXiv:2512.15567。人名与文献编号保留原文。题名按原文译出。

Starace et al. (2025) Giulio Starace, Oliver Jaffe, Dane Sherburn, James Aung, Jun Shern Chan, Leon Maksin, Rachel Dias, Evan Mays, Benjamin Kinsella, Wyatt Thompson, Johannes Heidecke, Amelia Glaese, and Tejal Patwardhan。2025。PaperBench：评测人工智能复现人工智能研究的能力。预印本，arXiv:2504.01848。人名与文献编号保留原文。题名按原文译出。

Sun et al. (2026) Youran Sun, Xingyu Ren, Chugang Yi, Jiaxuan Guo, Kejia Zhang, Jianda Du, and Haizhao Yang。2026。Agon：建立在提示经济上的自主大规模全学科研究系统。预印本，arXiv:2606.24177。人名与文献编号保留原文。题名按原文译出。

Tian et al. (2026) Qiuyu Tian, Haojie Yin, Yingce Xia, Youyong Kong, and Zequn Liu。2026。ForeSci：评测大语言模型智能体面向未来的人工智能研究判断。预印本，arXiv:2606.00644。人名与文献编号保留原文。题名按原文译出。

Wang et al. (2023) Xiaoxuan Wang, Ziniu Hu, Pan Lu, Yanqiao Zhu, Jieyu Zhang, Satyen Subramaniam, Arjun R. Loomba, Shichang Zhang, Yizhou Sun, and Wei Wang。2023。SciBench：评测大语言模型的大学水准科学问题求解能力。预印本，arXiv:2307.10635。人名与文献编号保留原文。题名按原文译出。

Wijk et al. (2025) Hjalmar Wijk, Tao Lin, Joel Becker, Sami Jawhar, Neev Parikh, Thomas Broadley, Lawrence Chan, Michael Chen, Josh Clymer, Jai Dhyani, Elena Ericheva, Katharyn Garcia, Brian Goodrich, Nikola Jurkovic, Holden Karnofsky, Megan Kinniment, Aron Lajko, Seraphina Nix, Lucas Sato 等 4 人。2025。RE-Bench：对照人类专家评测语言模型智能体的前沿人工智能研发能力。预印本，arXiv:2411.15114。人名与文献编号保留原文。题名按原文译出。

xAI (2026) xAI。2026。模型卡片：Grok 4.6。https://media.x.ai/v1/website/card-4p6-4cd2dc57.pdf。2026 年 8 月 12 日发表，2026 年 8 月 17 日修订。人名与文献编号保留原文。题名按原文译出。

Yamada et al. (2025) Yutaro Yamada, Robert Tjarko Lange, Cong Lu, Shengran Hu, Chris Lu, Jakob Foerster, Jeff Clune, and David Ha。2025。AI Scientist-v2：经由智能体树搜索达到研讨会水准的自动化科学发现。预印本，arXiv:2504.08066。人名与文献编号保留原文。题名按原文译出。

Yang et al. (2026) Zhibo Yang, Chen Zhang, Yuewei Zhang, and Hao Wang。2026。TruthInsightBench：面向开放式科学发现智能体自动评测的、以证据为根据的基准。预印本，arXiv:2609.05079。人名与文献编号保留原文。题名按原文译出。

附录 A 至附录 E 见续篇。