SciΠvot：课题负责人判断评测（附录）

本文承接正文，收录附录 A 至附录 E。

附录 A 模型结果与统计细节

A.1 阅读项目的客户端

所请求的模型标识符是 gpt-6-astra、claude-opus-5、grok-4.6、gpt-5.6-sol 和 gpt-5.6-terra。Opus 与 Grok 通过一个共享的客户端 harness，即 Claude 客户端，使用专用的文件阅读和搜索工具。该 harness 中禁用了 shell 执行、编辑和网页工具。GPT 模型通过 Codex 使用 shell 命令，项目为只读，并禁用网页搜索。所有项目提示都禁止网络访问，也禁止阅读项目记录之外的内容。仅选项提示去掉项目记录及其阅读指令，同时保留同样的计划。因此条件之间的比较包含检索、解释，以及随客户端而异的工具界面。

A.2 计分与不确定性

基准包含来自 26 个项目的 248 个案例，每个案例两种选项顺序。因此每个中等努力的项目或仅选项单元格包含 496 条已完成响应。我们对案例、选项哈希、条件、引擎、所请求模型、努力、提示哈希和重复标识符的每种组合保留最后一条日志记录。这条规则替换一次失败或被取代的尝试，而不是把一次重试再算作一条观察。全部 29,760 次被保留的运行都在没有传输错误的情况下完成。八条响应无法解析，得分为零。它们是：xhigh 下的四条 Sol 响应、max 下的一条 Sol 响应、high 下的一条 Terra 响应、xhigh 下的一条 Grok 响应，以及第二次审阅之后的一条 Grok 响应。全部八条未解析响应都发生在项目条件的运行中。两个中等努力的主要条件都被完全解析。排除未解析响应使任一受影响单元格的变化至多 0.23 个百分点。

对每个案例，我们在估计不确定性之前先对两个二元分数取平均。主要区间使用 10,000 个百分位自助样本，有放回地抽取 248 个案例。随机种子是 20261004。在估计二者之差时，我们在两种条件下重采样同一批案例下标。两种选项顺序是重复测量，不是独立案例。表 5 报告两种条件的准确率及其成对差，并给出完整的案例自助区间。

表 5：248 个案例上中等努力的准确率，以及项目减去仅选项的成对差。方括号给出在对两种选项顺序取平均之后的 95% 百分位案例自助置信区间。这些区间是案例层面的，不是把每个响应当成独立样本。

若干案例来自同一项目，可能描述相关的人类介入。因此我们在每次自助重复中有放回地抽取 26 个项目，并纳入每个被抽中项目的每一个案例。一个项目被选中不止一次时，每次都贡献它的完整案例集。项目内部不再额外抽样。我们继续给案例相等的权重，并在两种条件下使用同一次项目抽取。表 6 报告项目准确率以及条件之差的项目聚类区间。

表 6：项目准确率（%）以及项目减去仅选项之差（百分点）的项目聚类 95% 区间。两个估计都保留相等的案例权重。聚类是按 26 个项目整组重抽，而不是在项目内再抽案例。

A.3 项目覆盖与努力程度设置

表 7 和表 8 列出每个项目的标识符、研究问题、领域和案例数。我们按项目的首要科学目标分类。构建程序并不依赖这些领域标签。项目规模从 1 个到 43 个案例不等，因此对项目均值取平均不同于对案例取平均。表 9 中的努力标签是被评测模型界面所暴露的、被请求的努力设置。我们不把它们解释为跨提供方相等的词元预算或相等的计算。每一项都使用同样的 248 个案例，每个案例两种顺序。PDE 是偏微分方程的缩写。

表 7：基准项目（1/2）。这些问题描述的是科学目标，不是已经确立的发现。领域标签描述的是当前样本。我们不把次要的方法学联系单独计数。项目标识符保留原文，不译成中文名。

表 8：基准项目（2/2）。这些问题描述的是科学目标，不是已经确立的发现。领域标签描述的是当前样本。我们不把次要的方法学联系单独计数。项目标识符保留原文，不译成中文名。

表 9：每个被请求努力设置上的准确率（%）。每个单元格报告项目 / 仅选项。未解析的已完成响应计为不正确。斜线左侧是带项目记录的准确率，右侧是仅选项准确率，五行模型与原文一致。

A.4 选项顺序与再考虑

两种顺序分别把参照计划放在位置 A 和位置 B。表 12 在中等努力下分别报告每种顺序。主要分数给两种顺序相等的权重，而不是挑选更好的那种顺序。A/B 差异可以反映位置偏好，或选项顺序与推理之间的交互。

再考虑实验在中等努力下，让项目条件的答案经过两个续写阶段。我们把每个子运行连接到有日志的父运行和尝试，然后核验父运行与子运行在案例、选项哈希、提交、模型、引擎、努力、重复和顺序上一致。每个模型在每个阶段有 496 对父子。一个阶段的变化是被纠正的错误数减去新引入的错误数，再除以 496。图 5 中的准确率轨迹使用这些实际链条，而不是独立重新生成的初始答案。我们计数的是所选计划的变化，而不是底层科学推理的变化。表 10 报告第二次审阅之后的成对变化，不确定性由 100,000 次重抽样估计。对五模型均值，我们在重抽样案例或整个项目之前，先在每个案例内对固定的模型取平均。

表 10：第二次审阅相对第一次的准确率变化，单位是百分点。我们在计算成对差之前，先在 248 个案例的每一个之内对两种选项顺序取平均。区间使用 100,000 个成对百分位自助样本。项目自助有放回地重抽 26 个完整项目，并保留案例权重。均值在每个案例内对五个被评测模型这一固定集合取平均。

A.5 写作者敏感性

一个写作者模型在同一套指令下撰写了全部发布的案例，因此在主要比较中，写作者身份对每个模型都是恒定的。一次受控试点检查这一选择是否偏袒写作者模型。试点使用三个写作者：Astra、Opus 和 Grok。每个写作者为 20 个共享案例产出选项，有两种选项顺序和三个作答模型。七个共享案例的项目记录在不同写作者之间冻结在不同提交上。因此我们分析那 13 个冻结提交和选项哈希在三个写作者之间都匹配的案例（表 12）。每个单元格包含 26 条响应。

表 11：参照计划出现在第一位（A）或第二位（B）时的准确率（%），每种顺序 248 条响应。斜线两侧分别对应两种选项顺序，不是两个不同的模型。

表 12：在 13 个案例上的受控写作者试点，这些案例的项目记录对三个写作者都冻结在同一提交，每个单元格 26 条响应。列标识作答模型，表中数字是准确率（%）。选项表示仅选项条件。写作者行与作答列都保留模型原名。

在试点中，发布集的写作者并不相对同侪占优。发布集的写作者 Grok 在它自己的案例上从不是最高分。Opus 在带项目记录的 Grok 所写案例上达到 34.6%，而 Grok 自己是 23.1%，Opus 在仅选项单元格上也领先。最大的单次增益是跨写作者的，而不是沿着同一写作者。Astra 在 Opus 所写案例上达到它的最高准确率 76.9%。写作者身份改变案例的绝对难度，但发布集的写作者从未在它自己的文本上超过同侪。主要比较在所有作答模型之间固定写作者和选项文本，因此写作者身份并不混淆跨模型比较。

附录 B 两个说明性的科学决策

这些例子展示人类介入所改变的决策，并引用重复了原来错误的评测响应。表 13 报告五个模型在每个例子的两种选项顺序上对参照计划的选择。下面的参照计划与被拒计划复现基准任务的措辞。

B.1 在改变模型规模之前检查评测

该项目研究反复穿过一个语言模型块能否提高表现。它正在为选定的 0.8B 基座模型构建一个有若干难度级别的评测集。在冻结的决策处，LiveCodeBench 的三组（Jain et al., 2024）得分为 0/480。一条项目笔记把更早的检查视为已经排除了评测故障，并提议在一个 2B 模型上重跑这些任务。然而冻结的代码把原始生成文本直接交给新任务的评分器，没有官方的答案后处理。它的预检也不会拒绝全零得分的单个基准组。资深研究者选择保留 0.8B，并寻找合适的官方任务。随后的审计识别出打分故障，参照计划在进一步标定之前处理了它。后来的重新评分使用同样的 608 条受影响补全，逐字节核验，并在 480 个代码条目中恢复出 70 个正确答案。然而同样的四个难度单元格仍然空着。在项目条件下的一次响应中，Opus 仍然选择了更大模型的路线，并写道：“阻碍并不是评测缺陷，而是规模与层级冲突。”原则上，把任务固定住是一种合理的对照。但接受“打分故障已被排除”这一未经核验的说法，使原来的零分成为规模决策的不可靠依据。

对这一选项顺序，随后两次再考虑把选择从被拒计划移到参照计划，再移回被拒计划。项目记录和选项顺序全程不变。第一次再考虑承认：“我先前信任了 STATE.md 中评测器已被排除的断言”，并在检查零分模式之后选择了参照计划。那次选择是正确的，但其背后的解释只部分正确。它部分依赖自由生成分数与强制选择分数的比较，而不是直接在代码中识别缺失的后处理。第二次再考虑注意到评测格式上的这一差别。它仍然回到被拒计划，声称 MBPP，即 Mostly Basic Python Problems 基准（Austin et al., 2021）上的非零结果使用了“相同的生成、抽取、执行流水线”。冻结的代码与这种等价相矛盾。用于 MBPP 的旧池路径在评分前截断生成文本，而用于 LiveCodeBench 的新池路径把原始文本交给它的评分器。因此 MBPP 路径上的成功并不能确立 LiveCodeBench 路径是正确的。这个序列把两次答案变化都连接到 Opus 所引用的证据。进一步审阅一度修复了选择，然后用一次有缺陷的比较恢复了被拒计划。所引计划点名下列评测套件。LiveCodeBench 覆盖代码生成（Jain et al., 2024），MATH 覆盖算术（Hendrycks et al., 2021），CRUXEval 覆盖代码推理与执行（Gu et al., 2024a）。ASDiv 覆盖算术应用题（Miao et al., 2020），SciBench 覆盖科学问题求解（Wang et al., 2023）。GPQA 是 Graduate-Level Google-Proof QA 的缩写（Rein et al., 2023）。

#### 参照计划。

目标：在 0.8B Base-K1 标定停在 12 个单元格中的 8 个之后，完成真实任务层级资产。

计划：保持 0.8B 为选定规模，并保持 25%、50% 和 75% 准确率层、配额以及官方指标。用官方的 LiveCodeBench 停止与抽取函数给生成打分，并在任一基准组全部得零时停止一个面板。重新评分或重新生成 LiveCodeBench 与单词排序组。在这个 0.8B Base 上加入官方的 CRUXEval、ASDiv 和 SciBench 来源。在全部 12 个单元格都填上之后写下这 12 格资产。在该资产存在之后，开始四次匹配深度的微运行。

#### 被拒计划。

目标：在 0.8B Base-K1 标定停在 12 个单元格中的 8 个之后，完成真实任务层级资产。

计划：保留当前的 LiveCodeBench、MATH 和 GPQA 条目。用给 0.8B 输出打分的同一方法、同一标定计划，在 2B Base 上对同一注册过的代码、数学和科学子集打分，大约 1700 行。如果 2B 填上缺失的单元格，就把选定的实验规模设为 2B，并写下 12 格资产。如果 2B 仍然缺单元格，就在那次测量之后放宽 0.8B 上的准确率层或更换官方任务，然后写下资产。在该资产存在之后，开始四次匹配深度的微运行。

B.2 检验一个限制性的物理模型

该项目旨在对照录制的运动标定一个布料模拟器，然后再研究其拟合参数如何随模拟分辨率改变。它冻结的提案规定六个正参数和一个非零参照向量，但工作计划把四个参数固定为零，只搜索其余两个。项目记录中报告的全部十个采样极小值都落在其搜索域的同一个角上。资深研究者澄清，两个参照值来自已发表的拟合，四个来自模拟器默认值，因此缺失的拟合材料值并不能证明把对应物理参数设为零是正当的。参照计划因此重新打开六参数拟合，同时在同一目标上保留原来的两参数切片作为对照。默认值提供了一个搜索中心，用来检验更完整的物理模型。Opus 把受限制的搜索描述为“一项持续的、经人授权的限制”，并在项目条件下的两种选项顺序中都选择了它。在一次响应中，它还说：“选项 B 是实际在跑的计划的直接延续。”它对先前优化不稳定性和成本的担心是相关的，但持续出现的边界结果要求检验这个限制本身。RG 是重整化群的缩写。

#### 参照计划。

目标：在一个时间步单元格上识别六个模拟器参数，以六参数参照向量为搜索中心。

计划：把密度保持在 0.3046，并一起搜索 delta、alpha、kappa、kappa_bnd、stretch 和 shear。把搜索中心放在 phi_ref = (0.3046, 0.6092, 1.523e-4, 1.523e-5, 1e-6, 1e-3)。把四段完整标记记录用作原生 G0 网格上、八个子步的一个联合方程 (10) 目标。按动态、弯曲、然后面内的顺序交替二维块，把该循环跑两遍，然后做一次有界的联合 Nelder-Mead 抛光。拟合第二条臂，只搜索 alpha 和 delta，其余四个为零，目标相同。当六参数端点离开盒子壁并且跨起点一致时，开始跨尺度的重整化群工作。

#### 被拒计划。

目标：刻画 alpha 与 delta 的联合两参数损失面如何随允许的时间步变化，其余四个物理参数保持为零。

计划：把密度保持在 0.3046，并把 kappa、kappa_bnd、stretch 和 shear 设为零。把四段完整标记记录用作原生 G0 网格上的一个联合方程 (10) 目标。在读过五尺度粗表面和外部角落桥之后，在 alpha 与 delta 的同一个两参数盒子上加入其余允许的时间步层级和额外的平移网格。报告采样极小值、边缘剖面，以及表面在壁上的方向。当至少五个时间步层级在这个两参数切片中有内部极小值时，开始最低阶的重整化群拟合。

表 13：中等努力下两种选项顺序上对参照计划的选择。“选项”表示仅选项条件。每个模型对同一案例回答两次，选项顺序对调。每个条件下的十次选择不是十个独立案例。左半是语言模型例子，右半是布料模拟器例子，分数保持原文。

附录 C 判断类别与说明性案例

表 14：附录 C 四个例子在中等努力下对参照计划的选择。我们在查看模型分数之前，按其决策结构选出这些例子。每个计数来自五个固定模型和两种选项顺序的十次响应，不是十个独立案例。案例编号是基准中从零开始的下标。项目列与仅选项列的分数保持原文。

C.1 为历史决策编码

编码手册描述原始大语言模型计划，以及人类介入所改变的那个决策，不使用被评测模型的答案。我们围绕三项重叠的要求来组织编码手册，即识别研究目标、解释证据，以及选择实验和资源承诺。下面六个类别点名所涉判断，并指明一个决策里哪里出了错。

• 规划。实验的规模、训练时长、顺序或并行化并不适合下一步必须解决的问题。这既包括在检查流水线之前就启动完整实验，也包括使用一个无法检验所提解释的小实验。标注者对照科学问题判断规模，因此更大的实验也可以是恰当的纠正。
• 适应。相关结果已经可得，但计划并不用它来修改假设、配置或优先级。标注者必须指出本应改变下一步决策的那个结果。如果中心问题是该结果是否有效，异常意识是更直接的类别。
• 异常意识。计划把实现问题、测量缺陷、混淆因素或异常输出当作可用的科学证据，而没有充分的诊断步骤。问题在于是否先检查实验再解释其结果，而不是智能体能否实现修复。一次正确执行、却回答了错误研究问题的实验属于焦点。
• 证据充分性。现有证据并不支持宣布成功、失败、完成或收尾的决定。例子包括在一次不成熟的实验之后拒绝若干主张，以及把阈值附近的噪声结果当成决定性裁决。一个有正当理由的否定结论，或由真实预算限制所要求的停止，在此类别下不是失败。
• 重复。所提议的工作复现已经可得的信息，或把复用的信息呈现为独立的新证据。标注者必须解释科学上什么保持不变，例如预测、实验单元格或被估计的量。此类别排除有计划的独立重复，以及协议改变后必要的重跑。
• 焦点。即便正确执行，所提议的实验也会回答一个不同于项目试图解决的问题。这包括用代理代替目标、改变错误的实验变量，或把智能体自己的假设当成有约束力的人类约束。当资深研究者引入一个新目标时，标注者必须把它标为后来的变化，而不是把它归因于更早的项目状态。

C.2 边界与审阅程序

主要错误标签遵循纠正原始大语言模型计划所需的最小决策变化。当至多两个次要错误标签描述的是不同错误，而不是复述同一错误的原因和后果时，标注者可以加上它们。六个类别没有固定的优先顺序。例如，适应关心的是一次被省略的更新，重复关心所提议的工作是否会增加信息，证据充分性关心一个已经作出的结论或停止。一个案例可以有判断标签而没有主要错误标签。

项目记录、智能体对它的解释，以及原始人类消息，是分开的证据来源。一条标题为“人类规则”的项目笔记本身并不能确立是资深研究者施加了这条规则。人类介入之后的结果可以解释纠正之后发生了什么，但标注者不得把它们当作决策点当时可见的证据。来自一次人类介入的相关决策不必是一个错误的独立实例。

标注状态。历史错误编码给 243 个案例指定主要错误标签。其余五个案例带有判断标签而没有主要错误标签。全部 248 个案例都有判断标签，它点名该案例所涉的判断类别。

C.3 按判断类别的画像

图 3（b）按所涉科学判断给全部 248 个案例分组。对每个模型，一根辐条显示识别参照计划的准确率：先在每个案例内对两种选项顺序取平均，再给带该标签的案例相等的权重。类别可以重叠，这些分数描述的是在这些案例上的表现，而不是独立于这组案例的一般能力。图 3 的两个面板使用同一套线性的 0–100% 径向刻度，并显示全部观察值。重复类别只有四个案例。把这一分析限制在有主要错误标签的 243 个案例上，任一模型分数的变化至多 1.6 个百分点。对图 3（a），科学领域划分这 248 个案例，因此按案例数给领域分数加权，就能恢复每个模型的总分。

C.4 更多例示

我们按决策结构选出下面的例子，不以被评测模型的错误率作为选择标准。案例编号指基准从零开始的下标。每段描述概括我们核对过的源材料。表 14 报告对应的模型选择。

#### 几乎不响应刚度变化的一次测量（案例 206）。

在一次软支撑模拟中，刚度从 0.25 倍扫到 8 倍，中心支撑的静态挠度只从大约 212 毫米变到 222 毫米。全部六次运行都记录到上限行程被激活。原始大语言模型计划提议减少弹簧数量，以找到可见压痕消失、站立表现恢复的那一点。资深研究者改为要求估计有多少弹簧支撑球体的数量级，并在保留固定网格的同时检查有效刚度和行程限制。这个案例说明一次异常意识决策，即在解释基底刚度的效应之前，诊断模拟响应是否有信息。所引位移是中心支撑的静态挠度，不是球心位移。

#### 推迟主要测量的一道门（案例 3）。

原始大语言模型计划把一个 3 乘 3 的分辨率矩阵关着，直到重整化群预测在统计准入规则下、在两种接触处理上都胜过 Transferred 基线。回答项目问题的测量是有效参数网格本身，也就是布料参数如何随空间和时间分辨率改变。资深研究者在 2026-08-02 的笔记要求在五个交叉单元格上启动该矩阵。按该笔记，基线比较用来评估误差的尺度，而不是决定矩阵何时可以开始。我们指定焦点，因为继承来的这道门推迟了测量项目本来要研究的那个量。

#### 何时缩小实验、何时扩大实验（案例 21 与 13）。

对一次新的批量 API 测量，原始大语言模型计划按论文表格所用的规模，在每格 200 条处做第一次读取。它这样做，尽管更早的一次全尺寸波次在流水线缺陷之后不得不被丢弃。参照计划先在完整网格上每格跑 20 条，并在审阅这些数字之后再安排 200 条的表格。在一个使用近端策略优化的强化学习项目里，需要的是相反方向。三个种子在 1,000 次迭代处被门控，只能以不足的训练重复一个已知失败，并且不能把该问题与对随机种子的敏感性区分开。参照计划先按历史协议用一个种子训练完整的 8,000 次迭代，然后再增加种子。两个案例都说明规划决策，但规模变化的恰当方向相反。先 20 后 200 的条目协议和 8,000 次迭代的预算是局部项目要求，不是一般最优。

附录 D 人类基线协议

对源项目没有事先接触的新请研究者，通过一个呈现两份计划和相关项目记录的界面作答。他们从该记录了解项目；他们之中没有人监督过源项目。十三名博士生和博士后参加。每个人都被告知了这项研究并给出同意。全部以匿名标识报告。因此基线测量的是一位研究者能像模型那样、从项目记录中恢复出资深研究者纠正的程度。界面随机化选项顺序。可使用智能体助手来解释项目记录和计划之间的差别；最终选择由新请研究者做出。默认助手通过 Codex 运行 gpt-5.6-terra，Astra 和 Claude 助手也可使用。

D.1 覆盖与比较

全部 248 个案例都有记录在案的人类响应。新请研究者正确回答 248 个案例中的 182 个，准确率 73.4%。雷达图在每个科学领域或判断类别内使用同一度量。

附录 E 评测提示与可用材料

E.1 十二种评测条件

对每个模型和案例，评测包含十种初始条件。它们把项目条件与仅选项条件，分别和低、中、高、xhigh、最大这五种被请求的努力设置组合起来。另外两种条件把中等努力的项目会话先续写到第一次再考虑，再到第二次再考虑。每次续写使用下面同一条再考虑提示，并保留此前的对话，没有正确性反馈。我们在两种选项顺序下评测每一种条件，因此每个模型 24 条响应，五个模型对每个案例合计 120 条。

E.2 提示与可用材料

下面的模板复现评测指令，并带有显示换行；Markdown 文件保留原始空白。占位符 {a} 与 {b} 容纳两份计划，第二种选项顺序时对调。源档案提供手稿、图、参考文献、提示，以及全部十二种条件的汇总模型结果。作为补充材料提供的问题档案包含完整的 248 个案例集、匿名案例标识、每个案例两份选项的原文措辞，以及参照答案。附录 A 记录评测客户端和计分规则，本附录提供提示。

#### 项目条件。

‘/project‘ 是一个研究项目的当前状态。你需要思考下一步做什么。

先读 idea.md，然后读 proposal.md，然后读 STATE.md，如果你认为有必要，再读其他文件。

下面是两份候选计划。请选择你认为更好的那一份。

<option_A> (A) {a} </option_A>

<option_B> (B) {b} </option_B>

输出格式：

{
  "argument": "The reason for your choice",
  "response": "A or B"
}

注意：

• 只阅读 ‘/project‘ 的内容。不要进入父目录。不要访问网络。

#### 仅选项条件。

下面是某个特定状态下一个研究项目的两份候选下一步计划。请选择你认为更好的那一份。占位符与标签保留原文。

<option_A> (A) {a} </option_A>

<option_B> (B) {b} </option_B>

输出格式：

{
  "argument": "The reason for your choice",
  "response": "A or B"
}

#### 再考虑，两种续写都使用。

请仔细重新考虑原来的问题和两个选项，然后再次作答。如有需要，你可以审阅项目文件。你可以保持或改变你先前的答案。

用与之前相同的 JSON 格式返回答案：

{
  "argument": "The reason for your choice",
  "response": "A or B"
}