M4Bench 补充：证据包、输出粒度与 Claude 复现

译注：此篇续同一篇 M4Bench 全文，从附录 A「必需输出」起；此前正文、参考文献与附录 A 的任务族已随正文发布。

必需输出。

每项任务规定必需的标识符列与数值列。评测器计算行覆盖率、必需列有效性、键精确率/F1、数值列匹配率，以及有序列的归一化 MAE。所报告的奖励是数值列匹配率的均值。有序列 nMAE 在匹配到的键上计算，按每个计分列观察到的参照范围对绝对误差做归一化，并把逐值归一化误差截断在 1。

表 6：逐任务评测细节。参照行是任务特定评测连接之前的参照输出行。

表 7：任务级临床审阅来源。每项任务由两名临床医师审阅，标识为 C1–C4，且每次审阅都覆盖任务定义、模式和输出。审阅者标识见表 8。

表 8：临床审阅者标识。描述概括与临床派生审阅相关的资质。

表 9：选定任务族的参照有效性审计。这些保留意见描述的是所声明的基准目标，而不是评分中新增的排除项。

所保留的私有证据。

所提交的分析在一份私有存档中为每次运行保留 result.json、output.csv、instruction.md、trace.jsonl 和 egress.jsonl。最终的 Codex 分析使用来自 release-20260502-codex-v11 加上 review-rerun-20260504-codex 的 760 次规范运行。所保留的 Codex 包有 800 个目录，因为它还为来源追溯（而不是为分析）保留了 40 次已被取代的、早期带有 SQL 的技能运行。所提交的 Claude 哨兵分析把 release-20260502-claude-provider 与 review-rerun-20260504-claude 合并。artifact_hash_manifest.json 记录 SHA-256 哈希与字节大小。由这些存档派生的开放包见附录 D。

表 10：重跑替换之后所保留的、面向论文的产物目录。保留体积是所列文件的未压缩大小之和，不是需凭证的任务数据库。Codex 有 760 次规范分析运行，外加 40 个仅供来源追溯的目录。

表 11：所保留证据包的计算与存储。智能体挂钟时间把 result.json 中记录的逐次运行智能体执行时间加总。选定目录是磁盘上所保留的、面向论文的运行目录。Codex 与 Claude 的 token 行反映各提供方原生的用量报告（Codex：提示 token 总量；Claude：在提供方提示缓存下拆分为未缓存输入与已缓存输入），因此未缓存计数不能跨实验臂直接比较。

表 12：源资产、发布条款与访问限制。

全新实验活动检查清单。

在一次论文运行之前，执行基准预检，以与智能体相同的用户和命令路径运行隔离金丝雀测试，创建一个全新的结果根目录，并记录确切的矩阵摘要。运行之后，审计轨迹中的基准内部访问，并把输出哈希与答案文件比对。其他提供方比较实验活动应使用各自独立的全新根目录，除非按同一产物标准被提升，否则保持为探索性。

附录 B 推导演算示例：疑似感染

临床定义。

疑似感染把全身性抗生素给药与培养采集配对，遵循 Seymour 等 [2016] 为 Sepsis-3 [Singer et al., 2016] 所采用的操作化：培养可以早于抗生素开始最多 72 小时，或晚于抗生素开始最多 24 小时。

数据集映射。

在 MIMIC-IV 中，抗生素来自全身性处方医嘱（排除局部、眼用和耳用途径），培养来自 microbiologyevents。当报告了某种微生物时，该培养为阳性。有采集日期但没有时间的培养使用按日窗口（之前三天、之后一天）。若两个方向都匹配，则培养先于抗生素的匹配优先；在同一方向内选择最早的合格培养。标准任务保留经整理的抗生素表，原始任务则去掉该表。

输出粒度与计分。

输出对每条抗生素医嘱有一行，以 subject_id 和 ab_id 为键，并有一个按开始时间、停止时间和抗生素名称排序的受试者内行号（949,901 行参照）。奖励是 suspected_infection、positive_culture 和 specimen 匹配率的平均值。严格通过还额外要求每一个必需列、完整的键覆盖，以及数值一致性达到任务阈值（标准任务为精确一致，原始任务为 0.85）。

诊断所表明的情况。

在主 Codex 比较的标准任务上，两种条件的键精确率均为 1.000，平均键 F1 至少为 0.999，因此两种条件都把粒度做对了。奖励从 0.720 升至 0.820，对 culture_time 的未计分诊断匹配从 0.46 升至 0.69：技能主要纠正的是哪一次培养与每一种抗生素配对（优先规则与最早培养规则）。两种条件都没有任何一次运行严格通过（各为 0/10）。在原始任务上，智能体还必须重建抗生素表，粒度同样成为问题：无技能时平均键 F1 为 0.725，有技能时为 0.865。因此，一条在临床上看似合理的规则，若用了错误的窗口或决胜规则，仍然会产生不正确的行；参照本身也继承了表 9 所指出的宽泛培养纳入。

附录 C 对照子集选择

诱饵技能对照与原始 SQL 对照共用一份目的性选取的 10 任务清单，于 2026 年 5 月 2 日提交到基准矩阵（提交 3405cc45），早于 5 月 3 日的第一次对照运行。它覆盖 15 个任务族中的 6 个、五项标准任务和五项原始任务，以及九项 MIMIC-IV 任务加一项 eICU 任务。操作规范对照使用与哨兵清单相同的八项任务；该清单自 2026 年 4 月 23 日（4245cc81）起就在基准矩阵中，比 5 月 6 日第一次操作规范运行早十二天。加入操作规范文件以及该条件本身的提交（fce2bd24、949836d9）是在该次运行开始之后 62 分钟和 70 分钟撰写的，因此预先规定所依据的是更早的那份清单。该清单覆盖 15 个任务族中的 8 个、三项标准任务和五项原始任务，并且没有 eICU 任务。提交时间是按 UTC 比较的作者日期，提交者日期反映的是后来一次历史改写。这份八任务清单选自一次单一种子的 Opus 预试验；该预试验有 27 项有效任务，清单包含五项预试验高差值任务、一项持平任务和两项预试验负向任务（类别见 benchmark/matrix.py）。在每个对照 100 次运行的预算下，我们把诱饵技能对照和原始 SQL 对照放在更早的 2026 年 4 月 Codex 实验活动（codex-full-20260428）中技能差值最大的十项任务上，因为这些任务最可能显示出条件之间的差异。按照 Opus 预试验的类别，它们是八项高差值任务、一项持平任务和一项负向任务。选择使用的是 4 月的运行，而此处报告的对照结果来自另外的 5 月运行。表 13 报告成员资格以及每项任务最终的定向技能差值。子集差值（+0.280 和 +0.186）高于各自的补集（+0.056 和 +0.116），因此对照结果描述的是这些子集，而不是完整基准。

表 13：全部 28 项任务的对照子集成员资格，以及最终的 Codex 定向技能差值（在两个模型上按任务平衡）。每项任务的任务族由其名称得出，任务族列于表 2。

附录 D 发布、核验与来源

源码发布。

https://github.com/hannesill/m4 的标签 m4bench-neurips2026-camera-ready 保存最后一次实验活动之后当时的基准代码、技能、测试框架、评测器、测试、运行清单和制表脚本。它并不是在每次实验活动之前拍摄的快照：5 月的运行记录没有存储代码提交，而且一些运行输入在各次实验活动之间以及活动进行期间发生了变化。发布版 README（“Code and skill state by campaign”）按结果根目录列出这些变化。benchmark/REPRODUCIBILITY.md 描述需凭证的重建：取得 PhysioNet 对 MIMIC-IV v3.1 和 eICU v2.0 的访问权限，把源文件放到文档所述目录，运行 uv sync、m4 init mimic-iv、m4 init-derived mimic-iv、m4 init eicu 以及 benchmark/setup.py --all --verify，然后在任何全新实验活动之前运行模式等价性核验、预检和 Docker 泄漏金丝雀测试。

开放证据包。

表 14 列出两个开放包。打包器在转换之前，对照其所声明的清单对每个源文件计算哈希，并在任何缺失、多余或不匹配的文件上中止。每个 output.csv 变成 output_summary.json（列、行数、源哈希），轨迹中的工具输出与命令输出变成带有长度和带键哈希前缀的占位符。智能体消息、SQL 和代码予以保留。在这些文本中，凭证、移位后的日期时间、患者年龄，以及以标识符开头的行被移除，MIMIC-IV 和 eICU 标识符被假名化。智能体消息仍可能用文字描述智能体所看到的内容。一个使用自有模式的独立扫描器检查每个包是否残留工具输出、凭证、标识符和移位后的日期时间，两个包均通过该检查。metadata/public_artifact_manifest.json 把每个源哈希映射到其公开哈希，Croissant 核心元数据与 RAI 元数据对两个包都作了描述。在所提交的审阅存档中，有 322 个 result.json 文件和 2,513 条轨迹事件格式损坏，原因是打包时的路径涂销消耗了智能体文本内部的 JSON 转义字符。评测器字段未受影响。历史包使用有文档记录的 result.json 文件派生副本，并记录原始哈希、派生哈希和公开哈希。格式损坏的轨迹事件被整条扣留，因为其工具输出无法与智能体文本分开。原始字节在私有存档中未作改动。

表 14：开放证据包，托管于 https://huggingface.co/datasets/hannesill/m4bench-evidence，并附于该标签发布。

根据打包证据再生。

从该标签的一次干净检出出发，verify_public_evidence.py 对照清单检查每个包条目，并仅根据该包再生各表。全部四张 Claude 复现表、它们的摘要文件，以及 19 张历史结果表中的 18 张，均可逐字节复现。历史键 F1 使用表 6 中的参照行数，有序值 nMAE 使用所跟踪的逐次运行缓存。表 23 无法从这些包中再生：其变换后模式的无技能单元格来自 2026 年 4 月实验活动根目录 codex-full-20260428，而该目录不在任何一个存档之中。任务细节表、产物表和计算表需要私有存档或需凭证的参照输出，重新评测智能体输出则两者都需要。

来源方面的限制。

运行所记录的是任务、条件、模型、试验、时间戳、隔离与金丝雀检查、评测器诊断以及数据库指纹，但不记录源提交、工作树状态或容器镜像摘要。对于 Claude 复现，合作者声明基础提交为 f2f0299d，另加一份未提交的差异；该差异改变重试处理与任务选择，但不改变任务定义或评测器。该差异、启动命令和批处理脚本已经发布，并且有 17 次规范运行早于这次重试改动。本地运行与所保留的模型钉扎补丁及基准源哈希相绑定。这些是声明以及所保留的源码历史，而不是逐次运行的记录。来自合作者实验活动的一份单独的认证失败存档未被取回，因此其失败尝试在尝试清单中缺失。该存档不含规范运行。

附录 E 更多结果细节

主 Codex 实验活动的完整性。

最终的 Codex 证据包把 release-20260502-codex-v11 与来自 review-rerun-20260504-codex 的 170 次临床医师审阅重跑替换合并。在把遗留的无 SQL 变体运行视为四个受影响任务变体的规范有技能行之后，分析集在 152 个任务/条件/模式/模型单元格上共有 760 次运行。这四个变体是标准与原始的尿量速率任务以及血管加压药当量任务。其无 SQL 技能文本用占位符标出每一段被去掉的 SQL 片段。2026 年 5 月 5 日（提交 5f3ac09c），占位符被写成文字的规则所替换；这份较晚的文本就是所发布的技能，也是 Codex 后续实验与 Claude 复现所使用的文本。因此，对于这四项任务，主 Codex 实验与 Claude 的有技能运行并未看到同一份技能文本。可发表性确立的是纳入分析的资格，而不是临床正确性：大多数失败的诊断是有效的失败派生或部分正确的派生，因此标量奖励要与键精确率、额外键计数以及严格通过/失败状态一并解释。

表 15：用 5 月 4 日的临床医师审阅重跑替换相匹配的 5 月 2 日运行之后，对主 Codex 实验活动所作的完整性检查。可发表性意味着该次运行有资格纳入分析。它并不意味着所提交的派生在临床上是正确的。

Codex 异质性。

图 2 与表 16–18 详述主效应在何处最大、何处持平或为负，以及它如何按标准任务与原始任务拆分。

图 2：主 Codex 实验以及全覆盖 Claude 复现在全部 28 项任务上的逐任务原生模式技能差值（有技能减去无技能的平均奖励），以及探索性 gpt-oss-20b 臂在其所覆盖的八项任务上的相应差值。

表 16：在 Codex 各模型之间对任务级差值取平均之后，原生模式技能增益最大的任务。

表 17：在 Codex 各模型之间对任务级差值取平均之后，负向或持平幅度最大的原生模式技能效应。

表 18：按任务模式拆分的原生模式 Codex 技能效应。数值为任务配对差值。最后各行在汇总之前先在任务内对两个 Codex 模型取平均。

表 19：主原生模式 Codex 技能效应的聚类敏感性。任务行是论文的主结果。家族行对 15 个任务家族重抽样或做平衡，以检验对标准／原始兄弟任务的敏感性。

输出粒度诊断。

诊断表报告汇总的键 F1、键精确率，以及额外键最多的单元；这些单元以区间式派生为主。

表 20：Codex 的原生模式键诊断。前两行汇总原生无技能与有技能单元。其后各行给出额外键较高的单元。N 在前两行计数单元，在其余行计数运行。键 F1 与键精确率为均值。

表 21：原生模式 Codex 的逐任务次级诊断。nMAE 仅在按已声明键匹配之后，对有序取值列计算。nMAE 差值为负表示改进。

表 22：最终合并的 Codex 分析中，选定任务上的匹配情境对照。「对照–目标」在任务级平均之后，将对照条件与目标有技能条件相比较。

表 23：GPT 5.4 Mini 在 26 项 MIMIC 任务上的 Codex 模式–技能泛化随访。变换后的各行将 5 月 6 日的有技能运行与更早的变换模式无技能探测相匹配。

译注：表 20 与表 21 的数字、任务标识和模型名保留原文，未改写。再说明一次：无技能与有技能两行是汇总，其后各行是额外键较多的具体单元；逐任务表从 eicu-gcs 排到血管加压药与通气相关任务。奖励差值是有技能减去无技能，键 F1 差值描述行键是否对齐，有序列数是参与 nMAE 的取值列个数。表内每一个小数、整数和负号都保持原样。通气、血管加压药、肌酐基线、尿量速率、疑似感染、脓毒症、器官评分和共病指数各行都在表中，没有删行。额外键是多出来的键数量，不是新的临床终点。全部这些键数量均保持原样。表 20 的 N、键 F1、键精确率与额外键，分别概括无技能、有技能，以及额外键较多的单元。表 21 的奖励差值、键 F1 差值、nMAE 差值与有序列数，按任务排列；nMAE 差值为负表示该有序取值列更接近参考。任务标识中的 mimic 与 eicu 表示数据库，raw 表示原始模式，其余为时间窗或临床概念。这些行是诊断，不是新的排除规则。

有效性随访细节。

5 月 6 日的 Codex 有效性随访包含 363 个原始结果目录。规范分析清单为每一个任务、条件、模式、模型和试验键选取时间戳最新的一次运行，得到 340 次规范运行和 23 个已被取代的重试目录。规范矩阵包含 80 次操作规范运行和 260 次变换模式有技能运行。全部规范运行均通过可发布性、隔离、文件系统金丝雀和污染检查。该随访用作有效性证据，而不是对主原生模式估计量的替代。

表 24：5 月 6 日 Codex 有效性随访的完整性。已被取代的重试目录保留在清单中供审计，但排除在分析表之外。

表 25：在每项任务内对两个 Codex 模型取平均之后，按哨兵任务给出的操作规范随访。

历史 Claude 哨兵实验与探索性开源臂。

已提交的 Claude 哨兵实验，就其提供方范围的主张而言，已被附录 F 中的全覆盖复现所取代，并作为历史证据保留；它把 release-20260502-claude-provider 与 30 次 5 月 4 日的重跑替换合并在一起，得到 190 次运行和 14 次严格诊断通过。除非未来的重跑对相同任务包含相互匹配的原生、混淆和重构单元，否则 Claude 的模式扰动证据仍然没有定论。本地 gpt-oss-20b 臂对可复现性的背景有用，但按照我们的发布标准并不构成面向论文的证据：全部 110 次运行都因为启用了本地 Ollama 主机例外而被标为不可发布，没有任何一次运行通过全部诊断，也没有保留 egress.jsonl 产物。

表 26：历史（已提交）Claude 哨兵实验在八项任务上的原生模式技能效应。

表 27：历史（已提交）Claude 哨兵实验的逐任务原生模式技能差值。

表 28：探索性本地开源模型的原生模式技能效应。该臂被排除在主要及补充的面向论文证据之外，因为本地 Ollama 运行不满足发布的可发布性标准。

附录 F 全覆盖 Claude 复现细节

选取与来源。

规范的 560 次运行合并了在一个本地根目录中完成的 11 项任务（rebuttal-claude-opus-sonnet-20260726，220 次运行）、来自第二个本地根目录的七项互不相交任务（rebuttal-claude-opus-sonnet-additional-20260728，140 次运行），以及由一位合作者完成的十项任务（claude-28-20260726，200 次运行，每个单元取最新一次尝试）。每一次规范运行均可发布、已隔离，并通过文件系统金丝雀与污染检查，五项产物全部在场且已计算哈希。被排除的尝试已逐项清点：认证被撤销后隔离的 119 次运行，463 次运行时失败或不完整重复，57 次处于所声明选取之外的重叠本地运行，16 次已被取代的合作者尝试，以及一次隔离金丝雀。讨论期间报告过的较早中期估计使用了一个固定截断的 15 项任务子集，完整清单取代了这些估计。逐次运行的奖励取自所保留的评估器记录，而不是取自经过四舍五入的单元摘要。作为一项描述性的跨队列核对，11 个合作者单元也在本地各以五次运行完成（含于上述 57 次重叠运行之中）：其单元均值与规范单元均值之间的平均绝对差为 0.021，最大为 0.052；用本地运行替换两项被完全重复的任务后，28 项任务的差值从 +0.1196 变为 +0.1205（根据已发布的规范清单与尝试清点计算）。两项被重复的任务其技能差值都接近零，因此这只是对两台机器之间数值稳定性的一次弱核对，并不能说明运行框架是否等价。

运行框架概况。

表 30 按条件计数所记录的运行框架指标。全部合作者运行使用 Claude Code 2.1.119。本地运行使用 2.1.220，但有 67 次无技能运行使用 2.1.119。八项任务比较混合了版本，并且原始 SAPS II 在无技能中记录了模型槽位覆盖，在有技能中则没有。这九项任务被排除在表 5 的匹配子集之外。在每一次运行中，被请求的 Opus 或 Sonnet 都是主要助手模型（合作者运行请求的是 opus 与 sonnet 别名，这些别名解析为相同的模型标识符）。附带的 Haiku 使用是 Claude Code 原生路由的一种属性，因此这些运行是请求了 Opus／Sonnet 的 Claude Code，而不是纯粹的单模型执行。每一次运行解析得到的推理力度均为 medium。

表 29：全覆盖 Claude 复现：在 28 项任务上，按模型以及按任务平衡计算的原生模式有技能减去无技能奖励差（95% 任务自助法区间）。

表 30：全覆盖 Claude 复现按条件记录的运行框架指标：观察到的 Claude Code 版本、记录到的模型槽位覆盖、用量报告中出现 Haiku 的运行、含有 Haiku 助手轮次的运行，以及汇总的智能体挂钟小时数。硬件未按每次运行记录。

表 31：全覆盖 Claude 复现的逐任务技能差值。「运行框架」标出那些无技能与有技能单元在所记录的 CLI 版本和路由概况上相匹配的任务，或者标出存在差异的指标。

译注：表 29 至表 31 的数字、模型名和任务标识保留原文。补充：正向任务一列是差值为正的任务数比上二十八。运行框架列里的匹配表示两端记录一致，CLI 表示版本不同，路由表示模型槽位覆盖不同。小时数为挂钟时间之和，不是单次运行的时长。表 29 是两个 Claude 模型及任务平衡均值的无技能、有技能和配对差值。表 30 按无技能与有技能计数 CLI 版本、模型槽位覆盖、Haiku 用量、Haiku 轮次和智能体小时。表 31 给出逐任务的 Opus 差值、Sonnet 差值、平均差值，以及运行框架是匹配、CLI 还是路由。

NeurIPS 论文核对清单

1. 主张

2. 问题：摘要和引言中提出的主要主张是否准确反映了论文的贡献与范围？

3. 回答：[是]。

4. 理由：摘要和引言把 M4Bench 框定为针对参考电子健康记录派生一致性的评测基准，而不是对自主临床正确性的验证。主要主张被限定于所声明基准条件之下、经过整理的程序性情境，并且跨提供方的 Claude 复现因其运行框架并不统一而被表述为描述性结果。

5. 指南：回答 [不适用] 表示摘要和引言并不包含论文中所提出的主张。摘要和／或引言应当清楚陈述所提出的主张，包括论文作出的贡献以及重要的假设与局限。对本问题回答 [否] 或 [不适用]，不会得到审稿人的好评。所提出的主张应当与理论和实验结果相符，并反映这些结果可以预期在多大程度上推广到其他设定。把有抱负的目标当作动机是可以的，只要明确这些目标并非由本论文达成。

6. 局限性

7. 问题：论文是否讨论了作者所开展工作的局限性？

8. 回答：[是]。

9. 理由：第 6 节讨论该基准衡量什么、解释上的限度与不作的主张、统计效度与外部效度，以及安全边界；第 1 节和第 3 节陈述临床医生审阅的范围以及无技能基线的范围。

10. 指南：回答 [不适用] 表示论文没有局限性，而回答 [否] 表示论文存在局限性，但这些局限性未在论文中讨论。鼓励作者在论文中单独设立「局限性」一节。论文应当指出任何强假设，以及当这些假设被违反时结果有多稳健（例如独立性假设、无噪声设定、模型设定良好、渐近近似仅在局部成立）。作者应当反思这些假设在实践中可能如何被违反，以及这将意味着什么。作者应当反思所提主张的范围，例如该方法是否只在少数数据集上或只以少数次运行得到检验。一般而言，经验结果往往依赖于隐含假设，这些假设应当被阐明。作者应当反思影响该方法性能的因素。例如，人脸识别算法在图像分辨率低或图像拍摄光线不足时可能表现很差。又或者，语音转文字系统可能无法被可靠地用于为在线讲座提供隐藏式字幕，因为它不能处理专业术语。作者应当讨论所提出算法的计算效率，以及它们如何随数据集规模扩展。如适用，作者应当讨论其方法在应对隐私与公平问题时可能存在的局限。尽管作者可能担心，对局限性完全坦诚会被审稿人用作拒稿理由，但更糟的结果可能是审稿人发现了论文并未承认的局限性。作者应当运用自己的最佳判断，并认识到，有利于透明的个人行动，在形成那些维护社区诚信的规范方面起着重要作用。审稿人将被专门指示，不要因关于局限性的诚实而施加惩罚。

11. 理论假设与证明

12. 问题：对于每一项理论结果，论文是否提供了全套假设以及完整（且正确）的证明？

13. 回答：[不适用]。

14. 理由：本文引入的是一个评测基准和一套经验方案；它并不呈现理论结果。

15. 指南：回答 [不适用] 表示论文不包含理论结果。论文中的全部定理、公式和证明都应当编号并交叉引用。全部假设都应当在任何定理的陈述中清楚写出或被引用。证明既可以出现在正文中，也可以出现在补充材料中；但如果出现在补充材料中，鼓励作者提供一段简短的证明概要，以给出直觉。反过来，在论文核心部分提供的任何非正式证明，都应当由附录或补充材料中提供的形式证明加以补足。证明所依赖的定理和引理应当被恰当地引用。

16. 实验结果的可复现性

17. 问题：无论代码和数据是否提供，论文是否充分披露了复现其主要实验结果所需的全部信息，以至于这些信息会影响到论文的主要主张和／或结论？

18. 回答：[是]。

19. 理由：第 3–4 节以及附录规定了任务、条件、指标、执行、隔离、结果根目录、产物保留和重复试验汇总。对单条智能体轨迹的精确回放可能有所不同，因为编程智能体和托管模型 API 是非确定性的，因此论文报告带有自助法区间和符号翻转检验的任务平衡效应，并发布逐次运行的元数据、带有哈希谱系的脱敏逐次运行证据包、规范运行清单，以及从这些包重新生成结果表的脚本；模式泛化表除外，该表的无技能单元来自这些包之外的运行（附录 D）。

20. 指南：回答 [不适用] 表示论文不包含实验。如果论文包含实验，对本问题回答 [否] 将不会得到审稿人的好评：使论文可复现是重要的，无论代码和数据是否被提供。如果贡献是数据集和／或模型，作者应当描述为使其结果可复现或可核验而采取的步骤。取决于贡献的类型，可复现性可以用多种方式实现。例如，如果贡献是一种新颖架构，充分描述该架构可能就足够了；如果贡献是某个特定模型及其经验评估，则可能有必要使他人能够用同一数据集复现该模型，或者提供对该模型的访问。一般而言，发布代码和数据往往是达成这一点的一种好办法，但也可以通过关于如何复现结果的详细指令、对托管模型的访问（例如在大语言模型的情形中）、发布模型检查点，或其他与所开展研究相适应的手段来提供可复现性。尽管 NeurIPS 并不要求发布代码，会议确实要求所有投稿提供某种合理的可复现途径，而这可能取决于贡献的性质。例如，如果贡献主要是一种新算法，论文应当说明如何复现该算法。如果贡献主要是一种新的模型架构，论文应当清楚而完整地描述该架构。如果贡献是一个新模型（例如大语言模型），那么要么应当有办法访问该模型以复现结果，要么应当有办法复现该模型（例如借助一个开源数据集，或给出如何构造该数据集的指令）。我们认识到，在某些情况下可复现性可能颇为棘手；在这种情况下，欢迎作者描述他们为可复现性所提供的特定方式。对于闭源模型，对模型的访问也许会以某种方式受到限制（例如仅限注册用户），但其他研究者应当能够拥有某种复现或核验结果的路径。

21. 数据与代码的开放获取

22. 问题：论文是否提供对数据和代码的开放获取，并附有充分指令，以便按照补充材料中的描述忠实地复现主要实验结果？

23. 回答：[是]。

24. 理由：带标签的源代码发布包含评测代码、任务规范、技能、隔离运行框架、需要凭据的重建说明、运行清单和制表脚本；带有校验和与 Croissant 元数据的开放证据包包含逐次运行的结果和脱敏轨迹（附录 D）。MIMIC-IV 与 eICU、派生任务数据库、参考输出以及行级智能体输出仍受 PhysioNet 凭据发放和数据使用条款的约束，因此数据层的复现需要独立的凭据访问。

25. 指南：回答 [不适用] 表示论文不包含需要代码的实验。更多细节请参见 NeurIPS 代码与数据投稿指南（https://neurips.cc/public/guides/CodeSubmissionPolicy）。尽管我们鼓励发布代码和数据，我们也理解这也许并不可能，因此 [否] 是可以接受的回答。论文不能仅仅因为没有包含代码就被拒稿，除非代码对贡献至关重要（例如对于一个新的开源基准）。指令应当包含为复现结果而需要运行的确切命令和环境。更多细节见 NeurIPS 代码与数据投稿指南（https://neurips.cc/public/guides/CodeSubmissionPolicy）。作者应当提供关于数据访问与准备的说明，包括如何访问原始数据、预处理数据、中间数据和生成数据等。作者应当提供脚本，以复现新提出方法及各基线的全部实验结果。如果只有一部分实验可以复现，他们应当说明脚本省略了哪些实验以及原因。在投稿时，为保持匿名，作者应当发布匿名版本（如适用）。建议在补充材料（附于论文之后）中尽可能多地提供信息，但也允许包含指向数据和代码的 URL。

26. 实验设置／细节

27. 问题：论文是否说明了理解结果所必需的全部训练与测试细节（例如数据划分、超参数、它们是如何选定的、优化器类型）？

28. 回答：[是]。

29. 理由：本研究并不训练模型。第 3–4 节描述基准的构建、模型／提供方臂、条件、试验、评分、隔离，以及所记录的报告字段。

30. 指南：回答 [不适用] 表示论文不包含实验。实验设置应当在论文的核心部分呈现到这样的详细程度：它对于领会结果并理解这些结果是必要的。完整细节既可以随代码提供，也可以放在附录或补充材料中。

31. 实验的统计显著性

32. 问题：论文是否恰当地、正确地报告了定义清楚的误差棒，或关于实验统计显著性的其他适当信息？

33. 回答：[是]。

34. 理由：第 4 节使用任务聚类自助法区间、家族聚类敏感性分析，以及针对零的蒙特卡洛符号翻转检验来定义不确定性程序。第 5 节和附录为相关的任务平衡效应估计报告自助法区间，并且第 4 节说明，方括号中的区间是在任务级差值之上的 95% 非参数百分位自助法区间，而不是重复运行之上的标准差或标准误。

35. 指南：回答 [不适用] 表示论文不包含实验。如果结果至少对于支撑论文主要主张的那些实验附有误差棒、置信区间或统计显著性检验，作者应当回答 [是]。误差棒所捕捉的变异因素应当被清楚说明（例如训练／测试划分、初始化、对某个参数的随机抽取，或在给定实验条件下的整体运行）。计算误差棒的方法应当加以解释（闭式公式、对某个库函数的调用、自助法等）。所做的假设应当给出（例如误差服从正态分布）。应当清楚误差棒究竟是标准差，还是均值的标准误。报告 1 倍西格玛误差棒是可以的，但应当加以说明。如果误差正态性这一假设未经核验，作者最好报告 2 倍西格玛误差棒，而不是声称他们拥有 96% 置信区间。对于非对称分布，作者应当小心，不要在表格或图中展示对称的误差棒，以致得出超出范围的结果（例如负的错误率）。如果在表格或图中报告了误差棒，作者应当在正文中解释它们是如何计算的，并在正文中引用相应的图或表。

36. 实验计算资源

37. 问题：对于每一项实验，论文是否提供了关于复现实验所需计算机资源（计算工作节点类型、内存、执行时间）的充分信息？

38. 回答：[是]。

39. 理由：附录表 11 报告了 Codex 主实验和 Claude 哨兵实验的硬件、所保留运行的挂钟时间、词元用量以及所保留产物的存储量。对于全覆盖 Claude 复现，我们按条件报告汇总的智能体挂钟时间（附录表 30）；硬件未按每次运行记录。Codex 随访、探索性开源臂、试点运行以及被排除尝试的计算量未予报告。

40. 指南：回答 [不适用] 表示论文不包含实验。论文应当指明计算工作节点的类型，是 CPU 还是 GPU、内部集群还是云提供方，并包括相关的内存与存储。论文应当提供每一次单独实验运行所需的计算量，并估计总计算量。论文应当披露，整个研究项目所需要的计算是否多于论文中所报告的实验（例如没有进入论文的初步实验或失败实验）。

41. 伦理准则

42. 问题：论文中开展的研究是否在每一个方面都符合 NeurIPS 伦理准则 https://neurips.cc/public/EthicsGuidelines ？

43. 回答：[是]。

44. 理由：该基准在相应的数据使用协议之下使用需要凭据的去标识临床研究数据库，对派生数据库以及可能承载数据的产物遵循源数据访问限制，并把主张限定于受监督的研究派生，而不是临床部署。

45. 指南：回答 [不适用] 表示作者尚未审阅 NeurIPS 伦理准则。如果作者回答 [否]，他们应当解释那些要求偏离伦理准则的特殊情形。作者应当确保保持匿名（例如，如果由于其司法辖区的法律或法规而存在特殊考虑）。

46. 更广泛的影响

47. 问题：论文是否同时讨论了所开展工作潜在的正面社会影响和负面社会影响？

48. 回答：[是]。

49. 理由：第 1 节陈述预期收益，即使临床派生知识对于受监督的研究工作流而言可版本化、可审计；第 6 节讨论错误派生传播到队列、风险调整或下游分析之中所带来的风险。

50. 指南：回答 [不适用] 表示所开展的工作没有社会影响。如果作者回答 [不适用] 或 [否]，他们应当解释为什么其工作没有社会影响，或者为什么论文不处理社会影响。负面社会影响的例子包括潜在的恶意或非预期用途（例如虚假信息、生成虚假个人档案、监控）、公平性方面的考虑（例如部署那些可能作出对特定群体造成不公平影响之决策的技术）、隐私方面的考虑，以及安全方面的考虑。会议预期，许多论文将是基础研究，并不绑定于特定应用，更不必说部署。然而，如果存在通向任何负面应用的直接路径，作者应当指出来。例如，指出生成模型质量上的改进可能被用来生成用于虚假信息的深度伪造，是正当的。另一方面，并不需要指出，一种用于优化神经网络的通用算法可能使人们更快地训练出生成深度伪造的模型。作者应当考虑：当该技术按预期方式使用并且正常工作时可能产生的伤害，当该技术按预期方式使用但给出不正确结果时可能产生的伤害，以及因（有意或无意地）误用该技术而随之而来的伤害。如果存在负面社会影响，作者也可以讨论可能的缓解策略（例如对模型作门控式发布、在提供攻击之外同时提供防御、监测误用的机制、监测一个系统如何随时间从反馈中学习的机制、提高机器学习的效率与可及性）。

51. 防护措施

52. 问题：对于具有高误用风险的数据或模型（例如预训练语言模型、图像生成器或抓取而来的数据集），论文是否描述了为负责任发布而已经落实的防护措施？

53. 回答：[是]。

54. 理由：本次发布遵守 PhysioNet 对 MIMIC-IV 和 eICU 数据的凭据要求，只发布脱敏的逐次运行证据，这些证据扣留行级输出和工具输出，并针对残留标识符和偏移日期进行扫描；原始的、承载数据的存档保持私有，并且不声称已具备临床部署准备。

55. 指南：回答 [不适用] 表示论文并不构成此类风险。对于具有高误用风险或两用风险的已发布模型，应当带有必要的防护措施，以便对该模型进行受控使用，例如要求用户遵守使用指南或访问限制才能访问模型，或者实施安全过滤器。从互联网抓取而来的数据集可能带来安全风险。作者应当描述他们如何避免发布不安全的图像。我们认识到，提供有效的防护措施具有挑战性，许多论文并不需要这样做，但我们鼓励作者把这一点考虑在内，并作出善意努力。

56. 既有资产的许可

57. 问题：论文所使用的资产（例如代码、数据、模型）的创建者或原始所有者是否得到了恰当署名，许可和使用条款是否被明确提及并得到恰当遵守？

58. 回答：[是]。

59. 理由：论文引用了 MIMIC-IV、eICU 和 MIT-LCP MIMIC-Code，并在第 4 节中写明所评估的智能体产品与模型标识符。第 3 节以及附录中的资产许可表报告了数据集版本、源资产的角色、PhysioNet 凭据发放／数据使用条款及 URL、M4Bench 的 MIT 发布许可，以及对派生数据库和承载数据产物的访问限制。

60. 指南：回答 [不适用] 表示论文不使用既有资产。作者应当引用产出该代码包或数据集的原始论文。作者应当说明所使用的是该资产的哪一个版本，并在可能时附上 URL。每一项资产都应当包含许可名称（例如 CC-BY 4.0）。对于从某个特定来源（例如网站）抓取的数据，应当提供该来源的版权和服务条款。如果发布了资产，应当在发布包中提供许可、版权信息和使用条款。对于流行的数据集，paperswithcode.com/datasets 为其中一些数据集整理了许可。他们的许可指南可以帮助确定某个数据集的许可。对于被重新打包的既有数据集，应当同时提供原始许可以及派生资产的许可（如果该许可已经改变）。如果这些信息无法在线获得，鼓励作者联系该资产的创建者。

61. 新资产

62. 问题：论文中引入的新资产是否有良好的文档，并且文档是否与资产一并提供？

63. 回答：[是]。

64. 理由：M4Bench 引入了任务规范、技能、评估器代码和结果产物。第 3–4 节和附录记录了任务清单、临床医生审阅的出处、产物保留、重跑要求，以及带有校验和、许可和 Croissant 元数据的证据包。

65. 指南：回答 [不适用] 表示论文不发布新资产。研究者应当经由结构化模板，把数据集／代码／模型的细节作为其投稿的一部分加以传达。这包括关于训练、许可、局限性等方面的细节。论文应当讨论，对于其资产被使用的那些人，是否以及如何取得了同意。在投稿时，请记得把你的资产匿名化（如适用）。你可以创建一个匿名 URL，或者附上一个匿名压缩包。

66. 众包与人类受试者研究

67. 问题：对于众包实验和人类受试者研究，论文是否包含给予参与者的指令全文以及屏幕截图（如适用），以及关于报酬（如有）的细节？

68. 回答：[不适用]。

69. 理由：论文并未报告众包实验或前瞻性的人类受试者实验。临床医生对任务的审阅，是对基准产物的出处核验与表面效度审阅，而不是一种针对实验受试者的干预。

70. 指南：回答 [不适用] 表示论文既不涉及众包，也不涉及人类受试者研究。把这些信息放进补充材料是可以的；但如果论文的主要贡献涉及人类受试者，则应当在正文中尽可能包含细节。根据 NeurIPS 伦理准则，参与数据收集、整理或其他劳动的工作者，其报酬至少应当达到数据收集者所在国家的最低工资。

71. 人类受试者研究的机构审查委员会（IRB）批准或等效批准

72. 问题：论文是否描述研究参与者所承受的潜在风险、此类风险是否已向受试者披露，以及是否已获得机构审查委员会（IRB）的批准（或基于你所在国家或机构之要求的等效批准／审查）？

73. 回答：[不适用]。

74. 理由：本工作使用去标识的、需要凭据的临床研究数据库，以及对基准产物的审阅；它并不招募研究参与者，也不实施干预。

75. 指南：回答 [不适用] 表示论文既不涉及众包，也不涉及人类受试者研究。取决于开展研究所在的国家，任何人类受试者研究都可能需要 IRB 批准（或等效批准）。如果你获得了 IRB 批准，应当在论文中清楚说明这一点。我们认识到，相关程序在不同机构与地点之间可能有很大差异，我们期望作者遵守 NeurIPS 伦理准则及其所在机构的指南。对于初次投稿，不要包含任何会破坏匿名性的信息（如适用），例如开展审查的机构。

76. 大语言模型使用声明

77. 问题：如果大语言模型是本研究核心方法中一个重要的、原创的或非标准的组成部分，论文是否描述了对大语言模型的使用？请注意，如果大语言模型仅用于写作、编辑或排版，并且不影响核心方法、科学严谨性或研究的原创性，则不要求作出声明。

78. 回答：[是]。

79. 理由：大语言模型编程智能体就是被评估的系统。第 4–5 节描述模型／提供方臂、条件，以及如何对大语言模型智能体的输出进行评分。

80. 指南：回答 [不适用] 表示本研究中的核心方法开发并不把大语言模型作为任何重要的、原创的或非标准的组成部分。关于应当或不应当描述什么，请参阅 NeurIPS 手册中的大语言模型政策。