M4Bench：临床病历派生智能体的技能增益有多大

M4Bench：评测临床电子健康记录派生智能体的程序性规范

Hannes Ill。所属机构：计算生理学实验室（Laboratory for Computational Physiology），麻省理工学院（Massachusetts Institute of Technology），美国。

Rafi Al Attrach。所属机构：计算生理学实验室，麻省理工学院，美国。

Rajna Fani。所属机构：计算生理学实验室，麻省理工学院，美国。

Ahram Han。所属机构：计算生理学实验室，麻省理工学院，美国；外科系（Department of Surgery），首尔国立大学医院（Seoul National University Hospital），韩国。

Ryohei Yamamoto。所属机构：计算生理学实验室，麻省理工学院，美国。

Marlene Louisa Moerig。所属机构：计算生理学实验室，麻省理工学院，美国；夏里特，柏林大学医学中心（Charité, University Medicine Berlin），德国。

Dukyong Yoon。所属机构：计算生理学实验室，麻省理工学院，美国；生物医学系统信息学系（Department of Biomedical Systems Informatics），延世大学医学院（Yonsei University College of Medicine），韩国。

Leo Anthony Celi。所属机构：计算生理学实验室，麻省理工学院，美国；肺科、重症监护与睡眠医学科（Division of Pulmonary, Critical Care and Sleep Medicine），贝斯以色列女执事医疗中心（Beth Israel Deaconess Medical Center），美国。

通讯作者：illh@mit.edu。代码：https://github.com/hannesill/m4/tree/m4bench-neurips2026-camera-ready/benchmark。

摘要

基于电子健康记录的临床研究依赖于派生变量，而这些变量的定义并不处在模式之内，而是处在项目编码、时间窗、缺失规则，以及会改变队列与下游结论的输出粒度选择之中。我们提出 M4Bench，即 MIMIC-IV 与 eICU 上、覆盖 15 个任务族的 28 项临床派生任务，用以检验人工智能编程智能体能否复现此类派生，以及经临床医师审阅的智能体技能如何改变其结果。它的对照把技能的价值分解为规范完备性、交付格式与模式熟悉度。在一次以 Docker 隔离的 Codex 评测活动中（GPT 5.4 Mini 与 GPT 5.5），技能把奖励——即计分输出列上的平均匹配率——相对于无技能基线提高 0.136，28 项任务中有 26 项得到改善。规范完备性解释了这一增益的大部分：在一个八项任务的对照子集上，仅一份操作性规范就把奖励提高 0.162，技能在此之上只再增加 0.024，这一差异与零无法区分。在一个十项任务的子集上，诱饵技能的得分与无技能一样，原始参考 SQL 几乎与针对性技能持平，从而不支持把通用上下文或技能格式当作解释。模式混淆与重构分别保留技能增益的 86% 与 70%（GPT 5.4 Mini，26 项 MIMIC-IV 任务）；这是一项描述性的稳健性检验，而不是对记忆的界限。在全部 28 项任务上的一次描述性 Claude Code 复现（Opus 4.7 与 Sonnet 4.6，560 次运行）在方向上一致（+0.120，28 项任务中有 21 项改善）。这些增益是与参考的部分一致，而不是已经完成的任务：280 次有技能的 Codex 运行中只有 25 次、280 次无技能的 Codex 运行中只有 13 次通过每一项严格检查，而且技能几乎不改变智能体返回哪些行（键 F1 +0.003）。技能以一种带版本、可供临床医师审阅的 Markdown 交付格式发布，并附有任务族层面的参考有效性审计。M4Bench 将任务、技能、评测代码以及经脱敏的逐次运行证据作为开源基准发布。

1 引言

图 1：M4Bench 评测流水线。每项任务把一张任务卡与一份已移除参考目标的 DuckDB 克隆配成一对。主要的无技能–有技能比较以及与之匹配的对照，在沙箱执行与污染审计之下，检验规范完备性、参考代码结构与模式熟悉度。

使用电子健康记录（electronic health records，EHRs）的观察性临床研究通常依赖派生变量：诸如序贯器官衰竭评估（Sequential Organ Failure Assessment，SOFA）（Vincent et al., 1996）与急性生理学评分 III（Acute Physiology Score III，APS-III）（Knaus et al., 1991）之类的严重程度评分，诸如改善全球肾脏病预后组织（Kidney Disease: Improving Global Outcomes，KDIGO）急性肾损伤分期（KDIGO Acute Kidney Injury Work Group, 2012）与终末期肝病模型（Model for End-Stage Liver Disease，MELD）（Kamath et al., 2001）之类的器官功能障碍度量，以及诸如疑似感染与 Sepsis-3（Singer et al., 2016）之类的、用以界定队列的表型。这些变量很少作为简单的列直接可用。它们要从原始表中重建，而临床含义分布在项目标识符、单位、记录实践、时间窗以及数据集特定的惯例之中；单一次派生背后的实现选择，会改变观察性研究中的队列成员资格、评分分布与下游结论（Johnson et al., 2017; Johnson et al., 2018; Ostropolets et al., 2023）。

现代智能体可以检查模式、执行 SQL、调试代码并在测试上迭代，近期工作衡量它们把临床问题翻译成 SQL、或与 EHR 数据交互的能力（Lee et al., 2022; Shi et al., 2024; Jiang et al., 2025）。然而，临床派生任务往往需要单从模式结构无法看见的程序性知识。例如，一次 SOFA 实现既需要评分定义，也需要血管加压药如何编码、氧合变量如何配对、通气状态如何改变呼吸评分，以及在某一个特定数据库版本中缺失组分如何处理。这种程序性知识由临床医师持有，并嵌入社区概念代码之中，例如 MIT-LCP 的 MIMIC-Code 仓库（Johnson et al., 2018），但据我们所知，没有任何基准把它表示成一种可审计的智能体产物。

M4Bench 把这一缺口当作评测问题来研究。M4Bench 并不询问一个智能体能否以自由文本回答临床问题，而是询问一个编程智能体能否复现已声明的 EHR 研究派生，以及显式的程序性规范是否会改变这一行为。该基准受一个更宽目标的推动：使临床医师与临床研究者能够把关于 EHR 派生的默会程序性知识，转化为带版本、可审计的产物，供智能体在实现期间使用。核心问题是，为了受监督的研究工作流，人类的领域专长应当如何被表示并加以评测。

主要的规范格式是一种智能体技能：一份 Markdown 程序性产物，其精神与 Agent Skills（Zhang et al., 2025a）一致，为一个任务族概括临床规则、项目标识符、时间窗与输出粒度。技能是可复用的程序性产物，并且不含隐藏的参考输出。每项任务及其关联产物由两名临床医师审阅。这一审阅支持表面效度、输出模式的一致性，以及临床定义的来源可追溯性。

该基准围绕一次受控消融来设计（图 1）。在无技能条件下，智能体收到任务说明与数据库访问，但没有经过整理的派生规程。这一条件代表的是模式加任务的访问，而不是一条充分规定的临床方案基线。在有技能条件下，同一个智能体还收到针对该任务的程序性技能。所提交的 CSV 逐列对照隐藏的参考输出加以评测。待估量是：当提供经过整理的临床实现知识时，与已声明参考实现的一致程度发生何种变化。

主张与非主张。

M4Bench 估计的是，在同一任务、同一数据库、同一模型与同一执行协议之下，原生模式上有技能与无技能的奖励差；在模型层面平均之后，各项任务等权。所检验的程序性上下文来自公开的 MIT-LCP 概念代码、eICU 惯例、临床医师审阅以及任务改写。分数衡量的是与已声明的公开代码参考派生的一致程度，而不是临床正确性：临床医师审阅标出，例如，宽泛地纳入培养可能把疑似感染判定得过宽，SOFA 把缺失的器官组分默认记为零，以及血管加压药映射遗漏了血管紧张素 II（附录表 9）。由临床医师裁定的目标以及多个可接受的目标，是未来版本的优先事项。证据以 MIMIC-IV 为主：28 项任务中有 26 项使用 MIMIC-IV，那两项 eICU 任务是跨数据库的探针，而不是数据库或医院之普遍性的证据。M4Bench 并不识别临床医师审阅的因果效应、提供方普遍的行为、不含记忆的推理，或技能格式的独特效应。

本文作出三项贡献：

1. 一个基准对象：在 MIMIC-IV 与 eICU 上、覆盖 15 个任务族的 28 项临床 EHR 派生任务，附有经临床医师审阅的技能、操作系统级隔离、污染 lint、经脱敏的逐次运行审计日志，以及任务族层面的参考有效性审计，从而使基准目标与已知的注意事项可供检查。

2. 一套分解装置：诱饵技能、原始 SQL、操作性规范与模式扰动等对照，用以把规范完备性同交付格式、参考代码结构以及模式熟悉度分离开来。

3. 在该装置之下的一项 Codex 发现，并伴有一次方向一致、但属于描述性的全覆盖 Claude 复现：在一个八项任务的对照子集上，规范完备性解释了增益的大部分。针对性技能在 28 项任务上将 Codex 奖励提高 +0.136 [0.085, 0.191]（26/28 改善），相应的 Claude 差值为 +0.120 [0.067, 0.177]（21/28），但有技能的 Codex 运行中只有 25/280 通过全部严格诊断，键 F1 仅移动 +0.003。

2 相关工作

M4Bench 建立在需资质的重症监护数据库 MIMIC-IV（Johnson et al., 2023）与 eICU（Pollard et al., 2018）之上，建立在诸如 MIT-LCP MIMIC-Code（Johnson et al., 2018）的社区参考实现之上，并建立在用于临床 EHR 访问的 M3 智能体基础设施（Attrach et al., 2025）之上。先前的临床 EHR 基准与智能体方法涵盖少样本预测、文本到 SQL、结构化表格问答、队列与特征抽取，或使用工具的临床智能体（Wornow et al., 2023; Lee et al., 2022; Shi et al., 2024; Lee et al., 2025; Yang et al., 2026; Lee et al., 2026; Jiang et al., 2025）。检索增强的医学问答由 MIRAGE 单独加以基准评测（Xiong et al., 2024）。与 RWE-bench 在 MIMIC-IV 上的端到端观察性研究方案（Li et al., 2026a）不同，M4Bench 把可复用的派生组件隔离出来，例如 SOFA、疑似感染、通气、血管加压药等效剂量以及滚动尿量，然后在直接的无技能相对有技能消融之下，对照已声明的参考为复现结果打分。

M4Bench 也不同于医学计算器基准，后者检验的是从记录或合成的患者描述中回忆公式、抽取信息或做算术（Khandekar et al., 2024; Krohn-Grimberghe, 2026）。真实的 EHR 派生还依赖于项目标识符、时间窗、单位换算、缺失惯例以及输出粒度。诸如 CLIF 与 OHDSI/OMOP 的协调工作，在不同场景之间把临床数据与定义标准化（Rojas et al., 2025; Hripcsak et al., 2015）。M4Bench 转而询问的是，编程智能体能否在受控条件下复现一组固定的、已声明的派生。

智能体技能是基于文件、可复用的程序性知识产物，智能体可以在运行时发现并加载它们（Zhang et al., 2025a）。SkillsBench 跨领域研究此类产物，但其任务中只有少数涉及临床数据，少到不足以确立技能效应在各项 EHR 派生上是否广泛或可靠（Li et al., 2026b）。结构化提示与提示敏感性方面的工作同样表明，程序性上下文可以改变模型行为（Khattab et al., 2024; Zhuo et al., 2024）。M4Bench 衡量的是，以一种已发布、可审计的形式提供针对任务的程序性知识所产生的效应，而不声称某一种封装格式具有独特收益。

最后，M4Bench 继承了诸如 SWE-bench 的编程智能体基准所关切的问题（Jimenez et al., 2024）：当智能体能够检查代码与文件时，隔离、可复现性与污染就很重要。污染是对此类基准的已知威胁，并已推动持续更新的或抗污染的评测（Chen et al., 2025; Wu et al., 2025; Zhang et al., 2025b）。因此，M4Bench 报告操作系统级隔离、产物留存与污染检查，并且只把模式扰动当作模式熟悉度的探针。

3 基准

基准一览。

M4Bench 发布在 MIMIC-IV（Johnson et al., 2023）与 eICU（Pollard et al., 2018）上、覆盖 15 个临床任务族的 28 份任务规范；经临床医师审阅的程序性技能；Docker 隔离执行框架、评测器与污染审计代码；以及 Codex 各次评测活动、已提交的 Claude 哨兵评测活动和一次全覆盖 Claude 复现的经脱敏逐次运行证据。元数据与哈希清单随该发布一并提供。派生的任务数据库不予再分发，而任务规范、评测器代码与技能使用宽松的开源许可证。资产条款见表 12。

M4Bench 包含 26 项 MIMIC-IV 任务与两项 eICU 任务，涵盖严重程度评分、器官功能障碍、共病、感染、呼吸支持、药物以及滚动窗口。图 1 概括该流水线，表 2 列出任务族层面的清单。

任务格式。

每项任务向智能体给出一个临床派生目标与一个任务数据库。智能体必须写出 output.csv，其中包含必需的标识符列与取值列。评测检查该输出是否为合法 CSV、是否包含必需列、是否覆盖预期的键集合，以及是否在任务特定的容差之内匹配参考取值列。附录 B 以疑似感染为例，追踪一项任务从临床定义经过输出行直到诊断的过程。

标准模式与原始模式。

标准任务移除参考目标表，同时仍保留选定的中间特征表。原始任务移除目标概念，并且对 MIMIC-IV 任务移除 mimiciv_derived 模式，从而使智能体必须从源临床表出发来工作。这一区分检验的是：当项目标识符、源表、单位换算与时间连接等实现细节无法借助派生特征绕过时，技能是否更加重要。

回顾性与时间局部框架之对照。

若干改写自公开概念代码的参考实现，使用了只有在某个实时决策点之后才可获得的信息（例如，基线肌酐对慢性肾病患者使用出院 ICD 编码）。因此，M4Bench 是关于回顾性概念派生的基准，而不是实时临床预测。

条件。

主要比较是原生模式上的无技能相对于有技能。表 1 概括主要的基准条件与机制对照。无技能条件是一条模式加任务的基线，而不是一条已部署系统的基线，例如在公开概念代码之上做检索。因此，操作性规范对照衡量的是，该效应有多少来自规范完备性，而非来自技能格式本身。

表 1：基准条件、对照与指标的术语表。

技能产物。

每一项针对任务的技能，都是一份 Markdown 程序性产物，其精神与 Agent Skills（Zhang et al., 2025a）一致。技能派生自公开的临床定义、MIT-LCP MIMIC-Code 以及 eICU 的概念代码惯例（Johnson et al., 2018; Pollard et al., 2018），随后被改写成针对某一种已声明参考惯例的实现指导，而不是普遍的临床知识。每一项针对任务的技能及其配对的任务规范，都由两名临床医师独立审阅。分歧与澄清请求经由共识讨论解决，审阅者标识符 C1–C4 在来源附录中报告。四名参与审阅的临床医师都是本文的共同作者，因此该审阅属于作者团队内部，并不是外部验证。这一审阅检查定义的来源、任务的框架以及产物的合理性。技能可以包含公式、项目标识符、表族、时间窗规则、缺失惯例、单位换算、输出粒度方面的提示以及边界情形方面的警示。主要技能不含可执行的 SQL 片段、隐藏的参考输出路径、行级答案、精确的结果表或完整的解题程序。原始 SQL 只出现在一项内容相匹配的对照之中。

参考输出与指标。

参考输出改写自公开的 MIT-LCP 概念、eICU 概念代码以及该基准特定的任务语义。标量奖励是计分取值列上的平均匹配率，而不是各项测试上的通过比例。对任务 $t$、计分列 $C_{t}$、参考键集 $K_{t}$ 与智能体输出 $A_{t}$，评测器按所配置的键列把智能体的行左连接到参考行，在把重复的智能体键计作惩罚之后将其丢弃，并把缺失的参考行、重复的智能体键以及多余的智能体键计入每一列的分母。奖励为

其中 $G_{t}$ 表示隐藏的参考输出表，$\approx$ 表示精确相等，或表示一项任务特定的数值或时间戳容差。评测器还报告键精确率、多余键、行覆盖以及通过或失败的诊断。为把行粒度上的错误同接近命中的取值错误分开，我们还另外汇总键 F1，以及有序取值列上的归一化 MAE。无序的分类列仍然只做精确匹配。

用于这些参考输出的 MIT-LCP 与 eICU 惯例，是被广泛采用的研究实现，而不是经过临床验证的金标准。临床医师审阅识别出一些情形，其中公开概念代码偏离源临床定义，或遗漏在临床上相关的边界情形。附录表 9 概括影响最大的参考有效性注意事项。我们在当前的证据包中保留这些公开参考实现，因为改动它们会重新定义基准目标，并要求重新运行受影响的任务。未来的版本应当在公开代码目标之外，一并加入由临床医师裁定的参考目标，从而使 M4Bench 能够分别衡量与社区惯例的一致，以及与临床意图的一致。

数据集规模。

基准任务数据库是由需资质的 MIMIC-IV 与 eICU 数据派生的、按任务分别建立的 DuckDB 克隆。MIMIC-IV 任务取自 MIMIC-IV v3.1 发布版，eICU 任务取自 eICU 协作研究数据库（eICU Collaborative Research Database）v2.0。参考输出的行数从 Sepsis-3 队列任务的 41,296 行，到滚动尿量窗口的 4,126,485 行不等，若干区间任务与事件任务超过 700,000 行。各任务的参考行数在附录的表 6 中报告。

表 2：M4Bench 任务清单。标准任务保留选定的中间特征；原始任务要求从源表进行重建。

译注：表 2 按任务族列出任务数、标准模式数、原始模式数和数据库。十五个任务族与合计行的数字都未改写，MIMIC-IV 与 eICU 保留原文。

数据访问与伦理。

MIMIC-IV 与 eICU 要求通过 PhysioNet 进行需资质的访问。基准任务数据库由这些需资质的数据派生，并不再分发。使用 M4Bench 的研究者必须自行取得相关源数据库的 PhysioNet 资质，并用已发布的安装脚本重建任务数据库（附录 D）。

数据与代码发布。

源码发布（标签 m4bench-neurips2026-camera-ready，https://github.com/hannesill/m4/tree/m4bench-neurips2026-camera-ready/benchmark）包含评测代码、任务、技能、对照、隔离执行框架、测试、运行清单以及制表脚本。两份开放的证据包保存 result.json、经脱敏的轨迹，以及面向 1,960 次运行的说明（1,850 次面向论文的运行带有出站日志，110 次探索性 OSS 运行则没有），并带有从源到公开版本的哈希谱系以及 Croissant 元数据（Akhtar et al., 2024）。行级的智能体输出与工具输出不予提供，因为它们派生自需资质的数据（附录 D）。

4 实验协议

主要待估量。

主要待估量是：在原生模式任务上，无技能与有技能之间、按列平均匹配率的任务配对变化。令 $R_{t,c,s,m,k}$ 表示第 3 节所定义的奖励，分别对应任务 $t$、条件 $c$、模式 $s$、模型 $m$ 与试验 $k$。对原生模式任务，每项任务的技能效应为

作为标题结果的汇总量先在一个实验臂之内对各模型平均 $\Delta_{t,m}$，再对各任务平均，因此无论试验次数或输出规模如何，每项任务的贡献都相等。该待估量是在单一模型提供方之内识别出来的：两个 Codex 模型同属一个提供方家族。Claude 复现把同一个待估量用于第二个提供方，但由于下文所述的执行框架差异，它是一次描述性的跨提供方检验，而不是提供方普遍效应的证据。

推断与不确定性。

评测活动矩阵是分层的，并且部分受到预试验的影响，因此作为标题结果的待估量按任务平衡，而不是按运行加权。我们报告任务之上的非参数不确定性：对模型平均后的 $\Delta_{t}$ 使用任务聚类自助法，并使用任务族聚类敏感性分析、按任务族平衡的自助法，以及针对零的蒙特卡洛符号翻转检验。方括号中的区间是任务级差值上的 95% 非参数百分位自助区间，而不是重复运行上的标准差或标准误。这些汇总都以该任务集为条件。

执行。

达到论文质量的运行在 Docker 内部执行。最终的主要 Codex 分析使用 GPT 5.4 Mini（gpt-5.4-mini）与 GPT 5.5（gpt-5.5），覆盖全部 28 项原生任务，每格五次试验，并加上匹配上下文的对照，共计 760 次列为正式的、面向论文的运行。已提交的 Claude 哨兵实验臂在八项配对任务上使用 Opus 与 Sonnet，并加上有限的模式探针（190 次运行），且作为历史证据予以保留。每次运行记录任务、条件、模式、智能体、模型、试验、时间戳、结果哈希、在可得时的词元用量，以及评测器诊断。发布根目录、重跑时的替换、产物计数以及计算量，详见附录 A 与附录 E。

全覆盖的 Claude 复现。

投稿之后，我们使用所请求的 Opus（claude-opus-4-7）与 Sonnet（claude-sonnet-4-6），以 Claude Code 在全部 28 项原生任务上运行无技能与有技能两种条件，每格五次试验；任务、技能与评测器的定义均已冻结，并使用同一条 Docker 路径：来自两台机器上三个结果根目录、由一份已声明的清单选出的 560 次正式运行，另有 656 次失败、被隔离、被取代或相互重叠的尝试被清点并排除（附录 F）。执行框架并不统一：Claude Code 2.1.119 与 2.1.220 都出现，而且部分按条件而异（在 2.1.119 上，无技能为 167/280，有技能为 100/280）。有 230 次运行记录了模型槽位覆盖，其余运行使用原生路由；其轨迹在 330 次运行中报告了附带的 claude-haiku-4-5 用量，并在 5 次运行中出现 Haiku 助手轮次。因此，我们把这 28 项任务上的对比视为描述性的，并增加一项敏感性分析，其对象是那些无技能单元格与有技能单元格对每个模型都共享同一已记录 CLI 版本与同一路由配置的任务。它所匹配的是已记录的指标，而不是每一次附带的模型调用。

隔离与污染审计。

论文中的评测活动在操作系统与容器层强制执行基准内部的隔离；如果一个智能体能够读取隐藏的参考输出、任务内部内容、先前的结果或评测器内部内容，则失败关闭。运行后的审计会排除或判为失败那些提及答案路径、评测器内部内容、精确抄写答案的行为，或产出与解压后的答案文件字节级相同的输出的轨迹。最终的 Codex 评测活动中，全部 760 次正式运行都通过了可发布性、隔离、文件系统金丝雀以及污染 lint 检查；全部 560 次正式的 Claude 复现运行亦然，其出站日志没有显示不被允许的主机或被拒绝的请求。完整的审计计数见附录 E 与附录 F。

模式扰动与匹配上下文的对照。

模式扰动让智能体在经过混淆或重构的模式上运行，同时保留底层的数据值。它们是模式熟悉度的探针，而不是完整的数据值去污染检验。匹配上下文的对照使用诱饵技能与原始参考 SQL，以检验增益是否仅仅由更长的上下文造成，仅仅由直接暴露参考代码造成，或是由针对任务的程序性指导造成。对原始任务而言，原始参考 SQL 可以引用已经从任务数据库中移除的中间表，因此这些单元格是 SQL 改写对照，而不是可执行的抄写答案对照。5 月 6 日的有效性后续实验增加了两项非主要对照：在一个八项任务的对照子集上、对两个 Codex 模型都设置的操作性规范条件，以及在 26 项 MIMIC 任务上、针对 GPT 5.4 Mini 的变换模式有技能单元格。

5 结果

在八项任务的对照子集上，规范完备性解释了增益的大部分。

在十项任务的诱饵与原始 SQL 子集上，诱饵技能与无技能持平（0.554 对 0.553），从而不支持把通用的额外上下文当作解释。原始参考 SQL 几乎与针对性技能持平（0.837 对 0.833，$\Delta=$ 0.003），因此参考实现的结构一旦在场，就已经承载了大部分信号（附录表 22）。操作性规范（完整的非 SQL 派生规则，不含项目标识符或数据集配方）在八项任务的子集上相对于无技能提高 +0.162 [0.072, 0.260]，而经临床医师审阅的针对性技能在此之上只再增加 +0.024 [-0.034, 0.099]（表 4）。全部 28 项原生任务上、合并后的针对性技能效应为 +0.136 [0.085, 0.191]（表 3），任务族聚类的敏感性为 [0.065, 0.207]，按任务族平衡的自助法为 +0.120 [0.057, 0.190]（附录表 19），符号翻转检验 $p<10^{-4}$，其中 26/28 项任务得到改善，有序取值的 nMAE 从 0.116 降至 0.060。因此，技能是显式程序性规范的一种可供临床医师审阅的交付格式。这些对照子集是有目的选取的：两份任务列表都在各自首次运行之前固定于基准矩阵之中，而且它们过度代表大效应任务（针对性技能的差值，在 10 项诱饵与原始 SQL 任务上为 +0.280，在其余 18 项上为 +0.056；在八项操作性规范任务上为 +0.186，与之相对的是 +0.116），并且操作性规范子集中没有 eICU 任务。关于机制的结论适用于这些子集（附录表 13）。

表 3：原生模式上的 Codex 技能效应与诊断。奖励是取值列的平均匹配率；键 F1 衡量行粒度；有序 nMAE 越低越好。区间为 95% 的任务自助区间。

很少有运行严格通过，而且技能几乎不移动行粒度。

连续型奖励衡量的是在相匹配的键上的部分一致，而不是端到端的正确性。760 次运行中只有 87 次通过每一项严格诊断（在主要比较中，无技能为 13/280，有技能为 25/280；其余 49 次是原始 SQL 对照运行，在同样的十项任务上为 49/100，而针对性技能的运行为 7/100，尽管平均奖励几乎相等）。大多数严格失败是键正确的行上的取值错误：在主要比较中失败的 522 次运行里，有 468 次达到键覆盖阈值，并且只未达到取值匹配阈值（每项任务为 0.85 到 1.0，在 11 项标准任务中的 10 项上为精确匹配）。技能几乎不移动行粒度：按任务平衡的键 F1 只变化 +0.003，并且只在 5/28 项任务上改善（它在 3 项上下降），尽管针对性技能里许多关于数据集导航的警示都涉及区间与粒度。因此，标题结果中的增益集中在数值取值列的一致上，而且是在智能体已经产生了匹配键的那些行上。

表 4：八项任务对照子集上的 Codex 操作性规范后续实验。数值在每个任务内对两个 Codex 模型平均之后，再按任务平衡。

异质性与失败模式。

最大的增益出现在需要实现级知识的任务上：滚动的尿量窗口、MELD 的边界情形、疑似感染的时序、基线肌酐的层级，以及通气状态。KDIGO、Charlson、标准的血管加压药等效剂量、SOFA，以及若干基线已经很高的评分，仍然接近零或为负。全部八项最平坦的任务（附录表 17）在两种条件下都把键 F1 保持在 1.000：其中六项在没有技能时已接近天花板（无技能奖励至少为 0.94），而原始 KDIGO 与标准 APS III 则保留着技能并未修复的取值错误。粒度错误集中在原始 Sepsis-3、原始通气以及原始疑似感染（键 F1 为 0.68 到 0.87）。逐任务的差值与按模式的拆分见附录 E。

模式扰动：描述性稳健性。

模式混淆与重构改变数据库接口，同时保留底层取值。在一次覆盖 26 项 MIMIC 任务的 GPT 5.4 Mini 后续实验中，当变换模式的有技能单元格与更早那次探针里变换模式的无技能单元格相配对时，结果仍然为正：在混淆模式上为 +0.135 [0.068, 0.208]，在重构模式上为 +0.110 [0.057, 0.170]，亦即原生模式增益的 0.862 与 0.704（附录表 23）。我们按描述性方式来解读这些比率。若把这一缺口当作效应中由模式名称记忆所致的份额，就需要这些扰动并不改变任务难度的任何其他方面，并且四月的无技能探针与五月的有技能运行是可互换的。这两者都没有被确立，而且变换模式的无技能运行并不在留存的证据包之中（附录 D）。该探针对于取值层面的记忆，或对于提供方、医院或数据库上的泛化，都没有给出任何说明。

全覆盖的 Claude 复现。

在全部 28 项任务上，Claude 的奖励在没有针对性技能时为 0.747，在有针对性技能时为 0.867，按任务平衡的差值为 +0.120 [0.067, 0.177]，其中 21/28 项任务为正（表 5）。Opus 的差值为 +0.083 [0.038, 0.135]（25/28），Sonnet 的差值为 +0.156 [0.087, 0.231]（20/28；附录表 29）。若限制到已记录的 CLI 版本与路由配置相匹配的 19 项任务，得到 +0.119 [0.054, 0.192]（14/19），因此这一为正的平均值并不依赖于那些记录了执行框架不平衡的任务。这并不表明 CLI 或路由上的变化没有效应。与 Codex 一样，该差异主要是取值上的一致：严格通过从 25/280 上升到 37/280，键 F1 增加 +0.008。差异集中在同样偏重实现的那些任务族上（尿量窗口、基线肌酐、MELD、疑似感染），而 SOFA、APS III、SAPS II、KDIGO 与 Charlson 保持接近零（附录表 31）。这一复现取代已提交的八项任务 Claude 哨兵结果（+0.166 [0.085, 0.259]），后者作为历史证据予以保留。较低的全覆盖估计，与那个有目的选取的子集过度代表大效应任务这一情况相一致。这一比较并不是提供方之间的排名。

表 5：全覆盖的 Claude 复现：在全部 28 项任务上，在其无技能与有技能单元格对每个模型共享同一个已记录 Claude Code 版本（CLI）的 20 项任务上，以及在同时还共享同一个路由配置的 19 项任务上，按任务平衡的、原生模式有技能减去无技能的奖励。区间为 95% 的任务自助区间。严格通过与键 F1 同奖励分开。

能力下限。

一个探索性的本地 gpt-oss-20b 实验臂按我们的发布标准不可发布，但它接近于零的任务配对差值 +0.008 [-0.072, 0.088] 表明，程序性规范并不能替代基础的编程能力（附录 E）。

6 讨论与局限

M4Bench 衡量什么。

M4Bench 衡量的是，智能体能否实现已声明的临床 EHR 参考派生，以及显式的程序性规范能否弥合实现上的缺口。这些任务覆盖 MIMIC-IV 与 eICU 上的重症监护严重程度评分、器官功能障碍、共病、感染、呼吸支持、药物以及滚动窗口。该基准并不衡量床旁推理、诊断、治疗规划、实时预测或下游研究的效度。

作为可审计产物的程序性规范。

相对于 EHR 的文本到 SQL、结构化问答以及交互式智能体基准（Lee et al., 2022; Yang et al., 2026; Jiang et al., 2025），M4Bench 评测的是对已声明临床派生的复现，而不是对 EHR 问题的回答。它把诸如项目标识符、时间窗与决胜规则之类的程序性知识，转化为经过临床医师审阅、带有版本的产物。当粒度、时序或重建失败时，这些产物对某些派生有所帮助，却使另一些保持平坦或转为负向。

解释上的限度，以及 M4Bench 并不声称什么。

该待估量所识别的是与参考的一致，而不是临床正确性、隐藏知识的迁移，或经过去污染的推理。证据是一项 Codex 的标题结果，加上一次已披露执行框架差异的描述性 Claude 复现，因此它并不是提供方普遍的。公开的概念代码很可能出现在预训练之中，而模式探针只针对模式熟悉度，因此这些结果并非不含记忆。不含项目标识符的操作性规范已经捕获了增益的大部分，因此该效应并非技能格式所独有。技能平均而言几乎不改变键 F1，并且只在少数任务上改善输出粒度。在 26 项 MIMIC-IV 任务与两项 eICU 任务的情况下，这些证据并不是数据集普遍的，也不是医院普遍的。针对性技能相对于操作性规范的微小优势，提示的是数据集导航方面的价值，而不是一项具备检验功效的、为技能所独有的效应。

统计效度与外部效度。

这一评测活动受到预试验的影响，并不是一项平衡的验证性设计。Claude 复现在任务覆盖与隔离上与 Codex 相匹配，但在执行框架的统一性上并不匹配。若要做 Claude 上的因果性技能对比，就需要在一个冻结的 CLI 版本与路由策略之下，对受影响的单元格做一次事先声明的重跑。更广的 eICU 覆盖与跨站点覆盖，是外部效度方面的首要优先事项。

给智能体构建者与实践者的指导。

鉴于仍然残留的失败，智能体的构建者应当把程序性指导与可执行的检查配合起来。在编码之前，应声明输出粒度、键、窗口边界、单位、缺失规则与决胜规则，以及源映射。在接受输出之前，应校验各列、键覆盖、重复键与多余键、队列规模、取值范围、中间计数以及边界情形，因为技能几乎不移动键 F1，也几乎不移动严格通过。智能体还需要用于时间连接、单位归一化以及项目编码映射的可靠原语，并且应当把中间队列与取值暴露出来以供检查。可争议的选择应当被摆到明面上，而不是被静默地解决；实践者应当把智能体的输出当作不可信的草稿，在将其用于会产生后果的用途之前，需要经过独立的临床审阅。由专家整理的示例，在承载定义、数据集映射、预期的中间输出与最终输出、边界情形、测试、来源以及已知局限时帮助最大，而不仅仅是最终的 SQL。

安全性与误用。

M4Bench 评估的是有人监督的研究工作流中的派生变量，而不是自主临床决策。不正确的派生会传导到队列、风险校正和下游结论之中；高奖励也可能与后果重大的粒度、时序或缺失性错误并存。参照可以嵌入有争议的选择（附录表 9），因此人工审计与来源追踪仍然必要。

7 结论

M4Bench 是面向临床 EHR 派生智能体中过程性规范的评测基准。显式过程性规范在此被实例化为经临床医师审阅的技能，提高了 Codex 与所声明参照输出的一致性；Claude 复现在描述上方向一致，但在时间连接、输出粒度和原始中间结果重建方面仍留下重要失败。该结果表明，仅做模式探索往往并不充分，并向读者提供了一种以产物为据的方式，用以检查仍需人工审计的残留错误。

M4Bench 被设计为可通过 task.toml 文件加以扩展，这些文件配有成对的参照输出实现、评测配置以及经临床医师审阅的技能。研究者可以在相同的无技能对照有技能比较、隔离框架和证据标准下增加任务、技能、对照和智能体，以衡量智能体技能在其他临床 EHR 场景中的价值。未来版本应在全部 28 项任务上加入机制对照、由临床医师裁定的目标、多种可接受的派生、更广泛的 eICU 与跨站点任务，以及照护过程任务族。

致谢与资助披露

资助。本项目未获得任何基金资助。LAC 由美国国立卫生研究院通过 DS-I Africa U54 TW012043-01 和 Bridge2AI OT2OD032701、由美国国家科学基金会通过 ITEST #2148451、由 Boston-Korea Innovative Research Project 的一项资助（RS-2024-00403047），以及由大韩民国保健福祉部资助、经 Korea Health Industry Development Institute（KHIDI）实施的 Korea Health Technology R&D Project 的一项资助（RS-2024-00439677）提供经费。

利益冲突。作者声明不存在利益冲突。

参考文献

• Mubashara Akhtar, Omar Benjelloun, Costanza Conforti, Luca Foschini, Pieter Gijsbers, Joan Giner-Miguelez, Sujata Goswami, Nitisha Jain, Michalis Karamousadakis, Satyapriya Krishna, 等. Croissant：一种面向机器学习就绪数据集的元数据格式。 《神经信息处理系统进展》，37:82133–82148，2024。 doi: 10.52202/079017-2610.

• Rafi Al Attrach, Pedro Moreira, Rajna Fani, Renato Umeton, Amelia Fiske, and Leo Anthony Celi. M3：对话式大语言模型简化安全的临床数据访问、理解与分析。 arXiv 预印本 arXiv:2507.01053，2025。

• Roger C Bone, Robert A Balk, Frank B Cerra, R Phillip Dellinger, Alan M Fein, William A Knaus, Roland MH Schein, and William J Sibbald. 脓毒症与器官衰竭的定义，以及脓毒症创新疗法使用指南。 Chest，101(6):1644–1655，1992。 doi: 10.1378/chest.101.6.1644.

• M. E. Charlson, P. Pompei, K. L. Ales, and C. R. MacKenzie. 纵向研究中预后共病分类的新方法：开发与验证。 《慢性疾病杂志》，40(5):373–383，1987。 doi: 10.1016/0021-9681(87)90171-8.

• Simin Chen, Yiming Chen, Zexin Li, Yifan Jiang, Zhongwei Wan, Yixin He, Dezhi Ran, Tianle Gu, Haizhou Li, Tao Xie, and Baishakhi Ray. 数据污染条件下的大语言模型评测：从静态评测到动态评测的综述。 见《2025 年自然语言处理经验方法会议论文集》，第 10080–10098 页，2025。 doi: 10.18653/v1/2025.emnlp-main.511.

• George Hripcsak, Jon D Duke, Nigam H Shah, Christian G Reich, Vojtech Huser, Martijn J Schuemie, Marc A Suchard, Rae Woong Park, Ian Chi Kei Wong, Peter R Rijnbeek, 等. 观察性健康数据科学与信息学（OHDSI）：观察性研究者的机遇。 《健康技术与信息学研究》，216:574–578，2015。 doi: 10.3233/978-1-61499-564-7-574.

• Yixing Jiang, Kameron C Black, Gloria Geng, Danny Park, James Zou, Andrew Y Ng, and Jonathan H Chen. MedAgentBench：用于评测医学大语言模型智能体的虚拟 EHR 环境。 NEJM AI，2(9):AIdbp2500144，2025。 doi: 10.1056/AIdbp2500144.

• Carlos E Jimenez, John Yang, Alexander Wettig, Shunyu Yao, Kexin Pei, Ofir Press, and Karthik R Narasimhan. SWE-bench：语言模型能否解决真实世界的 GitHub 问题？ 见第十二届学习表征国际会议，2024。

• Alistair E. W. Johnson, Tom J. Pollard, and Roger G. Mark. 重症监护中的可复现性：一项死亡率预测案例研究。 见《第二届医疗机器学习会议论文集》，《机器学习研究论文集》第 68 卷，第 361–376 页。PMLR，2017。

• Alistair E. W. Johnson, David J. Stone, Leo A. Celi, and Tom J. Pollard. MIMIC Code Repository：使重症监护研究能够复现。 《美国医学信息学协会杂志》，25(1):32–39，2018 年 1 月。 doi: 10.1093/jamia/ocx084.

• Alistair EW Johnson, Andrew A Kramer, and Gari D Clifford. 使用急性生理与慢性健康评估数据元素子集构建的一种新疾病严重程度量表，显示出相当的预测准确性。 Critical Care Medicine，41(7):1711–1718，2013。 doi: 10.1097/CCM.0b013e31828a24fe.

• Alistair EW Johnson, Lucas Bulgarelli, Lu Shen, Alvin Gayles, Ayad Shammout, Steven Horng, Tom J Pollard, Sicheng Hao, Benjamin Moody, Brian Gow, 等. MIMIC-IV，一个可自由访问的电子健康记录数据集。 Scientific Data，10(1):1，2023。 doi: 10.1038/s41597-022-01899-x.

• Patrick S Kamath, Russell H Wiesner, Michael Malinchoc, Walter Kremers, Terry M Therneau, Catherine L Kosberg, Gennaro D’Amico, E Rolland Dickson, and W Ray Kim. 预测终末期肝病患者生存的模型。 Hepatology，33(2):464–470，2001。 doi: 10.1053/jhep.2001.22172.

• KDIGO Acute Kidney Injury Work Group. KDIGO 急性肾损伤临床实践指南。 《肾脏国际》增刊，2(1):1–138，2012。 URL https://kdigo.org/wp-content/uploads/2016/10/KDIGO-2012-AKI-Guideline-English.pdf.

• Nikhil Khandekar, Qiao Jin, Guangzhi Xiong, Soren Dunn, Serina S Applebaum, Zain Anwar, Maame Sarfo-Gyamfi, Conrad W Safranek, Abid A Anwar, Andrew Zhang, 等. MedCalc-Bench：评测大语言模型的医学计算。 《神经信息处理系统进展》，37:84730–84745，2024。 doi: 10.52202/079017-2690.

• Omar Khattab, Arnav Singhvi, Paridhi Maheshwari, Zhiyuan Zhang, Keshav Santhanam, Sri Vardhamanan A, Saiful Haq, Ashutosh Sharma, Thomas T Joshi, Hanna Moazam, Heather Miller, Matei Zaharia, and Christopher Potts. DSPy：把声明式语言模型调用编译为先进流水线。 见第十二届学习表征国际会议，2024。

• William A Knaus, Douglas P Wagner, Elizabeth A Draper, Jack E Zimmerman, Marilyn Bergner, Paulo G Bastos, Carl A Sirio, Donald J Murphy, Ted Lotring, Anne Damiano, 等. APACHE III 预后系统：危重症住院成人的院内死亡风险预测。 Chest，100(6):1619–1636，1991。 doi: 10.1378/chest.100.6.1619.

• Artus Krohn-Grimberghe. MedCalc-Bench 所测的并不是你所以为的那样：一次基准审计，以及支持开卷评测的理由。 arXiv 预印本 arXiv:2603.02222，2026。

• Jean-Roger Le Gall, Stanley Lemeshow, and Fabienne Saulnier. 基于一项欧洲/北美多中心研究的新简化急性生理学评分（SAPS II）。 JAMA，270(24):2957–2963，1993。 doi: 10.1001/jama.1993.03510240069035.

• Gyubok Lee, Hyeonji Hwang, Seongsu Bae, Yeonsu Kwon, Woncheol Shin, Seongjun Yang, Minjoon Seo, Jong-Yeup Kim, and Edward Choi. EHRSQL：面向电子健康记录的实用文本转 SQL 基准。 《神经信息处理系统进展》，35:15589–15601，2022。 doi: 10.52202/068431-1134.

• Gyubok Lee, Elea Bach, Eric Yang, Tom Pollard, Alistair Johnson, Edward Choi, Yugang Jia, and Jong Ha Lee. FHIR-AgentBench：面向真实可互操作 EHR 问答的大语言模型智能体评测。 见《第五届健康机器学习研讨会论文集》，《机器学习研究论文集》第 297 卷，第 1297–1315 页。PMLR，2026。

• Kwanhyung Lee, Sungsoo Hong, Joonhyung Park, Jeonghyeop Lim, Juhwan Choi, Donghwee Yoon, and Eunho Yang. EMR-AGENT：从 EMR 数据库自动提取队列与特征。 arXiv 预印本 arXiv:2510.00549，2025。

• Dubai Li, Yuxiang He, Yan Hu, Yu Tian, and Jingsong Li. 大语言模型智能体能否生成真实世界证据？对医学数据库中观察性研究的评测。 arXiv 预印本 arXiv:2603.22767，2026a。

• Xiangyi Li, Yimin Liu, Wenbo Chen, Shenghan Zheng, Yifeng He, 等. SkillsBench：评测智能体技能在多样任务上的效果。 见《神经信息处理系统进展》（评测与数据集专题），2026b。 arXiv:2602.12670.

• Anna Ostropolets, Yasser Albogami, Mitchell Conover, Juan M. Banda, William A. Baumgartner, Clair Blacketer, Priyamvada Desai, Scott L. DuVall, Stephen Fortin, James P. Gilbert, 等. 可复现的变异性：评估 9 个研究团队在试图复现同一项观察性研究时的研究者不一致。 《美国医学信息学协会杂志》，30(5):859–868，2023。 doi: 10.1093/jamia/ocad009.

• Tom J Pollard, Alistair EW Johnson, Jesse D Raffa, Leo A Celi, Roger G Mark, and Omar Badawi. eICU 协作研究数据库，一个可自由获取的、用于重症监护研究的多中心数据库。 Scientific Data，5(1):180178，2018。 doi: 10.1038/sdata.2018.178.

• Juan C Rojas, Patrick G Lyons, Kaveri Chhikara, Vaishvik Chaudhari, Sivasubramanium V Bhavani, Muna Nour, Kevin G Buell, Kevin D Smith, Catherine A Gao, Saki Amagai, 等. 面向危重症研究的通用纵向重症监护病房数据格式（CLIF）。 Intensive Care Medicine，51(3):556–569，2025。 doi: 10.1007/s00134-025-07848-7.

• Christopher W. Seymour, Vincent X. Liu, Theodore J. Iwashyna, Frank M. Brunkhorst, Thomas D. Rea, André Scherag, Gordon Rubenfeld, Jeremy M. Kahn, Manu Shankar-Hari, Mervyn Singer, Clifford S. Deutschman, Gabriel J. Escobar, and Derek C. Angus. 脓毒症临床标准评估：面向第三次脓毒症与脓毒性休克国际共识定义（Sepsis-3）。 JAMA，315(8):762–774，2016。 doi: 10.1001/jama.2016.0288.

• Wenqi Shi, Ran Xu, Yuchen Zhuang, Yue Yu, Jieyu Zhang, Hang Wu, Yuanda Zhu, Joyce C Ho, Carl Yang, and May Dongmei Wang. EHRAgent：代码使大语言模型能够在电子健康记录上进行少样本复杂表格推理。 见《2024 年自然语言处理经验方法会议论文集》，第 22315–22339 页，2024。 doi: 10.18653/v1/2024.emnlp-main.1245.

• Mervyn Singer, Clifford S. Deutschman, Christopher Warren Seymour, Manu Shankar-Hari, Djillali Annane, Michael Bauer, Rinaldo Bellomo, Gordon R. Bernard, Jean-Daniel Chiche, Craig M. Coopersmith, Richard S. Hotchkiss, Mitchell M. Levy, John C. Marshall, Greg S. Martin, Steven M. Opal, Gordon D. Rubenfeld, Tom van der Poll, Jean-Louis Vincent, and Derek C. Angus. 第三次脓毒症与脓毒性休克国际共识定义（Sepsis-3）。 JAMA，315(8):801–810，2016 年 2 月。 doi: 10.1001/jama.2016.0287.

• Graham Teasdale and Bryan Jennett. 昏迷与意识障碍评估：一种实用量表。 The Lancet，2(7872):81–84，1974 年 7 月。 doi: 10.1016/S0140-6736(74)91639-0.

• J-L Vincent, Rui Moreno, Jukka Takala, Sheila Willatts, Arnaldo De Mendonça, Hajo Bruining, C Kathryn Reinhart, Peter M Suter, and Lambertius G Thijs. 用以描述器官功能障碍/衰竭的 SOFA（脓毒症相关器官衰竭评估）评分。 Intensive Care Medicine，22(7):707–710，1996。 doi: 10.1007/BF01709751.

• Michael Wornow, Rahul Thapa, Ethan Steinberg, Jason Fries, and Nigam Shah. EHRSHOT：用于基础模型少样本评测的 EHR 基准。 《神经信息处理系统进展》，36:67125–67137，2023。 doi: 10.52202/075280-2933.

• Xiaobao Wu, Liangming Pan, Yuxi Xie, Ruiwen Zhou, Shuai Zhao, Yubo Ma, Mingzhe Du, Rui Mao, Anh Tuan Luu, and William Yang Wang. AntiLeakBench：通过用更新后的真实世界知识自动构建基准来防止数据污染。 见《计算语言学协会第 63 届年会论文集》（第 1 卷：长文），第 18403–18419 页，2025。 doi: 10.18653/v1/2025.acl-long.901.

• Guangzhi Xiong, Qiao Jin, Zhiyong Lu, and Aidong Zhang. 医学检索增强生成评测。 见《计算语言学协会研究成果：ACL 2024》，第 6233–6251 页，2024。 doi: 10.18653/v1/2024.findings-acl.372.

• Xiao Yang, Xuejiao Zhao, and Zhiqi Shen. EHRStruct：在结构化电子健康记录任务上评测大语言模型的综合基准框架。 见《AAAI 人工智能会议论文集》，第 40 卷，第 34340–34348 页，2026。 doi: 10.1609/aaai.v40i40.40731.

• Barry Zhang, Keith Lazuka, and Mahesh Murag. 用 Agent Skills 装备智能体以应对真实世界。 Anthropic，2025a 年 10 月。 URL https://www.anthropic.com/research/equipping-agents-for-the-real-world-with-agent-skills.

• Linghao Zhang, Shilin He, Chaoyun Zhang, Yu Kang, Bowen Li, Chengxing Xie, Junhao Wang, Maoquan Wang, Yufan Huang, Shengyu Fu, 等. SWE-bench 上线了！ 《神经信息处理系统进展》，38:163347–163372，2025b。 doi: 10.52202/085713-4923.

• Jingming Zhuo, Songyang Zhang, Xinyu Fang, Haodong Duan, Dahua Lin, and Kai Chen. ProSA：评估并理解大语言模型的提示敏感性。 见《计算语言学协会研究成果：EMNLP 2024》，第 1950–1976 页，2024。 doi: 10.18653/v1/2024.findings-emnlp.108.

译注：参考文献共 39 条。作者姓名、年份、卷期页码、DOI 与 URL 保留原文。各条中文题名为：等. Croissant：一种面向机器学习就绪数据集的元数据格式；对话式大语言模型简化安全的临床数据访问、理解与分析；脓毒症与器官衰竭的定义，以及脓毒症创新疗法使用指南；纵向研究中预后共病分类的新方法：开发与验证；数据污染条件下的大语言模型评测：从静态评测到动态评测的综述；等. 观察性健康数据科学与信息学（OHDSI）：观察性研究者的机遇；用于评测医学大语言模型智能体的虚拟 EHR 环境；语言模型能否解决真实世界的 GitHub 问题？ 见第十二届学习表征国际会议，2024；重症监护中的可复现性：一项死亡率预测案例研究；使重症监护研究能够复现；使用急性生理与慢性健康评估数据元素子集构建的一种新疾病严重程度量表，显示出相当的预测准确性；等. MIMIC-IV，一个可自由访问的电子健康记录数据集；预测终末期肝病患者生存的模型；急性肾损伤临床实践指南；等. MedCalc-Bench：评测大语言模型的医学计算；把声明式语言模型调用编译为先进流水线；等. APACHE III 预后系统：危重症住院成人的院内死亡风险预测；所测的并不是你所以为的那样：一次基准审计，以及支持开卷评测的理由；基于一项欧洲/北美多中心研究的新简化急性生理学评分（SAPS II）；面向电子健康记录的实用文本转 SQL 基准；面向真实可互操作 EHR 问答的大语言模型智能体评测；从 EMR 数据库自动提取队列与特征；大语言模型智能体能否生成真实世界证据？对医学数据库中观察性研究的评测；等. SkillsBench：评测智能体技能在多样任务上的效果；等. 可复现的变异性：评估 9 个研究团队在试图复现同一项观察性研究时的研究者不一致；协作研究数据库，一个可自由获取的、用于重症监护研究的多中心数据库；等. 面向危重症研究的通用纵向重症监护病房数据格式（CLIF）；脓毒症临床标准评估：面向第三次脓毒症与脓毒性休克国际共识定义（Sepsis-3）；代码使大语言模型能够在电子健康记录上进行少样本复杂表格推理；第三次脓毒症与脓毒性休克国际共识定义（Sepsis-3）；昏迷与意识障碍评估：一种实用量表；用以描述器官功能障碍/衰竭的 SOFA（脓毒症相关器官衰竭评估）评分；用于基础模型少样本评测的 EHR 基准；通过用更新后的真实世界知识自动构建基准来防止数据污染；医学检索增强生成评测；在结构化电子健康记录任务上评测大语言模型的综合基准框架；用 Agent Skills 装备智能体以应对真实世界；等. SWE-bench 上线了！ 《神经信息处理系统进展》，38:163347–163372，2025b；评估并理解大语言模型的提示敏感性。

附录 A 基准细节

任务族。

这 15 个任务族涵盖严重程度评分、神经功能状态、肾与肝功能障碍、共病、感染、呼吸支持、药物以及滚动窗口数据工程。其中十个任务族派生自已发表的评分与定义：SOFA [Vincent et al., 1996]、APS III [Knaus et al., 1991]、SAPS II [Le Gall et al., 1993]、OASIS [Johnson et al., 2013]、GCS [Teasdale and Jennett, 1974]、Charlson 共病指数 [Charlson et al., 1987]、SIRS [Bone et al., 1992]、MELD [Kamath et al., 2001]、KDIGO AKI 分期 [KDIGO Acute Kidney Injury Work Group, 2012]，以及 Sepsis-3 [Singer et al., 2016]。参照 SQL 依照表 7 中的来源依据，把每项定义适配到其数据库。完整任务清单由 benchmark/tasks///task.toml 生成。

译注：十项已发表评分与定义的缩写、作者年份和路径保留原文。