MedHarnessBench：医疗智能体的统一评测基准

MedHarnessBench：医疗智能体评测的统一基准

Rui Tang，香港大学（The University of Hong Kong）。Hongqiu Wang，香港科技大学（广州）（The Hong Kong University of Science and Technology (Guangzhou)）。两位作者的单位按原文顺序著录：第一位是香港大学，第二位是香港科技大学（广州）。

摘要

医疗智能体必须经由异构工具和有状态的工作流，把纵向临床证据转化为可靠行动；在这些条件下，以模型为中心的系统可能丢失上下文、误用工具、未能核验有后果的状态转移，或越过授权边界。现有医疗智能体基准主要强调终态任务结果，因此很难判断执行失败来自智能体模型、运行时 harness，还是二者的交互。我们提出 Medical Harness Protocol，这是一个保持原有结局指标的框架，独立评测七个医疗特有的过程维度：Care Action Fulfillment、Clinical Resource Competence、Patient–Evidence Alignment、Clinical Workflow Continuity、Clinical Auditability、Closed-Loop Verification 和 Clinical Conduct Boundaries。一条规范化的干预轨迹进一步追踪运行时支持是否可用、是否被激活、是否被送达、是否被智能体采纳，以及是否传播到后续行为。我们把该协议实例化为 MedHarnessBench，包含 342 个可执行任务，覆盖 FHIR/EHR 操作、医疗行政界面和多模态临床工具。在超过 16,000 次受控任务执行中，MedHarness 在终态任务成功、中间子任务完成和医疗特有过程质量上带来广泛提升。我们进一步把 MedHarness 与多种通用 harness 比较，并用受控的单故障扰动核验这七维评测的敏感性与区分度。这些结果表明，医疗特有的运行时支持可以同时实质改善任务完成和执行质量，并揭示仅靠终态结果无法捕捉的失败。代码与资源见 https://github.com/Tomry1114/Awesome-Agent-Harness-for-Healthcare。

1 引言

语言模型智能体越来越多地通过交互式工作流运行：检索证据、调用工具、观察反馈，并执行多步行动 [1, 2]。在医疗中，这些工作流跨越纵向患者记录、医学影像、临床消息、行政界面和异构医疗工具 [3, 4]。因此，可靠执行需要恰当的证据与资源使用、连续的工作流状态、对有后果行动的核验，以及对临床与授权边界的遵守 [5, 6]。然而，一个看起来合理的回复仍可能依赖过期证据、未执行的医嘱、未核验的写入或未授权的行动；而局部正确的执行，也可能在最终任务失败时不被承认。

近期的医疗智能体基准把评测从静态答案扩展到可执行的临床、行政和多模态工作流 [7, 8, 9]。但是，终态结果和环境专属检查点，对那个构造上下文、暴露工具、维持状态、支持恢复、核验行动并强制权限的运行时层，只能提供有限证据。于是，由资源不可用、工具使用无效、缺少核验或模型决策错误造成的失败可能看起来无法区分，而不可靠的中间行为也可能藏在任务成功的后面。

我们把这一运行时层形式化为 Medical Harness，并引入 Medical Harness Protocol，用以评测它对医疗智能体执行的贡献。在 Li 等人的 ETCLOVG 分类 [10] 之上，我们把 Execution、Tooling、Context、Lifecycle、Observability、Verification 和 Governance 专门化为 Care Action Fulfillment、Clinical Resource Competence、Patient–Evidence Alignment、Clinical Workflow Continuity、Clinical Auditability、Closed-Loop Verification 和 Clinical Conduct Boundaries。该协议保留每个环境原生的任务指标，同时单独评测这七个医疗特有的过程维度。

我们把该协议实例化为 MedHarnessBench，它汇集来自 PhysicianBench、HealthAdminBench 和 MedCTA 的 342 个可执行任务，覆盖 FHIR/EHR 操作、医疗行政界面和多模态临床工具 [7, 8, 9]。在八个智能体上，MedHarness 使 24 个智能体–环境配置中的 19 个 Pass@3 提高，24 个中的 22 个 Subtask 表现提高。与通用 harness 的比较表明医疗特有运行时支持的价值，而受控的单故障扰动核验了这七个过程维度的敏感性与区分度。

我们的贡献是：

• • Medical Harness。 我们形式化了围绕人工智能智能体、协调临床证据、异构工具、工作流状态、恢复、核验与授权的医疗特有运行时。
• • Medical Harness Protocol。 我们引入七个医疗特有的过程维度，把运行时执行的评测与基准原生的任务表现分开。
• • MedHarnessBench。 我们在 342 个可执行任务上评测八个智能体，通过受控的 Native–MedHarness 比较、通用 harness 基线，以及单故障扰动来完成评测。

2 相关工作

2.1 医疗智能体基准

医疗智能体评测已经从静态问答扩展到交互式、可执行的医疗工作流。AgentClinic 模拟多模态临床诊断 [4]，HealthBench 则用医师撰写的量规评测开放式医疗对话 [5]。更新的基准引入了可操作环境：MedAgentBench 提供与 FHIR 兼容的电子病历设定 [3]；PhysicianBench 评测 100 个长程医师任务 [7]；HealthAdminBench 覆盖 135 个基于图形界面的行政任务 [8]；MedCTA 评测经过临床验证的多模态工具使用 [9]。HealthAgentBench 把评测拓宽到智能体式医疗设定 [11]，$\chi$-Bench 引入策略密集、多角色的工作流 [12]。

这些基准大幅提高了任务真实度，但主要是通过最终答案、环境状态、量规或任务专属检查点，评测完整的智能体配置。这类测量几乎不能把失败归因于模型决策、上下文构造、工具中介、工作流状态管理、核验或授权。MedHarnessBench 针对这一缺口：它保留基准原生的任务评测，同时单独测量围绕模型的、医疗特有的运行时过程。

2.2 智能体 Harness 与运行时评测

语言模型智能体通常通过把推理、行动、工具和环境观察连接起来的运行时循环来工作 [1]。反思、记忆和可复用技能可以在不改变底层模型的情况下改变智能体行为 [2, 13, 14]，而 SWE-agent 表明，围绕模型能力设计交互界面很重要 [15]。这些研究合在一起，把运行时确立为智能体表现的一个实质性组成部分。

近期工作把这一运行时形式化为 agent harness。Natural-Language Agent Harnesses 用可编辑的规格说明和执行契约表示运行时策略 [16]；Harness-Bench 在共享任务和环境之下评测模型–harness 配置 [17]；HarnessAudit 检查藏在良性输出后面的执行与权限违规 [6]。感知 harness 的评测进一步把运行时配置当作明确的实验条件 [18]，而 Li 等人 [10] 用 ETCLOVG 分类组织 harness 功能。这些表述主要面向编码、计算机使用和通用智能体，并不明确处理纵向患者证据、异构医疗工具、持久的临床写入、闭环核验或依赖角色的授权。Medical Harness 把这一运行时抽象专门化到医疗，并使其贡献可以与底层智能体模型分开测量。

3 方法

图 1：MedHarnessBench 总览。医疗智能体在异构证据和界面上工作，而 MedHarness 通过监测、核验、恢复、路由和安全控制，中介它们与临床 API、通用工具、数据库和医学知识的交互。该基准通过七个医疗特有的过程维度评测由 harness 中介的执行：Care Action Fulfillment、Clinical Resource Competence、Patient–Evidence Alignment、Clinical Workflow Continuity、Clinical Auditability、Closed-Loop Verification 和 Clinical Conduct Boundaries。它整合来自 PhysicianBench、HealthAdminBench 和 MedCTA 的 342 个可执行任务，覆盖 FHIR/EHR 操作、临床图形界面工作流和多模态医疗工具使用。

3.1 问题表述

医疗智能体的表现，来自模型与那个提供证据、工具、状态、核验和授权的运行时之间的交互。我们把智能体、harness 配置、可执行环境和任务当作彼此分开的组成部分，从而隔离这一运行时贡献。

令 $A_{i}$ 表示一个医疗智能体，$\mathcal{E}$ 表示一个可执行医疗环境，$x\sim\mathcal{D}_{\mathcal{E}}$ 表示一项任务。每个智能体在两种受控运行时配置下接受评测。Native 配置 $H_{\mathrm{nat}}$ 保留智能体原来的执行界面，而 MedHarness 配置 $H_{\mathrm{med}}$ 在该界面上增加医疗特有的证据获取、工具中介、工作流状态跟踪、监测、恢复、核验和授权控制。

配置 $c$ 下的一次任务执行表示为

$$ \tau_{i}^{c}\sim\operatorname{Run}(A_{i},H_{c},\mathcal{E},x;\xi),\qquad c\in\{\mathrm{nat},\mathrm{med}\}, $$

公式 (1)

其中 $\xi$ 捕捉模型与环境的随机性。每条轨迹记录模型输出、工具或图形界面行动、观察、harness 干预、状态转移、评测检查点，以及持久产物。

在每一对 Native–MedHarness 之内，我们固定任务、智能体、系统提示、工具清单、传输配置、初始环境状态和执行预算，只改变医疗特有的运行时支持。每次运行保留基准原生的 Outcome，沿七个过程维度接受评测，并记录 MedHarness 干预是否激活、是否到达智能体、是否改变其行为，以及是否沿工作流传播。图 1 概括这一受控评测。

3.2 MedHarnessBench

现有医疗智能体基准为任务完成提供环境专属的 Outcome 指标，但对产生这些结果的运行时过程只暴露有限证据。MedHarnessBench 保留这些原生终点，并在执行轨迹之上增加一套共享的过程级协议。由此得到的评测，把智能体达成了什么，与智能体–harness 配置如何达成它分开，从而能做过程诊断，而不替换原来的任务目标。

#### 3.2.1 基准环境

MedHarnessBench 包含来自 PhysicianBench、HealthAdminBench 和 MedCTA 的 342 个任务，同时保留每个基准原生的任务、工具、界面和 Outcome 评测器。PhysicianBench 针对一台在每个任务前恢复的 HAPI-FHIR R4 服务器执行 FHIR/EHR 操作；HealthAdminBench 通过由 Playwright 控制的临床门户评测医疗行政工作流；MedCTA 提供带有影像分析、OCR、检索和计算工具的多模态沙箱。表 1 概括它们的执行设定和 harness 要求。

表 1：MedHarnessBench 中的可执行医疗环境。

一个依基底而定的适配器，把这些异构交互映射到一条共享的语义轨迹，而不改变它们原生的执行语义。该轨迹记录行动角色、执行状态、工作流进度、状态变化、证据来源、核验事件、失败归因和终态。模型生成、环境执行和语义评测保持分开，以区分所提议的行动、已执行的效果和评测器的判断。

#### 3.2.2 医疗过程评测

原生 Outcome 决定一项医疗任务是否成功，但并不指出产生该结果的运行时条件。因此我们用对智能体–harness 轨迹的过程级测量来补充它。在 Li 等人的 ETCLOVG 分类 [10] 之上，我们把其中七层专门化到医疗工作流。四个 Efficiency 维度刻画行动完成、资源使用、证据对齐和工作流连续性，三个 Safety 维度刻画可审计性、核验和临床行为。表 2 概括它们的操作定义。

表 2：MedHarnessBench 中医疗特有的过程维度。

#### 医疗过程的操作化。

我们区分指标选择和轨迹级适用性：前者决定一个指标是否直接确立某个医疗过程维度，后者决定该指标能否在某一次执行中被评测。令 $\mathcal{R}_{d}$ 表示维度 $d$ 的候选指标。被选中的指标集是

$$ \mathcal{K}_{d}=\{r\in\mathcal{R}_{d}:\textsc{Establishes}(r,d)\wedge\textsc{Validated}(r)\}. $$

公式 (2)

这里，Establishes 要求对 $d$ 有直接证据，而 Validated 排除那些引入反向激励或系统性地偏向更弱执行的指标。选择并不要求与 Outcome 相关，因为正确的过程行为与终态任务成功可能分叉。

对一条已实现的轨迹 $\tau$，只有具备有效测量机会的已选指标被激活：

$$ \mathcal{A}_{d}(\tau)=\{r\in\mathcal{K}_{d}:\textsc{Opportunity}_{r}(\tau)\}. $$

公式 (3)

相应的维度分数是

$$ S_{d}(\tau)=\begin{cases}g_{d}(\tau,\mathcal{A}_{d}(\tau)),&\textsc{EvidenceOK}_{d}(\tau),\\ \bot,&\text{otherwise}.\end{cases} $$

公式 (4)

这里，EvidenceOK 要求非空的适用证据和该维度特有的覆盖。Clinical Workflow Continuity 还要求足够的核心工作流证据，而 Clinical Conduct Boundaries 要求有可用的独立评测器。得不到支持的轨迹记为 $\bot$，汇总分数与其适用支持一并报告。

#### 临床工作流效率评测。

四个 Efficiency 维度评测智能体是否完成所要求的照护行动、是否胜任地使用临床资源、是否把证据与预期患者对齐，以及是否在整个工作流中保持连续。

Care Action Fulfillment 把最佳有效必选操作路径的完成 $C_{\mathrm{op}}$，与所发出行动的有效性 $M_{\mathrm{act}}$ 结合起来：

$$ g_{\mathrm{care}}=\begin{cases}C_{\mathrm{op}}[\lambda+(1-\lambda)M_{\mathrm{act}}],&C_{\mathrm{op}}\text{ applicable},\\ M_{\mathrm{act}},&\text{otherwise}.\end{cases} $$

公式 (5)

这一表述使完成成为主导信号：有效行动可以为已达成的完成加分，但不能为未完成的工作创造分数。

Clinical Resource Competence 在所选资源指标上做宏平均：

$$ g_{\mathrm{resource}}=\frac{1}{|\mathcal{A}_{\mathrm{resource}}|}\sum_{r\in\mathcal{A}_{\mathrm{resource}}}\frac{1}{|\mathcal{I}_{r}|}\sum_{i\in\mathcal{I}_{r}}s_{r}(i), $$

公式 (6)

其中 $\mathcal{I}_{r}$ 包含暴露指标 $r$ 的调用事件。先在每个指标内部平均，是为了防止被频繁使用的资源主导分数。

Patient–Evidence Alignment 把所要求证据的召回与对象正确性结合起来：

$$ g_{\mathrm{align}}=w_{R}\frac{|\mathcal{M}(\tau)|}{|\mathcal{U}_{\mathrm{req}}(x)|}+w_{M}\mathbb{1}[\sigma(\tau)=\sigma^{\star}(x)], $$

公式 (7)

其中 $\mathcal{M}(\tau)$ 是所要求证据中被检索到的子集，$\mathcal{U}_{\mathrm{req}}(x)$ 是所要求的证据集，$\sigma^{\star}(x)$ 是预期的临床对象。权重满足 $w_{R}+w_{M}=1$。这一区分防止相关证据在被绑定到错误患者或错误临床语境时仍拿到满分。

Clinical Workflow Continuity 只在由已实现轨迹激活的约束上评测顺序：

$$ s_{\mathrm{order}}=\frac{\sum_{c\in\mathcal{P}(\tau)}\nu_{c}\mathbb{1}[\mathrm{pred}_{c}\prec\mathrm{succ}_{c}]}{\sum_{c\in\mathcal{P}(\tau)}\nu_{c}}, $$

公式 (8)

其中 $\mathcal{P}(\tau)$ 包含其后继事件被观察到的约束，$\nu_{c}$ 是约束 $c$ 的重要性权重。恢复、停滞、就绪和终止按同一基于机会的原则评测。

#### 临床工作流安全评测。

三个 Safety 维度评测医疗智能体的执行是否仍然可审计、是否对有后果的行动做闭环核验，以及是否尊重受保护的临床边界。

Clinical Auditability 在能力族上对可重建性证据做宏平均：

$$ g_{\mathrm{audit}}=\frac{1}{|\mathcal{Q}|}\sum_{q\in\mathcal{Q}}\frac{1}{|\mathcal{F}_{q}|}\sum_{f\in\mathcal{F}_{q}}\bar{s}_{q,f}, $$

公式 (9)

其中 $\mathcal{Q}$ 表示适用的能力族，$\mathcal{F}_{q}$ 包含它们被选中的证据字段。送达保真度和错误透明度被保留为诊断信号，除非它们直接确立可重建性。

Closed-Loop Verification 用随轨迹变化的权重汇总适用的核验证据：

$$ g_{\mathrm{verify}}=\frac{\sum_{r\in\mathcal{A}_{\mathrm{verify}}}w_{r}^{(\tau)}s_{r}}{\sum_{r\in\mathcal{A}_{\mathrm{verify}}}w_{r}^{(\tau)}}. $$

公式 (10)

这些权重把更强的、经过裁决的证据，与可自动检测的确认区分开。仅仅阅读证据或调用一个检查机制，并不能确立一项有后果的行动已被核验。

Clinical Conduct Boundaries 强制受保护信息、对象、来源、范围、风险和报告约束：

$$ g_{\mathrm{conduct}}=\begin{cases}0,&\textsc{CriticalViolation},\\ \bot,&\text{independent evaluator unavailable},\\ \omega G_{\mathrm{rules}}+(1-\omega)B_{\mathrm{subj}},&B_{\mathrm{subj}}\text{ applicable},\\ G_{\mathrm{rules}},&\text{otherwise}.\end{cases} $$

公式 (11)

因此，一次关键违规决定分数；而独立证据不可用时产生 $\bot$，而不是隐含地给分。

1: Agent $A$, task set $\mathcal{X}$, environment $\mathcal{E}$, harness pair $(H_{\mathrm{nat}},H_{\mathrm{med}})$, repetitions $R$
2: Mechanism evidence Mechanism; benefit evidence Benefit
3: $\mathcal{H}_{\Delta}\leftarrow\mathcal{H}(H_{\mathrm{med}})\setminus\mathcal{H}(H_{\mathrm{nat}})$
4: for all $x\in\mathcal{X},\,k=1,\dots,R$ do
5: $\tau_{\mathrm{nat}}\leftarrow\operatorname{Run}(A,H_{\mathrm{nat}},\mathcal{E},x)$
6: $\tau_{\mathrm{med}}\leftarrow\operatorname{Run}(A,H_{\mathrm{med}},\mathcal{E},x)$
7: for all $m\in\mathcal{H}_{\Delta}$ eligible in $\tau_{\mathrm{med}}$ do
8: $\pi_{x,k}(m)\leftarrow\max\{z_{i}^{m}:z_{i}^{m}\text{ is evidenced in }\tau_{\mathrm{med}}\}$
9: end for
10: $\Pi_{x,k}\leftarrow\{m:\pi_{x,k}(m)=z_{5}^{m}\}$
11: $\Delta\mathbf{S}_{x,k}\leftarrow\mathbf{S}(\tau_{\mathrm{med}})-\mathbf{S}(\tau_{\mathrm{nat}})$
12: $\Delta Y_{x,k}\leftarrow Y(\tau_{\mathrm{med}})-Y(\tau_{\mathrm{nat}})$
13: end for
14: for $j=1,\dots,5$ do
15: $\displaystyle\rho_{j}\leftarrow\frac{\#\{(m,x,k):\pi_{x,k}(m)\succeq z_{j}\}}{\#\{(m,x,k):\pi_{x,k}(m)\succeq z_{j-1}\}}$
16: end for
17: $\textsc{Mechanism}\leftarrow(\{\rho_{j}\},\Pr[\Pi_{x,k}\neq\emptyset])$
18: $\textsc{Benefit}\leftarrow\operatorname{PairedTest}(\{\Delta\mathbf{S}_{x,k}\},\{\Delta Y_{x,k}\})$
19: return $(\textsc{Mechanism},\textsc{Benefit})$

算法各行的中文对照（代码行本身保留原文）：

1. 输入为智能体 $A$、任务集 $\mathcal{X}$、环境 $\mathcal{E}$、harness 对 $(H_{\mathrm{nat}},H_{\mathrm{med}})$，以及重复次数 $R$。
2. 输出为机制证据 Mechanism 与收益证据 Benefit。
3. 令 $\mathcal{H}_{\Delta}$ 为 MedHarness 相对 Native 多出来的机制集合。
4. 对所有任务 $x$ 与重复 $k=1,\dots,R$ 循环。
5. 在原生 harness 上运行，得到轨迹 $\tau_{\mathrm{nat}}$。
6. 在 MedHarness 上运行，得到轨迹 $\tau_{\mathrm{med}}$。
7. 对 $\mathcal{H}_{\Delta}$ 中在 $\tau_{\mathrm{med}}$ 里具备资格的每个干预 $m$ 循环。
8. 令 $\pi_{x,k}(m)$ 为该轨迹中有证据支持的最深状态 $z_i^m$。
9. 结束这一层循环。
10. 令 $\Pi_{x,k}$ 为到达最终行为状态 $z_5^m$ 的干预集合。
11. 过程分数差为 MedHarness 轨迹的分数减去 Native 轨迹的分数。
12. 结局差为两条轨迹的 Outcome 之差。
13. 结束任务与重复的循环。
14. 对阶段 $j=1,\dots,5$ 循环。
15. $\rho_j$ 是到达至少状态 $z_j$ 的次数，除以到达至少状态 $z_{j-1}$ 的次数。
16. 结束阶段循环。
17. 机制证据由各 $\rho_j$ 以及干预集合非空的概率组成。
18. 收益证据由对过程分数差和结局差所做的配对检验给出。
19. 返回机制证据与收益证据。

算法 1：Harness 干预动态的轨迹追踪

在选择阶段被排除的指标仍可用于诊断分析，但不计入所报告的过程分数。例如，证据精确率可能奖励检索更少的事实，泛泛的检查事件可能并不能确立闭环核验，而当智能体直接使用结构化证据时，显式采纳也可能并非必要。因此，原生 Outcome 与七个过程维度分开报告。

#### 3.2.3 Harness 干预动态的轨迹追踪

Efficiency 和 Safety 定位过程质量，但并不显示一次 MedHarness 干预是否真正到达并影响智能体。因此我们把每一次干预 $m$ 表示为一个轨迹级传播过程：

$$ z_{0}^{m}\rightarrow z_{1}^{m}\rightarrow z_{2}^{m}\rightarrow z_{3}^{m}\rightarrow z_{4}^{m}\rightarrow z_{5}^{m}. $$

公式 (12)

其中 $z_{i}^{m}$ 表示第 $i$ 个状态：eligible、fired、control-acquired、delivered、uptake 和 behavior。每一次转移都提供更强的下游证据，表明该干预已经沿执行循环传播。检查点和终态结果仍然是外部评测信号，通过成对比较来量化，而不被当作传播状态。算法 1 把这一过程形式化。

4 实验设置

#### 模型与配置。

我们评测来自七家提供方的八个基于 API 的智能体：OpenAI 的 GPT-5.5 [19] 和 GPT-5.4 [20]，Qwen 的 Qwen3.7-Max [21]，Anthropic 的 Claude Sonnet 5 [22]，Moonshot AI 的 Kimi K2.7 Code [23]，DeepSeek AI 的 DeepSeek-V4-Flash [24]，MiniMax 的 MiniMax-M3 [25]，以及 Google DeepMind 的 Gemini 3 Flash [26]。所有模型都不做参数更新或任务专属微调。依照第 3 节，我们比较基准原生运行时 $H_{\mathrm{nat}}$ 与医疗特有的 MedHarness 运行时 $H_{\mathrm{med}}$。在每一对之内，任务、模型、系统提示、工具清单、传输和执行预算保持固定。每种配置运行三次，每次运行都从一段新的对话和一份已恢复的环境快照开始。PhysicianBench 和 HealthAdminBench 每个任务最多允许 100 次环境行动，MedCTA 允许 10 次，每一轮模型输出上限为 16,000 个输出 token。

#### 指标。

依照 PhysicianBench [7]，我们对每个任务 $x$ 用三次独立运行估计经验上的单次成功概率 $p_{x}$，并计算 $\mathrm{Pass@3}_{x}=1-(1-p_{x})^{3}$。所报告的 Pass@3 在任务上做宏平均。Subtask 表现以及 F/R/E/W/A/V/B 中的每个过程分数，都在三次运行上平均。过程汇总只纳入具有适用且充分证据的轨迹，其评测支持另行报告。对受控扰动研究，我们报告目标敏感性、选择性、平衡准确率、宏 F1、置换显著性和自助置信区间。

5 结果与分析

5.1 MedHarness 在各智能体与医疗环境上的表现

第一个实验考察医疗特有的运行时支持是否能跨模型和环境改善智能体执行。我们在八个智能体和三个医疗环境上比较 Native 与 MedHarness，在其余条件固定时测量终态成功、中间完成和过程质量。如表 3 所示，MedHarness 使 24 个智能体–环境配置中的 19 个 Pass@3 提高，24 个中的 22 个 Subtask 表现提高。Patient–Evidence Alignment 在全部 24 个配置中提高，Closed-Loop Verification 在 23 个中提高，Care Action Fulfillment 在 22 个中提高。然而收益在不同评测层次上并不相同。对 HealthAdminBench 上的 GPT-5.4，Subtask 从 0.543 升到 0.633，而 Pass@3 从 0.267 降到 0.105；在 PhysicianBench 上，Pass@3 从 0.330 升到 0.360，而 Subtask 从 0.777 降到 0.732。这一分叉表明，终态、中间和过程表现捕捉的是 MedHarness 互补的效应。

表 3：八个智能体、三个医疗环境上 Native 与 MedHarness 的表现。Pass@3 测量终态任务成功，Subtask 测量中间任务完成，F/R/E/W/A/V/B 表示七个医疗特有的过程维度。括号中的值是相对 Native 的变化。粗体表示每个环境和每种运行时配置内的最佳分数。

表 3 的读法如下。每一行是一个被评测模型。左半九列属于原生运行时 Native，右半九列属于 Medical Harness。每一半的列顺序都是：终态成功率 Pass@3、中间完成 Subtask、照护行动完成 F、临床资源能力 R、患者与证据对齐 E、临床工作流连续性 W、临床可审计性 A、闭环核验 V、临床行为边界 B。括号中的增量或减量是相对同一模型在 Native 下的变化。三个分组行分别标出 HealthAdminBench（135 个任务）、PhysicianBench（100 个任务）和 MedCTA（107 个任务）。粗体标出的是该环境、该运行时配置内部的最佳分数。表中的数值、模型名和正负号都按原表保留，不另作四舍五入。分组行不是模型分数，只用来标出环境名称和任务数。

5.2 与通用 Harness 的比较

第二个实验检验医疗特有的 harness 设计，是否提供超出通用运行时支持的收益。以 GPT-5.5 为目标智能体，我们在 60 个任务上把 MedHarness 与 Claude Code、NeMo Guardrails 和 OpenAI Agents SDK 比较；这 60 个任务是对每个基准的原生任务类别做分层、每个环境抽取 20 个任务得到的。表 4 显示，MedHarness 在三个基准上都提高了相对 Native 的 Pass@3 和 Subtask，并在每个环境中取得最高的平均过程分数。通用 harness 只改善了九次 Pass@3 比较中的三次，以及九次 Subtask 比较中的两次，表明孤立的过程收益并不会稳定地转化为医疗任务完成。

表 4：以 GPT-5.5 为目标智能体，MedHarness 与通用 harness 的比较。对每个医疗环境，按原生任务类别分层抽样选出 20 个任务。Pass@3 测量终态任务成功，Subtask 测量中间任务完成，F/R/E/W/A/V/B 表示七个医疗特有的过程维度。Avg. 是七个过程分数的均值。粗体表示每个环境内的最佳分数。

5.3 过程失败的敏感性与区分度

第三个实验评测这七个过程维度是否对其预期失败敏感，并是否有足够的区分度来做故障定位。我们在每条适用的干净轨迹中引入一个受控失败，同时保留终态答案和无关证据。表 5 概括七类干预。

表 5：用于评测七个过程维度的单故障干预。F/R/E/W 表示四个 Efficiency 维度，A/V/B 表示三个 Safety 维度。每项干预都按基准环境改编，同时保持同一失败语义。

对每一对干净–扰动轨迹，我们计算每个适用过程分数的下降。因为过程维度具有第 3 节所定义的轨迹级适用性，这些下降在各维度上不必共享同一支持：一个作出响应的维度，只有当干净轨迹和扰动轨迹都为该维度提供充分证据时，才计入汇总。因此图 2(a) 对每个注入故障和每个响应维度，报告在该响应维度适用支持上、经基准平衡后的平均下降。

选择性定义在配对层面，而不是从汇总后的响应矩阵得出。对目标维度为 $d^{\star}$ 的一对干净–扰动轨迹，选择性边际是

$$ m=\Delta S_{d^{\star}}-\max_{d\neq d^{\star},\;d\in\mathcal{C}}\Delta S_{d}, $$

其中 $\mathcal{C}$ 表示对该配对共同可比的非目标维度。这些配对层面的边际随后跨基准汇总。因此，表 6 中的选择性数值，并不是用图 2(a) 的对角均值减去最大的非对角均值得到的，因为相应的量可以在不同的有效支持上计算。

敏感性由目标维度的响应决定，区分度则通过用下降最大的那个维度来预测所注入的失败而评测。图 2 和表 6 显示，对全部七类故障，目标维度都产生最大的平均下降，每一个目标下降和选择性边际的置信区间都不含零。故障定位达到经基准平衡的准确率 0.756 和宏 F1 0.706，显著高于置换标签（$p=0.001$）。Patient–Evidence Alignment 与 Clinical Conduct Boundaries 是最容易混淆的维度，召回率分别为 0.462 和 0.514。

图 2：受控单故障扰动下的过程失败敏感性与区分度。(a) 对每个注入失败和每个响应维度，在该响应维度的适用支持上计算的、经基准平衡的平均分数下降。目标维度在全部七行中都是最大响应。(b) 用观察到分数下降最大的维度来预测所注入失败，得到的、经基准平衡的故障定位混淆矩阵。行按注入的失败类别归一化。

表 6：受控单故障扰动下的敏感性与选择性。目标下降表示目标过程维度上、经基准平衡的下降。选择性边际对每一对干净–扰动轨迹计算，为目标维度下降减去共同可比的非目标维度中的最大下降，然后跨基准汇总。方括号报告 95% 自助置信区间。

6 讨论

结果表明，Medical Harness 提供了一个有效的、医疗特有的运行时层，用以围绕医疗智能体协调证据、工具、工作流状态、核验和授权。MedHarness 使 24 个智能体–环境配置中的 19 个 Outcome 提高，24 个中的 22 个 Subtask 表现提高，尽管其效应随智能体、环境和过程维度而变化。这种变化反映了智能体在使用工具、维持状态、响应运行时支持，以及把干预传播到后续行动上的差异，也反映了 FHIR/EHR 操作、临床图形界面工作流和多模态工具使用的不同要求。Medical Harness Protocol 通过评测 Care Action Fulfillment、Clinical Resource Competence、Patient–Evidence Alignment、Clinical Workflow Continuity、Clinical Auditability、Closed-Loop Verification 和 Clinical Conduct Boundaries，进一步揭示这些效应出现在何处。这些维度既暴露那些没有导向终态成功的中间改进，也暴露那些掩盖了不完整、未核验或违反边界之行为的成功结局。尽管如此，MedHarnessBench 只包含来自三个受控研究环境的 342 个任务，并不代表医院工作流、工具模式、机构政策或临床意外情况的全部多样性。某些过程维度还依赖自动评测器或基于大语言模型的评测器，而单个 harness 机制可能影响多个维度。因此，当前发现把 Medical Harness 验证为一个可测量的研究框架，但并不确立临床部署就绪、监管合规，或真实照护中的患者安全有效性。

7 结论

我们给出了 Medical Harness，一个医疗特有的运行时框架，它围绕医疗智能体协调临床证据、异构工具、工作流状态、监测、恢复、核验和授权。为评测这一框架，我们引入 Medical Harness Protocol，它定义七个医疗特有的过程维度，并追踪 harness 干预如何在临床工作流中被激活、送达、采纳和传播。我们进一步把该协议实例化为 MedHarnessBench，包含 342 个可执行任务，覆盖 FHIR/EHR 操作、医疗行政界面和多模态临床工具。在八个智能体上，MedHarness 同时改善终态任务表现和中间执行；与通用 harness 的比较以及受控单故障扰动，表明所提出框架的价值和诊断敏感性。这些结果把 Medical Harness 确立为一个可测量的运行时层，用以识别并改进常规终态评测无法暴露的执行失败。

参考文献

[1] S. Yao、J. Zhao、D. Yu、N. Du、I. Shafran、K. R. Narasimhan 与 Y. Cao（2023）ReAct：在语言模型中协同推理与行动。载于 International Conference on Learning Representations。被引于：§1、§2.2。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[2] N. Shinn、F. Cassano、A. Gopinath、K. Narasimhan 与 S. Yao（2023）Reflexion：带言语强化学习的语言智能体。载于 Advances in Neural Information Processing Systems，第 36 卷。被引于：§1、§2.2。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[3] Y. Jiang、K. C. Black、G. Geng、D. Park、J. Zou、A. Y. Ng 与 J. H. Chen（2025）MedAgentBench：用于基准测试医疗大语言模型智能体的真实虚拟电子病历环境。NEJM AI 2。外部链接：Document。被引于：§1、§2.1。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[4] S. Schmidgall、R. Ziaei、C. Harris、E. Reis、J. Jopling 与 M. Moor（2024）AgentClinic：在模拟临床环境中评测人工智能的多模态智能体基准。arXiv 预印本 arXiv:2405.07960。被引于：§1、§2.1。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[5] R. K. Arora、J. Wei、R. S. Hicks、P. Bowman、J. Quiñonero-Candela、F. Tsimpourlas、M. Sharman、M. Shah、A. Vallone、A. Beutel、J. Heidecke 与 K. Singhal（2025）HealthBench：面向改善人类健康评测大语言模型。arXiv 预印本 arXiv:2505.08775。被引于：§1、§2.1。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[6] C. Liu、Y. Guo、Y. Liu、Y. Yang、Q. Yan、X. Zhao、W. Hua、S. Liu、S. Li、Y. Bu 与 X. E. Wang（2026）审计智能体 harness 的安全。arXiv 预印本 arXiv:2605.14271。被引于：§1、§2.2。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[7] R. Liu、I. Q. Mohiuddin、A. J. Schoeffler、K. Renduchintala、A. Nayak、P. L. Vemu、S. C. Vedak、K. C. Black、J. L. Havlik、I. Ogunmola、S. P. Ma、R. Dhatt 与 J. H. Chen（2026）PhysicianBench：在真实世界电子病历环境中评测大语言模型智能体。arXiv 预印本 arXiv:2605.02240。被引于：§1、§1、§2.1、§4。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[8] S. Bedi、R. Welch、E. Steinberg、M. Wornow、T. M. Kim、H. Ahmed、P. Sterling、B. Purohit、Q. Akram、A. Acosta、E. Nubla、P. Sharma、M. A. Pfeffer、S. Koyejo 与 N. H. Shah（2026）HealthAdminBench：在医疗行政任务上评测计算机使用智能体。arXiv 预印本 arXiv:2604.09937。被引于：§1、§1、§2.1。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[9] T. Ashraf、H. Jeong、F. M. Thoker 与 B. Ghanem（2026）MedCTA：临床工具智能体基准。arXiv 预印本 arXiv:2606.11702。被引于：§1、§1、§2.1。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[10] J. Li、X. Xiao、Y. Zhang、C. Liu、L. Zhao、X. Liao、Y. Ji、J. Wang、Y. Ge、W. Xu、X. Fang、X. Xu、T. Zhao、Y. Kim、J. Hamm、T. Wang 与 C. K. Reddy（2026）智能体 harness 工程：一项综述。注：OpenReview 预印本。外部链接：Link。被引于：§1、§2.2、§3.2.2。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[11] Q. Liu、S. Zhang、G. Qin、J. M. J. Valanarasu、M. Rokuss、M. Lu、T. Ossowski、J. M. Z. Chaves、C. Wong、P. Argaw、Y. Hasija、M. Wei、W. Yim、Q. Liu、Z. Jing、J. Entenmann、N. Usuyama、T. Naumann 与 H. Poon（2026）HealthAgentBench：用于挑战前沿人工智能智能体的、真实智能体式医疗环境统一基准套件。arXiv 预印本 arXiv:2606.31179。被引于：§2.1。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[12] H. Chen、D. Metelski、L. Qi、T. Xia、J. Lee、S. Brown、K. Riley、F. Wang、T. Y. A. Liu、H. Capps 等（2026）$\chi$-Bench：人工智能智能体能自动化端到端、长程、策略密集的医疗工作流吗？arXiv 预印本 arXiv:2605.16679。被引于：§2.1。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[13] G. Wang、Y. Xie、Y. Jiang、A. Mandlekar、C. Xiao、Y. Zhu、L. Fan 与 A. Anandkumar（2023）Voyager：带大语言模型的开放式具身智能体。arXiv 预印本 arXiv:2305.16291。被引于：§2.2。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[14] A. Zhao、D. Huang、Q. Xu、M. Lin、Y. Liu 与 G. Huang（2023）ExpeL：大语言模型智能体是经验学习者。arXiv 预印本 arXiv:2308.10144。外部链接：Link。被引于：§2.2。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[15] J. Yang、C. E. Jimenez、A. Wettig、K. Lieret、S. Yao、K. Narasimhan 与 O. Press（2024）SWE-agent：智能体–计算机界面使自动化软件工程成为可能。载于 Advances in Neural Information Processing Systems。外部链接：Link。被引于：§2.2。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[16] L. Pan、L. Zou、S. Guo、J. Ni 与 H. Zheng（2026）自然语言智能体 harness。arXiv 预印本 arXiv:2603.25723。被引于：§2.2。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[17] Y. Yao、X. Tan、C. Liu、Y. Li、Z. Wang、W. Yu、Z. Tan、Y. Tian、G. Zhao、L. Sun、X. Zhang 与 T. Yang（2026）Harness-bench：在真实智能体工作流中跨模型测量 harness 效应。arXiv 预印本 arXiv:2605.27922。被引于：§2.2。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[18] Y. Zhang、J. Wang、Y. Ge、W. Xu、J. Hamm 与 C. K. Reddy（2026）在不披露 harness 的情况下，停止比较大语言模型智能体。arXiv 预印本 arXiv:2605.23950。被引于：§2.2。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[19] OpenAI（2026）GPT-5.5 系统卡。注：https://openai.com/index/gpt-5-5-system-card/ 访问日期：2026-07-30。被引于：§4。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[20] OpenAI（2026）GPT-5.4 thinking 系统卡。注：https://openai.com/index/gpt-5-4-thinking-system-card/ 访问日期：2026-07-30。被引于：§4。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[21] Qwen Team（2026）Qwen3.7：智能体前沿。注：https://qwen.ai/blog?id=qwen3.7 访问日期：2026-07-30。被引于：§4。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[22] Anthropic（2026）Claude Sonnet 5 系统卡。注：https://www.anthropic.com/claude-sonnet-5-system-card 访问日期：2026-07-30。被引于：§4。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[23] Moonshot AI（2026）Kimi K2.7 Code 模型卡。注：https://huggingface.co/moonshotai/Kimi-K2.7-Code 访问日期：2026-07-30。被引于：§4。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[24] DeepSeek-AI（2026）DeepSeek V4 技术文档。注：https://fe-static.deepseek.com/chat/transparency/deepseek-V4-model-card-EN.pdf 访问日期：2026-07-30。被引于：§4。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[25] MiniMax（2026）MiniMax M3：前沿编码、100 万上下文、原生多模态，集于一个模型。注：https://www.minimax.io/blog/minimax-m3 访问日期：2026-07-30。被引于：§4。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。

[26] Google DeepMind（2025）Gemini 3 Flash 模型卡。注：https://deepmind.google/models/model-cards/ 更新于 2025 年 12 月 17 日。被引于：§4。

译注：本条的作者姓名、模型名、网址、arXiv 编号和章节号按原文保留，不音译；年份、题名、出处和“被引于”已译成中文，作者顺序与原文一致。