OpenGray：放疗计划智能体的总分盖住了决策失败

OpenGray：评测放疗计划智能体决策的基准†

Humza Nusrat 通讯作者：Humza Nusrat，放射肿瘤科，亨利·福特健康，Brigitte Harris Cancer Pavilion，2800 W. Grand Blvd, Detroit, MI 48202, USA；hnusrat1@hfhs.org。所属单位：放射肿瘤科，亨利·福特健康，底特律，密歇根州，美国。所属单位：放射科，人类医学院，密歇根州立大学，东兰辛，密歇根州，美国。

Kundan Thind 所属单位：放射肿瘤科，亨利·福特健康，底特律，密歇根州，美国。所属单位：放射科，人类医学院，密歇根州立大学，东兰辛，密歇根州，美国。

摘要

背景与目的：基于大语言模型（large language models, LLMs）的放疗计划智能体决定何时提交一份计划或请求复核，但它们主要按剂量受到评价。本研究开发了 OpenGray，这是一套具有已知正确决策的计划任务基准。

材料与方法：OpenGray 在 OpenKBP-Opt 头颈部数据集上增加了具有已知答案的任务，其中包括两项已被证明与剂量目标不相容的矛盾，以及一项可行对照，其中有一份存储的计划满足每一项硬目标。从基于规则的计划脚本到完整的 LLM 智能体，共四个系统在 30 例患者上接受评价；基于 LLM 的系统分别使用一个商业大语言模型（Terra）和一个本地大语言模型（Ministral 3 8B）。决策、所达到的剂量、问题识别以及技术失败均被记录，并且也从 SAGE 这一临床 LLM 智能体的 39 次立体定向放射外科运行的日志中读取。

结果：在使用 Terra 时，前面加有一次 LLM 复核的脚本与完整智能体的决策准确率分别为 95.4% 与 92.1%，然而它们对重叠矛盾分别只升级了 50%（95% 置信区间，25–75%）与 25%（10–40%），而这些重叠矛盾要求在解剖上进行算术运算。全部四个系统都提交了每一项可行对照，但这些计划中有 24% 错过了一项存储计划已经满足的硬目标。在四次 SAGE 运行中，有一个目标在每一次尝试时都失败；智能体在每一次回复中都识别出了该目标，但没有用于停止的动作。

结论：有利的汇总分数掩盖了特定的决策失败。计划智能体既应就其决策、也应就其剂量受到评价，并应被赋予一个用于停止并请求复核的明确动作。

1 引言

自动化放疗计划方法通常按剂量学质量、计划时间、医师偏好以及临床可接受性来评价 [1, 2, 3]。最近，基于大语言模型（large language models, LLMs）的计划智能体已被赋予解释计划请求、选择优化目标以及决定一份计划何时完成的责任 [4, 5, 6, 7]，然而它们大体上仍以同样的方式受到评价，也就是把它们所做计划的剂量与临床计划或参考计划的剂量相比较。但是，当这些智能体承担起计划过程中更多的环节时，它们也会做出最终剂量无法揭示的决策，例如某一请求究竟能否被满足、是否继续优化，以及是提交一份计划还是请求物理师复核。

这些决策在请求存在缺陷时最为要紧，例如当某一必需结构缺失、一条医师注释与正式计划目标相矛盾，或者两个剂量目标不能同时被满足时。设计良好的智能体会停止，并把这样的请求转交复核，此处称之为升级；而设计不良的智能体则可能继续去优化一项无法被满足的请求，或者提交一份未达到其目标的计划。鉴于这样一份计划无法表明究竟是请求本身不可能，还是优化不充分，要判断其背后的那一项决策，就必须事先知道正确答案。

若干相关的保障措施已经得到描述：自动化计划检查软件识别结构性错误与剂量学错误 [8]，一些计划智能体校验其自身的参数更新，或把监督性复核包括在内 [6, 9, 10]，而数学方法则在逆向计划中检测不相容的约束 [11]。然而，要评价决策本身，就需要正确决策为已知的任务；公开的 OpenKBP 与 OpenKBP-Opt 数据集使之成为可能 [12, 13]，因为它们的剂量影响矩阵允许任意计划的剂量被精确地重新计算，并且某些相互冲突的请求可以仅凭解剖就被证明为不可能。诸如 AgentClinic 这样的交互式基准，已经在医学的其他领域评价智能体的序贯决策 [14]。

那些已经计划过临床病例的智能体很难在一项基准上重新运行，因为它们通常在商业治疗计划系统之内工作；然而，它们的计划日志记录每一次请求、每一次对目标函数所提议的更改以及由此产生的剂量，从中可以读出与基准相类似的结局。本工作的目的，是开发 OpenGray 这一具有已知正确决策的计划任务基准，用它来确定有利的汇总分数是否掩盖了特定的决策失败，并把同样的结局应用于 SAGE 的计划日志；SAGE 是一个先前已在前列腺计划 [6] 与立体定向放射外科（stereotactic radiosurgery, SRS）计划 [15] 中受到评价的 LLM 计划智能体。

2 材料与方法

2.1 基准数据与计划函数

图1：OpenGray 及其两项应用。(a) 数据：在 100 例 OpenKBP-Opt 病例中，10 例用于开发这些系统，30 例用于评价这些系统，另有 60 例只用于校准一项计划质量评分；39 次 SAGE 运行是从其计划日志中读取的。(b) 计划接口：每一个计划系统都只通过测试框架来行动，该测试框架执行所请求的计划函数，并返回病例摘要与剂量。(c) 四项结局，以及每一项结局在基准上如何获得、又如何从计划日志中获得。每一项基准任务的正确决策是已知的，但一项已记入日志的临床请求则并非如此。

OpenGray 建立在 OpenKBP-Opt 数据集的 100 例头颈部病例之上 [13]。每一例都包括结构掩膜、处方、射束几何，以及一个剂量影响矩阵 $A$，因此任意非负射束元通量 $x$ 的剂量由 $d=Ax$ 给出。这些系统在 10 例上开发，并在另外 30 例上评价（图1(a)）；其余 60 例只用于校准一项计划质量评分（补充章节 S1.2 与 S2）。

每一个系统都通过九个函数来做计划。这些函数读取病例摘要，设置优化目标，优化通量，报告剂量指标与剂量体积直方图，把它们与目标相比较，对计划做归一化，并提交计划或升级该任务（图1(b)）。每一项任务都由一个测试框架来运行，也就是这样的软件：它把病例呈现给系统，执行每一个被请求的计划函数，并连同由此产生的剂量一起记录每一步。病例摘要列出结构、处方、计划目标与医师注释，并给出每一结构的体积及其与每一个靶区的重叠和距离；每一项任务允许 15 次计划动作，以及最多三次、每次最多 500 次迭代的优化。

2.2 具有已知答案的任务

表1：基准的六项任务及其预期决策。

对每一例评价患者，最多构建六项任务（表1），即采用默认目标的常规计划、一条与正式目标相矛盾的医师注释、一项针对该病例并不包含之结构的目标，以及三项用来检验系统能否把一项不可能的请求与一项困难的请求区分开来的任务。

在覆盖/上限矛盾中，靶区 D99 目标被提高到 78.0 或 78.5 Gy，高于 External（体轮廓）最大剂量 77 Gy 的限值；这一冲突从两个已陈述的数值即可看出。在重叠矛盾中，与下颌骨共享的组织被要求接受高靶区剂量，而下颌骨的目标所允许的高剂量过少，于是每一个共享体素要么使靶区剂量不足，要么使下颌骨剂量过高，而这一冲突必须从解剖中演算出来。因此，若有 $O$ 个体素被共享，而目标最多允许 $m$ 个剂量不足的靶区体素和 $n$ 个剂量过高的下颌骨体素，则 $O>m+n$ 证明没有任何计划能够同时满足两项目标。

第三项任务是可行对照，它困难但可以达成：其脊髓限值被收紧到这样一个数值，使得一份用同一优化器与同一预算找到的存储计划，在满足该限值的同时，也满足了每一项其他硬目标。无法被构建或无法被验证的任务被排除（表1），而每一份证明与每一份存储计划都经独立重建加以确认（补充章节 S5）。

2.3 计划系统

四个系统的差别在于，计划中有多少部分由一个 LLM 来决定（图1(b)）。第一个系统是控制器，它是一个基于规则的计划脚本，根据目标设置目标函数，在每一次优化之后调整它们的优先级，并对计划做归一化。第二个系统在把任务交给控制器之前，增加了针对缺失结构以及两类矛盾的手写算术检查，因而表明当冲突事先已知时可以达到什么程度。在第三个系统即解释器中，一个 LLM 对请求复核一次，然后或者升级它，或者把它交给控制器；在第四个系统即完整智能体中，LLM 自己执行每一个计划步骤。

两个基于 LLM 的系统被给予同一项计划策略，即：当注释与正式目标相矛盾时遵循正式目标；对缺失结构上的目标予以升级；一旦硬目标之间的不相容已被证明，就把请求作为不可行而升级；否则在预算之内做计划，并报告任何未满足的目标。每一个系统都对每一项任务、用两个 LLM 中的每一个各运行两次：Terra（openai/gpt-5.6-terra）是一个在线访问的大型商业模型，Ministral 3 8B（Mistral AI，巴黎，法国）是一个较小的、可公开获得的模型，在台式工作站上运行（补充章节 S1.4 与 S9.3）。脚本系统对每一项任务运行一次，并且控制器在可行对照上以每次优化 2,000 次与 5,000 次迭代重新运行。

2.4 结局

对每一次尝试都记录四项结局（图1(c)）。第一项是最终决策，也就是系统是提交了一份计划还是升级了该任务；决策准确率是在四项计分任务上做出预期决策的尝试所占的百分比（表1）。在一项矛盾上的提交即使列出了未满足的目标也不给分，因为没有任何计划能够满足它们；而在一项可行对照上的提交则不论其剂量如何都给分。决策准确率在每一例患者之内取平均，患者被赋予相等的权重，95% 置信区间（confidence intervals, CIs）由对患者做 10,000 次自助重抽样来估计。

第二项结局是剂量目标达成，它根据每一份所提交计划的剂量来评定。该剂量由其通量重新计算，并对照靶区 D99、器官 D0.1cc 以及 External 最大剂量上的硬目标（补充表 S15）。第三项是识别，即伴随一项决策的解释是否指出了实际问题；它对每一次重叠尝试加以阅读，并由一名医学物理师在 60 份回复的样本中评分（补充章节 S3）。第四项包括技术失败，例如软件错误、未遵循所要求格式的回复，以及由测试框架结束的尝试；这些尝试不得分，也不被重复。

2.5 临床智能体的计划日志

同样的结局从 SAGE 的计划日志中获得 [15]。SAGE 在 Eclipse（Varian Medical Systems，Palo Alto，CA）中计划此处所检查的 SRS 病例，使用 QwQ-32B 推理 LLM，并按一系列编了号的尝试进行。在每一次尝试中，LLM 被给予每一个目标的当前值以及至多三次先前尝试的结果，陈述哪些目标失败，并提出新的目标函数优先级；Eclipse 以此优化计划并计算剂量。一旦每一个目标都通过，运行即结束，否则在 10 次尝试之后结束。

可用记录中的全部 39 次 SAGE 运行都经过检查。它们来自 31 例患者，处方为单次 21 Gy，计划时间在 2026 年 7 月至 9 月之间，其中包括两次在先前一次运行未能满足每一个目标之后重新开始的精修运行。最终决策取自每一次运行如何结束，剂量目标达成取自每一次剂量计算之后的目标值，识别取自 LLM 所点名的失败目标是否与它被展示的那些目标相符，技术失败则取自每一项提议是否到达 Eclipse 并产生剂量（补充章节 S7）。这项回顾性分析得到机构审查委员会批准（方案 18702），该委员会豁免了知情同意的要求。

3 结果

3.1 决策准确率

图2：30 例评价患者上的决策准确率。(a) 在四项计分任务上的决策准确率，于每一例患者之内取平均，患者被赋予相等权重。(b) 每一项计分任务上的决策准确率，并给出合格患者人数；误差线表示 95% 患者自助置信区间，0 标记一个从未做出预期决策的系统。基于 LLM 的系统分别用 Terra（实心条）和 Ministral 3 8B（斜线条）运行；技术失败，包括未遵循所要求格式的回复，不得分。

如图2所示，在使用 Terra 时，解释器的决策准确率为 95.4%，完整智能体为 92.1%，而算术检查为 99.2%，单独的控制器为 60.0%。两个基于 LLM 的系统都识别出请求中所陈述的问题：它们升级了每一项缺失结构任务，并升级了几乎每一项覆盖/上限矛盾（分别为 100% 与 96.6%），而且在 60 次尝试中的 60 次与 59 次里标记了相矛盾的注释或予以升级。然而，在必须从解剖中演算出来的重叠矛盾上，解释器只升级了 50%（95% CI，25–75%）的尝试，完整智能体只升级了 25%（10–40%）；而根据同一份病例摘要工作的算术检查，则升级了 10 项中的 9 项。

图3：可行对照与重叠矛盾。(a) 每一次可行对照尝试的结局：在满足每一项硬剂量目标的情况下提交，在某一硬目标未满足的情况下提交，或未提交，并给出满足每一项硬目标的次数。基于 LLM 的系统对每一项对照做两次尝试；把任务交给控制器的系统提交控制器的计划；具有 2,000 次迭代的控制器给出与 5,000 次迭代相同的结果（补充表 S17）。(b) 在 10 项重叠矛盾的每一次尝试中的最终决策，并给出作为矛盾而被升级的次数。(c) 在每一项重叠任务上作为矛盾而被升级的尝试百分比；任务按共享体素超出合并容许量的程度（计数裕度）排序；0 表示没有这样的升级。

即便在共享体素至少超出合并容许量 20 个体素的九项任务上，解释器在其中六项上至少错过其两次运行中的一次，完整智能体则在全部九项上都有错过（图3(c)）。当解释器把一项重叠任务交给控制器时，它的解释陈述说，尚未证明存在不相容；而在它的 15 次错过中的每一次，完整智能体都用尽了三次优化，然后提交一份列出未满足目标的计划，却不把该请求描述为不可行。物理师的审阅在计分任务的全部 40 份抽样回复上，都与自动给分一致（补充章节 S3）。

Ministral 3 8B 错过了同样的矛盾：其解释器与完整智能体分别升级了 20 次重叠尝试中的 6 次与 4 次，决策准确率分别只有 31.7% 与 43.5%；解释器的回复在 188 次尝试中的 113 次未遵循所要求的格式，完整智能体在 188 次尝试中有 26 次损失于本地软件无法读取的计划动作，并且两个系统升级了 50 项可行对照中的 8 项与 7 项（补充章节 S9.3）。

3.2 可行对照上的剂量目标达成

如图3(a)所示，脚本系统以及使用 Terra 的两个基于 LLM 的系统都提交了每一项可行对照；然而，这些计划中只有 76% 满足了每一项硬目标，其中包括每一个脚本系统的 25 次尝试中的 19 次，以及每一个基于 LLM 的系统的 50 次尝试中的 38 次。未满足的目标主要是 70 Gy 计划靶区的 D99，超出目标容差短少 0.2–9.7 Gy，以及 External 最大剂量，超出 1.3–3.5 Gy；而存储的计划满足同样的目标，裕度分别为 2.9–3.4 Gy 与 0.4–2.1 Gy。每一份有缺陷的计划在提交时都列出了其未满足的目标，因而被计为一次正确决策；倘若给分还要求每一项硬目标都被满足，则每一个系统的得分都会低 6.4 个百分点（补充表 S14）。

更大的优化预算使优化得以收敛，但并没有纠正这些计划：在 2,000 次或 5,000 次迭代时，同样的六项对照仍然有缺陷，未满足的目标相同，它们的靶区 D99 变化小于 0.02 Gy（补充章节 S9.2 与表 S17）。因为存储的计划已在原始预算之内满足了每一项目标，这一不足是由控制器所选择的目标函数造成的。

3.3 SAGE 计划日志

图4：用 OpenGray 的结局来阅读的 SAGE 计划日志：(a) 一次满足了每一个目标的运行，以及 (b–d) 达到 10 次尝试上限的四次运行中的三次，在每一次尝试时失败目标的测量值。虚线标出严格的目标阈值。在 (b) 中，叉号标出第 8 次尝试的目标值，这些值在其后两次没有计算剂量的尝试之后被再次报告。在 (d) 中，阴影区域标出该运行的指令要求写出标志“not feasible with priorities”的那些尝试，而该标志从未被写出。

在 39 次 SAGE 运行中，35 次满足了每一个目标，其中 28 次是在单次剂量计算之后。在另外四次中的每一次，都有一个目标在每一次尝试时失败，直到 10 次尝试全部用完（图4），即Patient 27 初始运行中的正常脑 V12Gy（11.56–12.27 cm3，对照 10 cm3 的限值）、其精修运行中的靶区覆盖（74.70–82.35%，对照 95% 的目标），以及Patient 30 两次运行中的靶区最大剂量（26.90–28.24 Gy，对照 26.5 Gy 的限值）。

该智能体一致地识别出它的失败目标：在它的全部 88 份回复中，它识别为失败的目标恰好就是在它被展示的数值中失败的那些目标。然而，它的指令没有提供用于停止或请求复核的动作，也没有任何日志记录停止、升级或人工干预。Patient 30 的精修指令确实要求：若靶区最大剂量在四次尝试之后仍然失败，则写出标志“not feasible with priorities”。该剂量在全部 10 次尝试中都失败，但这一标志从未被写出。LLM 只被展示最近的三次尝试，而从未被展示尝试编号；在第 7 次尝试中，它的推理数了数它所能看见的三次尝试，并推迟了该标志。

这些日志还揭示了一种技术失败，而对最终目标值的复核本来会把它漏掉。在Patient 27 初始运行的第 9 次尝试中，回复缩写了它那份含七个目标函数的列表，只有第一个、即视交叉上的一个上限到达了 Eclipse，因此第 9 次与第 10 次尝试都没有计算剂量（图4(b) 与补充章节 S7）。

4 讨论

本工作着重于在具有已知答案的任务上，以及在临床计划日志中，评价放疗计划智能体的决策。在使用 Terra 时，两个基于 LLM 的系统的决策准确率都超过 90%，然而它们错过了大多数重叠矛盾，并且每一个系统都提交了错过硬目标的可行计划。这两种失败都不限于某一个 LLM，也不能由优化预算来解释，而且只有当决策按任务加以检查、并与所达到的剂量放在一起看时，它们才变得明显。

这一模式可以用每一种矛盾所要求的推理来解释。基于 LLM 的系统识别出写在请求之中的矛盾，但错过了那一种要求在解剖上进行算术运算的矛盾，尽管病例摘要包含了必要的数字。它们的指令还只允许在不相容已被证明之后才做不可行升级，否则便要求一份报告其未满足目标的计划，而这正是完整智能体在每一次错过中所采取的退路。针对已知冲突写成的检查是有效的，正如基于规则的知识在学习式计划中曾经有效一样 [16]；然而，这样的检查只覆盖那些已被预见到的冲突，而且一旦基准的任务被公开，系统就可以针对它们被调校，因此 OpenGray 的未来版本将要求对开发者隐瞒冲突类型。

汇总分数也必须谨慎解释。鉴于任务是在每一例患者之内取平均，缺失结构任务与可行对照任务构成了分数的 60%，而重叠任务只占 9%，控制器在错过每一次矛盾的同时仍得到 60.0%。同样，为提交一份可行计划而给分，对其剂量毫无说明，因此决策准确率应按任务报告，并与所达到的剂量一并报告。

SAGE 的日志在临床计划中显示出一个相关的缺口：该智能体在每一次回复中都识别出它的失败目标，但除了再做一次尝试之外没有任何动作；而一个本拟用于此类运行的标志，依赖于一个从未给予该智能体的尝试计数。完整智能体在基准上的表现与此相似，它报告未满足的目标而不是升级，尽管升级对它是可用的。因此，识别出一个失败的目标并不足够；一个智能体还需要一个用于停止并请求复核的明确动作、一条关于何时采取该动作的规则，以及该规则所依赖的信息。

本工作有若干局限。该基准使用了一个头颈部数据集、两种矛盾类型以及 30 例评价患者，因此这些结果描述的是这些任务以及所测试的两个 LLM。可行对照只收紧了脊髓限值，并不包括刚好位于边界之内的、两种矛盾的可达成版本，因此一个系统能否把这样的请求与一项矛盾区分开来并未受到检验。这些计划在优化时没有机器约束，而且 540 份所提交计划中没有任何一份满足 OpenKBP-Opt 参考计划的通量复杂度限值；可投照性约束会限制可达成的剂量，因此可行对照需要在这些约束之下被再次验证。最后，日志审计覆盖一个机构中的一个智能体，并依赖于计划系统所计算的剂量；而且因为临床病例不存在已验证的答案，它无法表明那四次未解决的运行本来是否能够满足其目标。

总之，有利的汇总分数掩盖了两种决策失败，这两种失败在第二个 LLM 与更大的优化预算下仍然存在；而一个临床智能体识别出了失败的目标，却没有停止的手段。任何能够调用这九个计划函数的智能体都可以在 OpenGray 上受到测试，任何记录其提议、这些提议向计划系统的传递以及由此产生的剂量的智能体，都可以用同样的四项结局来审计。因此我们建议，计划智能体应当：1）既就其决策、也就其剂量受到评价，在临床使用之前用具有已知答案的任务来评价，在此之后通过其计划日志来评价；并且 2）被赋予一个用于停止并请求复核的明确动作。

生成式人工智能及人工智能辅助技术在稿件准备过程中的声明

在本工作的准备过程中，作者使用了 ChatGPT Codex（OpenAI），以便协助撰写与编辑本稿件，并核对其参考文献。在使用这一工具之后，作者按需要审阅并编辑了内容，并对所发表文章的内容承担全部责任。

CRediT 作者贡献声明

Humza Nusrat：概念化、方法论、形式分析、撰写——初稿、撰写——审阅与编辑。Kundan Thind：概念化、方法论、撰写——初稿、撰写——审阅与编辑。

资助

作者没有可为本工作披露的资助来源。

利益冲突声明

作者声明，他们没有已知的、可能被视为影响本文所报告工作的竞争性经济利益或个人关系。

伦理批准

对 SAGE 计划记录的这项回顾性二次分析，得到亨利·福特健康机构审查委员会批准（方案 18702），该委员会豁免了知情同意的要求。

数据可用性声明

本研究所使用的 OpenKBP 与 OpenKBP-Opt 数据集是公开可得的 [12, 13]。支持本研究的 OpenGray 软件与基准数据可在 Zenodo 找到（https://doi.org/10.5281/zenodo.23681336）。临床日志以及患者到计划的关联记录被私人留存，并被排除在该存储之外。

参考文献

• [1] Craft DL, Hong TS, Shih HA, Bortfeld TR. 通过多准则优化改善调强放射治疗的计划时间与计划质量。Int J Radiat Oncol Biol Phys（《国际放射肿瘤学·生物学·物理学杂志》）2012;82:e83–90. https://doi.org/10.1016/j.ijrobp.2010.12.007.

• [2] Voet PWJ, Dirkx MLP, Breedveld S, Fransen D, Levendag PC, Heijmen BJM. 迈向全自动的多准则计划生成：一项前瞻性临床研究。Int J Radiat Oncol Biol Phys（《国际放射肿瘤学·生物学·物理学杂志》）2013;85:866–72. https://doi.org/10.1016/j.ijrobp.2012.04.015.

• [3] Tsang DS, Tsui G, Santiago AT, Keller H, Purdie T, McIntosh C, 等. 对接受脑部 54 Gy 放射治疗的患者进行机器学习辅助放射治疗计划的前瞻性研究。Int J Radiat Oncol Biol Phys（《国际放射肿瘤学·生物学·物理学杂志》）2024;119:1429–36. https://doi.org/10.1016/j.ijrobp.2024.02.022.

• [4] Liu S, Pastor-Serrano O, Chen Y, Gopaulchan M, Liang W, Buyyounouski M, 等. 由 GPT-4Vision 引导的自动化放射治疗计划。Phys Med Biol（《医学与生物学物理学》）2025;70:155002. https://doi.org/10.1088/1361-6560/adf02c.

• [5] Wang Q, Wang Z, Li M, Ni X, Tan R, Zhang W, 等. 用大语言模型智能体自动化放射治疗计划的可行性研究。Phys Med Biol（《医学与生物学物理学》）2025;70:075007. https://doi.org/10.1088/1361-6560/adbff1.

• [6] Nusrat H, Luo B, Bagher-Ebadian H, Hall R, Kim J, Doemer A, 等. 面向前列腺放射治疗计划的本地大语言模型引导优化。Med Phys（《医学物理学》）2026;53:e70654. https://doi.org/10.1002/mp.70654.

• [7] Yang D, Wu X, Xie Y, Li X, Wu Q, Wu QJ, 等. 面向医师引导的放射治疗计划的无参考大语言模型智能体。Med Phys（《医学物理学》）2026;53:e70592. https://doi.org/10.1002/mp.70592.

• [8] Stuhr D, Zhou Y, Pham H, Xiong JP, Liu S, Mechalakos JG, 等. 自动化计划检查软件显示出安全性与质量持续且不断的改善：一项为期 3 年的纵向分析。Pract Radiat Oncol（《实用放射肿瘤学》）2022;12:163–9. https://doi.org/10.1016/j.prro.2021.09.014.

• [9] Guo H, Wang Z, Kunkyab T, Lei Y, Samstein R, Rosenzweig KE, 等. PlanningCopilot：一种集成 ESAPI 模块、用于肺部放射治疗自主治疗计划的智能体框架。Med Phys（《医学物理学》）2026;53:e70665. https://doi.org/10.1002/mp.70665.

• [10] Wang D, Hu Z, Li Y, Xu D, Yang R, Zhuge C. MARTP：一种基于大语言模型的、用于自动化放射治疗计划的多智能体模拟框架。Phys Med Biol（《医学与生物学物理学》）2026;71:125037. https://doi.org/10.1088/1361-6560/ae6af6.

• [11] Censor Y, Ben-Israel A, Xiao Y, Galvin JM. 论调强放射治疗逆向计划中出现的线性不可行性。Linear Algebra Appl（《线性代数及其应用》）2008;428:1406–20. https://doi.org/10.1016/j.laa.2007.11.001.

• [12] Babier A, Zhang B, Mahmood R, Moore KL, Purdie TG, McNiven AL, 等. OpenKBP：开放获取的基于知识的计划大挑战及其数据集。Med Phys（《医学物理学》）2021;48:5549–61. https://doi.org/10.1002/mp.14845.

• [13] Babier A, Mahmood R, Zhang B, Alves VGL, Barragán-Montero AM, Beaudry J, 等. OpenKBP-Opt：对 76 条基于知识的计划流水线所做的国际性且可重复的评价。Phys Med Biol（《医学与生物学物理学》）2022;67:185012. https://doi.org/10.1088/1361-6560/ac8044.

• [14] Schmidgall S, Ziaei R, Harris C, Kim JW, Reis EP, Jopling J, 等. AgentClinic：面向使用工具的临床人工智能智能体的多模态基准。NPJ Digit Med（《npj 数字医学》）2026;9:499. https://doi.org/10.1038/s41746-026-02674-7.

• [15] Nusrat H, Francisco L, Luo B, Bagher-Ebadian H, Kim J, Chin-Snyder K, 等. 使用人在回路中的推理大语言模型智能体进行自动化立体定向放射外科计划。arXiv［预印本］2025. https://doi.org/10.48550/arXiv.2512.20586.

• [16] Shen C, Chen L, Gonzalez Y, Jia X. 经由知识引导的深度强化学习提高虚拟治疗计划器网络的训练效率，以用于放射治疗的智能自动治疗计划。期刊 Med Phys（《医学物理学》）2021 年，第 48 卷，第 1909–20 页。文献链接 https://doi.org/10.1002/mp.14712。以上为全部参考文献。

补充材料

OpenGray：评测放疗计划智能体决策的基准

S1 计划环境、任务定义与执行

S1.1 计划接口与任务策略

OpenGray 开放九个计划函数，它们读取病例摘要、设置目标函数、优化通量、获得剂量体积直方图、获得剂量指标、把剂量与目标相比较、对剂量做归一化、提交一份计划，以及升级一项任务。每一项任务都由基准测试框架运行；该软件把病例呈现给一个计划系统，执行该系统所请求的每一个函数，并记录每一步以及由此产生的剂量。开发实验被组织为五条轨道，即 T1–T5，而保留评价使用正文表1的六项任务。

T1 允许一次优化，T2 允许迭代计划，T3 则在第一次优化之后立即引入一个被收紧或被放宽的目标。T4 包括对病例呈现方式的四种改变、相互冲突的医师指令、一个缺失的必需结构，以及一个未被改变的对照；另有一个脊髓限值被收紧的情景没有不可行性证明，因而被排除在 T4 比较之外。T5 包括覆盖/上限矛盾、靶区–器官重叠矛盾，以及困难的可行对照。证书定义与构建排除见第 S5 节。

在开发中，对冲突注释的一份 T4 回复在升级、或提交一份明确指出该注释的计划时，被标记为正确。一次提交的 T4 等级是它的 PlanScore，无论该注释是否被识别，因此该等级并不惩罚一个忽略该注释的系统。对于已认证的 T5 矛盾，可接受的升级理由是不可行以及相互矛盾的指令。在两条轨道中，一次适当的升级获得 0.9 的等级，而在一项已认证矛盾上的提交获得其 PlanScore 减去 0.25，下限为零。因此，升级计数、轨道等级以及对问题的识别所衡量的是不同的结局。保留评价使用正文中所定义的决策准确率。

S1.2 剂量目标与 PlanScore

PlanScore 把硬目标达成、软目标违反以及相对于参考平均剂量的保护结合起来，即

这里，$H$ 是被满足的硬目标所占的分数，$V$ 是软目标的平均分数违反。剂量上限目标允许名义限值再加上 0.05 Gy，剂量下限目标允许名义限值再减去 0.05 Gy；这一 0.05 Gy 的容差既适用于硬的、也适用于软的剂量值目标。分数违反是超出被容许边界的超出量除以名义限值，并被裁剪到 [0,1]；一个已被满足的目标贡献零违反。

参考分量包括非靶区结构的软平均剂量目标，且这些结构具有正的参考平均剂量。对每一个合格结构，分数降低量是参考平均剂量减去所达到的平均剂量，再除以参考平均剂量；这些值被裁剪到 [−1,1]，取平均，并映射到 [0,1]。因此，$R$ 奖励相对于参考的保护，并且当不存在合格的参考值时它等于 0.5。在没有硬目标时，$H=1$；在没有软目标时，$V=0$。

两道拒绝门把 PlanScore 设为零：若全局最大剂量超过最高处方的 115%，或者若任何靶区 D99 降到其处方的 80% 以下。一个可见的 External 最大剂量目标也被设置在最高处方的 110%。错过任何其他硬目标会降低 $H$，但不会自动拒绝该计划。因此，PlanScore 代表这些准则的指定加权，并不施加严格的临床优先顺序。在 2,159 次成功的 T1、T2 以及可评价的 T4 开发回合中，当硬目标权重更大时，系统的排序变化很小（与基线的 Kendall 秩相关为 0.857–0.970），但当拒绝门收紧到 110% 时变化更大（0.515–0.786）。

S1.3 开发系统与比较日程

10 例开发患者是 OpenKBP-Opt 数据集中的 pt_258、pt_269、pt_289、pt_302、pt_306、pt_307、pt_320、pt_324、pt_329 与 pt_339。脚本比较对象包括一种优先级升级启发式、一个带有目标函数级回退与基于规则之归一化的控制器、随机搜索，以及能够访问 PlanScore 的 Optuna 搜索。预检变体给控制器增加了一项缺失结构检查，算术变体还检查两个被构建的矛盾族。控制器的设计吸收了开发模型轨迹中的观察，而算术检查是为已认证的构建而设计的。

完整智能体使用已存储的路由 openai/gpt-5.6-terra、anthropic/claude-sonnet-5 与 z-ai/glm-5.3-flash，分别简称为 Terra、Sonnet 与 GLM；另外两个模型 openai/gpt-oss-120b 与 google/gemini-3.1-flash-lite 只在规则被隐瞒的早期 T1 与 T2 运行中运行，没有被带入比较。解释器使用一次 Terra 调用，或者升级该任务，或者把计划委托给控制器。它的缩减摘要包含结构名称与体积、处方、目标、注释以及拒绝规则，而完整摘要还增加解剖字段（包括重叠信息与体素计数）以及射束几何。在两种摘要条件下，解释器的提示词与模型路由都相同。

拒绝规则实验在全部 10 例患者上，把三个模型与披露及隐瞒两种条件交叉，每种条件五个回合。Terra 的 T2 结果来自规则被披露的一次重新运行，而 Sonnet 与 GLM 的 T2 结果保留规则被隐瞒的历史条件；因此，它们不能被用来在共同的披露条件下给这些模型排序。T3 对每个系统、每例患者使用五次重复，并带有收紧与放宽的更新。脚本化的 T4 对照覆盖完整的患者乘情景集合，而语言智能体接受轮转的情景，每个情景六或七个回合。T5 对语言系统使用五次重复，对确定性对照则每个患者–情景一次。

重复在每一例患者之内取平均，患者被赋予相等权重。对轮转情景的比较首先匹配患者与情景，然后在每一例患者之内对任务差异取平均。开发置信区间使用 2,000 次患者自助重抽样，不对多重性做调整，这些比较是探索性的。当一个回合有若干条尝试记录时，保留最新的成功记录；只有当没有任何尝试成功时才记录一次错误；这样的错误与剂量结局分开报告。

复杂度实验增加了通量惩罚以及一个最大射束元权重上限，以近似参考优化的条件，而随后的归一化可能会违反这些限值。

S1.4 保留队列方案与执行

保留评价在 30 例患者上比较控制器、算术检查加控制器、解释器加控制器，以及完整智能体。常规、缺失结构与冲突注释任务对所有患者都可用，覆盖/上限矛盾可为 29 例患者构建，重叠矛盾可为 10 例构建，可行对照可为 25 例构建。由此每个系统得到 154 项合格任务。完整日程包含 1,080 个条目，其中包括 924 次合格尝试与 156 项构建排除，四个主要族包含 94 项合格的患者–族任务，以及跨系统与重复的 564 次尝试。

两个语言系统都使用已存储的 Terra 路由以及完整的、与任务相关的摘要。解释器被限制为一次模型调用和 2,048 个输出词元，完整智能体每次调用最多可以使用 15 次模型调用和 8,192 个输出词元。两个系统在每个回合都被允许三次优化和 15 次计划动作。确定性系统对每一项合格任务运行一次，语言系统有两次新的重复，提供者种子为 0 和 1。温度被省略，因为该端点不支持它；响应缓存、自动重试以及提供者回退都被禁用。路由标识符指定所请求的端点，而服务模型的版本无法被独立验证。表 S15 规定计划环境，表 S16 给出执行设置。

在任何候选者被评价之前，任务输入、源代码、提示词、患者缓存标识、可行见证、分析以及回复审阅的选择都被计算校验和并私下提交（表 S16），散列固定了患者与回合的顺序。主要的配对患者自助使用 10,000 次重抽样，种子为 20260909。

主要策略要求对缺失的必需结构以及已认证的矛盾予以升级，并对可行对照明确提交；一个系统采取所要求动作的尝试百分比，被报告为其决策准确率。常规计划与相互冲突的指令是次要情景。在冲突注释任务中，结构化目标优先，可接受的回复识别出冲突，然后或者升级，或者按照正式目标提交。错误、自动提交以及由测试框架强制的结束，在主要终点上得零分。重复在每一例患者和每一个族之内取平均，合格的族然后在每一例患者之内取平均，患者被赋予相等权重。预先指定的对比是解释器/控制器减去完整智能体，其 95% 百分位区间来自配对自助。这一对比的精确配对符号翻转检验、两个语言系统使用 Ministral 3 8B 的运行、控制器使用更长优化预算的运行，以及第 S8 节与第 S9 节中的进一步分析，都是在保留评价之后增加的；系统之间的所有其他比较都是描述性的。

所有排定的尝试与构建排除都被保留。该活动被中断两次，并且只对尚未开始的尝试恢复，因此没有任何失败的或未完成的尝试被替换。六次尝试因技术原因失败：两次连接失败、一次模型请求超时，以及确定性系统的三次被中断的尝试。表 S8 列出每一次失败，以及它是否属于主要终点。