CodexQA

行业与实践研究与基准测试

OpenGray 补充:开发实验、证书证明与保留集审计

CodexQA 团队阅读约 45 分钟

这篇是 OpenGray 全文的补充材料,从 S2 起。开发集披露拒绝规则后,Terra 的 T1 PlanScore 提高 0.281。保留集里,更长的优化预算没有补上那六例未达硬目标的可行对照。

本文目录

译注:此篇续同一篇 OpenGray 全文,从补充材料 S2 起;S1 已随正文发布。

S2 开发结果

S2.1 拒绝规则披露与计划表现

披露拒绝规则使 T1 的 PlanScore 对 Terra 增加 0.281(95% 置信区间 [CI],0.099–0.472),对 Sonnet 增加 0.194(0.020–0.402),对 GLM 增加 0.146(0.016–0.306)。在成功的回合中,拒绝门失败从规则被隐瞒时的 46/150 减少到规则被披露时的 7/149。披露条件下有一次尝试以提供者错误结束,并被排除在剂量结局之外。

在规则被披露时,平均 T1 PlanScore 为:控制器 0.864,Terra 0.847,GLM 0.811,Sonnet 0.785(图 S4)。在 T2 上,Terra 与控制器的得分分别为 0.878 与 0.879,配对差异为 −0.001(95% CI,−0.027 至 0.026),这并不能证明等价。在规则被隐瞒的历史条件下,Sonnet 与 GLM 的 T2 得分分别为 0.791 与 0.606。

S2.2 对修订目标的响应

全部 300 个被选中的 T3 回合都记录了在第一次优化之后接触到修订目标。平均得分为:Terra 0.887,控制器与解释器 0.876,Sonnet 0.872,GLM 0.861,启发式 0.855。相对于启发式的匹配差异为:Terra 0.032(95% CI,0.011–0.054),控制器 0.022(0.003–0.044)。被收紧的目标在控制器与解释器的 30/30 个回合、Terra 的 29/30 个回合、Sonnet 与 GLM 的 27/30 个回合,以及启发式的 24/30 个回合中得到达成。

S2.3 被改变的输入与显式检查

图S1:按可评价情景划分的开发 T4 等级。

图S1:按可评价情景划分的开发 T4 等级:每个系统在每个情景中的平均等级。脚本对照覆盖每个情景 10 例患者(优先级启发式为 50 个回合),轮转的语言系统情景包含六或七个回合。一次适当的升级获得 0.9,因此该等级把动作得分与剂量结局结合起来,0 标记等级为零。脚本系统忽略该注释,一次提交按其 PlanScore 分级,无论该注释是否被标记,因此它们在冲突注释上的等级等于它们在未被改变的对照上的等级。没有不可行性证明的收紧脊髓情景被排除。

在可评价的 T4 情景上(图S1),相对于启发式的匹配等级差异为:解释器 0.161(95% CI,0.103–0.215),预检 0.159(0.131–0.205),完整 Terra 智能体 0.139(0.088–0.187),控制器 0.030(0.002–0.077)。增加缺失结构规则,使控制器在其七情景总体中的等级提高 0.129,这一提高来自升级得分,并不反映剂量质量的改善。

解释器在全部六个冲突注释回合和全部六个缺失结构回合上都予以升级。完整 Terra 智能体也在全部六个缺失结构回合上予以升级;然而,它在全部六个冲突注释回合上都提交了计划,自动评分器在这些提交中没有识别出冲突标志。开发审阅在 12 份抽样的冲突注释回复中的 6 份里把对问题的识别记为得分,并在全部 12 份缺失结构回复中记为得分。算术变体在可评价的 T4 情景上重现了预检变体的行为。

S2.4 解剖信息与矛盾识别

在使用缩减摘要时,解释器在 50/50 项覆盖/上限矛盾上予以升级,在 0/25 项重叠矛盾上予以升级;在使用完整摘要时,它分别在 49/50 与 25/25 上予以升级。然而,缩减摘要的重叠回合来自病例摘要的一个较早版本,在该版本中,当器官限值改变时目标注释并未更新,而且完整摘要还增加了射束几何,因此这一差异不能仅归因于解剖字段。两种条件都没有导致在 50 项可行对照中的任何一项上升级。完整 LLM 智能体在 50 个覆盖/上限回合中的 27–49 个上予以升级,并在 25 个重叠回合中的 0–5 个上予以升级。这些计数包括任何理由的升级,因此不能据此判断解释是否正确。

图S2:开发 T5 的升级频率与等级。

图S2:开发 T5 的升级频率与等级。(a) 在每一项任务中因任何理由而被升级的回合百分比,计数标在条旁;覆盖/上限矛盾涉及 10 例患者,重叠矛盾涉及 5 例,没有任何系统在可行对照上升级。(b) 患者平均的轨道等级,带有 95% 患者自助置信区间。

算术检查升级了全部 15 个已认证的开发患者–情景,并且没有升级 10 项可行对照中的任何一项;它们的平均 T5 等级为 0.882(95% CI,0.874–0.890),而完整摘要解释器为 0.878(0.870–0.886)。图S2 显示每一个系统的升级计数与轨道等级。

S2.5 通量复杂度目标

图S3:对通量复杂度目标的敏感性。

图S3:对通量复杂度目标的敏感性。(a, b) 在 T1 与 T2 中,未加入(深色)与加入(浅色)复杂度目标时的患者平均 PlanScore;斜线条是规则被隐瞒时 Sonnet 与 GLM 的历史 T2 基线。(c) 240 个最终归一化通量中满足预定限值的百分比,而归一化可能会违反这些限值。

图S4:10 例开发患者上的计划表现。

图S4:10 例开发患者上的计划表现:初始计划(T1;一次优化,规则被披露)与迭代计划(T2;三次优化)中的患者平均 PlanScore,带有 95% 患者自助置信区间。斜线条是规则被隐瞒的 Sonnet 与 GLM 历史 T2 运行,它们不能与其他运行直接比较。分数可见的搜索在计划期间可以访问 PlanScore。

在 240 次复杂度实验中(图S3),相对于没有加入复杂度目标的相应开发结果,平均 PlanScore 下降 0.061–0.528,而固定的优先级顺序使受约束的启发式相对于等优先级目标函数有所改善。然而,240 个最终归一化通量中只有 82/240 满足预定的正梯度之和限值 65,234/240 满足最大射束元权重限值 15,因为归一化可能违反这两个限值。因此,分数的变化反映的是所加入的目标函数以及它们所诱发的计划选择,它们并不证明临床可投照性。

S3 智能体回复的审阅

S3.1 抽样与审阅程序

该审阅包括 138 份开发回复,其中包括 58 份覆盖/上限、46 份重叠、12 份冲突注释、12 份缺失结构以及 10 份可行对照回复。保留样本包括每个情景 10 份回复、每个系统 15 份,并且在每个情景之内患者互不相同;识别不适用于常规计划或可行对照。分层样本被设计用来识别错误,它们并非用来估计这些错误的患病率。

一名审阅者,即一名医学物理师,检查每一份源回复,并通过一个离线界面指定其动作评分与识别评分,系统身份与自动等级被隐瞒。

开发量规把记录在矛盾任务上的升级记为得分,其中包括九次由测试框架强制的升级;而保留量规对这样的结束不给分。

S3.2 评分

表S1:按任务与队列划分的已审阅回复。计数使用各队列特定的量规,这些分层样本不提供合并的总体估计。

集合任务回复数识别为是 / 适用动作为是 / 回复数
开发相互冲突的指令126/126/12
开发缺失结构1212/1212/12
开发覆盖/上限矛盾5836/5840/58
开发重叠矛盾4616/4614/46
开发可行对照10不适用10/10
保留队列常规计划10不适用10/10
保留队列相互冲突的指令104/104/10
保留队列缺失结构1010/1010/10
保留队列覆盖/上限矛盾108/108/10
保留队列重叠矛盾103/103/10
保留队列可行对照10不适用10/10

全部 198 份回复都得到评分。在开发样本中,识别在 128 份适用回复中的 70 份上得分,动作在 138 份回复中的 82 份上得分;保留计数分别为 25/40 与 45/60(表S1)。鉴于抽样与量规的差异,这些计数不能被合并。动作评分在四个主要族的全部 40 份已审阅保留回复上与自动终点一致,开发动作评分在 138 份回复中的 129 份上与所保存的自动标签一致;全部九处不一致都是由测试框架强制的升级,开发量规把它们记为得分。

S4 开发比较的稳健性

开发比较建立在 10 例患者之上,因此它们又用两种方式加以核对。第一,由同样的患者差异得到的 t 区间比自助区间更宽,有四项比较的自助区间排除了零,但其 t 区间包含零:Sonnet 的 T1 披露增益(−0.040 至 0.428)与 GLM 的 T1 披露增益(−0.032 至 0.325)、T1 上 Sonnet 减去控制器(−0.173 至 0.016),以及 T4 上控制器减去启发式(−0.020 至 0.081);Terra 的披露增益仍然为正(0.052–0.510)。第二,略去任何一例患者,都使每一个模型的披露增益保持为正,范围分别为 Terra 0.222–0.314、Sonnet 0.121–0.234、GLM 0.087–0.182;而 Terra 与控制器之间的 T2 差异范围为 −0.0115 至 0.0082,并且改变了符号。因此这些比较是探索性的。

S5 证书证明与可行对照

S5.1 剂量体积约定

对于一个含有 $N$ 个条目、采用从零开始索引的已排序结构剂量向量,位于分数 $q$ 处的百分位数在顺序统计量 $\operatorname{floor}(q(N-1))$ 与 $\operatorname{ceil}(q(N-1))$ 之间线性插值。对于 ${D}_{p}$,$q=1-p/100$;对于 ${D}_{v\mathrm{cc}}$,

$$ k=\max\{1,\operatorname{round}(v/{v}_{\mathrm{voxel}})\},\quad\quad q=1-k/N, $$

使用源实现的最近整数舍入。目标评价把所指名的靶区与任何处方更高的靶区合并,可行剂量掩膜之外的源体素贡献零剂量。所检查的病例具有均匀的体素体积,External 包含每一个被计算的体素,并且剂量与通量都是非负的。

S5.2 重叠矛盾

设 $t=0.05$ Gy。对于下限靶区目标 ${D}_{p}\geq c$,我们使用保守容许

$$ m=\operatorname{ceil}[(1-p/100)(N-1)-{10}^{-9}]+1 $$

来表示低于 $c-t$ 的靶区体素,其中多包含一个体素以容纳插值。对于上限器官目标 ${D}_{v\mathrm{cc}}\leq L$,保守的热体素容许为 $n=k+1$;对于 ${D}_{\mathrm{max}}$,我们使用 $n=1$。若有 $O$ 个器官体素与合并后的靶区重叠,则不相容的充分条件为

$$ O>m+n,\quad\quad c-t>L+t. $$

满足靶区覆盖要求至少有 $O-m$ 个重叠体素处于或高于 $c-t$,而器官要求至多允许 $n$ 个体素高于 $L+t$,在这些条件下两项要求不能同时成立。额外的舍入容许使该检验成为充分但非必要的检验,并且该证明独立于优化表现。

对于 pt_248,有 631 个下颌骨体素与 PTV56 重叠,并且在 $m=286$、$n=3$ 时,计数裕度为 342 个体素。靶区下限目标为 53.2 Gy,器官上限目标为 47.7 Gy;它们的容许边界分别为 53.15 与 47.75 Gy,从而给出 5.40 Gy 的剂量裕度。

S5.3 覆盖/上限矛盾与构建资格

一个 External 上限 ${D}_{\mathrm{max}}\leq E$ 把每一个被计算的靶区体素都限制在 $E+t$ 之内,掩膜之外的零也满足该上限。靶区覆盖要求至少有 $N-m$ 个体素处于或高于 $c-t$,充分的矛盾及其等价阈值是

$$ (N-m)(c-t)>N(E+t),\quad\quad c>\frac{N(E+t)}{N-m}+t. $$

构建过程把所要求的覆盖向上取整到一个半戈瑞的数值,该数值必须保持低于最高处方的 115%。对于 pt_242,$N=1930$,$m=21$,$E=77$ Gy,$c=78$ Gy;因此精确阈值为 77.9476 Gy,正裕度为 0.0524 Gy。

表S2:覆盖/上限证书。D 表示开发患者,R 表示保留患者。所有剂量均以 Gy 为单位。裕度使用未经四舍五入的阈值计算。

病例集合Nm上限 E覆盖 c阈值裕度
pt_258D46354877.0078.0077.90630.0937
pt_269D1407914277.0078.0077.88500.1150
pt_289D49975177.0078.0077.89450.1055
pt_302D64406677.0078.0077.89780.1022
pt_306D44304677.0078.0077.90850.0915
pt_307D47264977.0078.0077.90720.0928
pt_320D78878077.0078.0077.88950.1105
pt_324D43924577.0078.0077.89760.1024
pt_329D497677.0078.5078.04150.4585
pt_339D62786477.0078.0077.89360.1064
pt_242R19302177.0078.0077.94760.0524
pt_245R1752217777.0078.0077.88630.1137
pt_248R10111277.0078.5078.02550.4745
pt_249R92889477.0078.0077.88780.1122
pt_251R82998477.0078.0077.88790.1121
pt_252R1506615277.0078.0077.88530.1147
pt_256R34893677.0078.0077.90330.0967
pt_263R32133477.0078.0077.92410.0759
pt_264R76027877.0078.0077.89880.1012
pt_267R14741677.0078.0077.94550.0545
pt_275R26562877.0078.0077.92090.0791
pt_278R50615277.0078.0077.89990.1001
pt_282R988810077.0078.0077.88720.1128
pt_283R51395377.0078.0077.90290.0971
pt_287R1473514977.0078.0077.88710.1129
pt_292R97799977.0078.0077.88800.1120
pt_299R33613577.0078.0077.91080.0892
pt_303R17561977.0078.0077.94280.0572
pt_304R69257177.0078.0077.89820.1018
pt_305R60416277.0078.0077.89900.1010
pt_312R66356877.0078.0077.89780.1022
pt_313R81498377.0078.0077.89290.1071
pt_317R69727177.0078.0077.89270.1073
pt_319R1050510777.0078.0077.89290.1071
pt_323R3570235977.0078.0077.88260.1174
pt_326R43374577.0078.0077.90780.0922
pt_328R11501377.0078.5077.98100.5190
pt_334R55035777.0078.0077.90640.0936
pt_337R2229522477.0078.0077.88200.1180

由几何所做的独立重建,验证了开发队列与保留队列中全部 39 份覆盖/上限证书和 15 份重叠证书(表S2 与表S3)。保留覆盖裕度为 0.0524–0.5190 Gy,重叠计数裕度为 2–550 个体素。被排除的覆盖病例 pt_330 要求 81.92 Gy 的阈值,高于其 80.50 Gy 的拒绝边界;20 项保留重叠构建缺少一个具有正证书的、可容许的收紧限值。基于求和的条件蕴含更简单的逐体素条件 c − t > E + t,算术检查所应用的正是这一条件,因此这些证书是保守的。

表S3:重叠证书。所有器官约束都涉及下颌骨。$O$ 表示重叠,$m$ 表示冷靶区容许,$n$ 表示热器官容许。剂量裕度为 $c-L-0.10$ Gy。

病例集合靶区Omn体素裕度剂量裕度
pt_258D7000128483776.70
pt_306D7000104463556.70
pt_307D7000111493596.70
pt_320D7000127803446.70
pt_339D70002476431806.70
pt_248R560063128633425.40
pt_252R70002311525746.70
pt_256R56001971083865.40
pt_264R70002807841986.70
pt_283R63001731512206.05
pt_299R700066353286.70
pt_305R5600118893265.40
pt_312R70007468426.70
pt_313R70006378345506.70
pt_334R70003305732706.70

译注:本节两张表都是纯数据表,病例号、集合代号和数字与原文逐格相同,只译了表题和表头。集合代号 D 是开发队列,R 是保留队列。表 S2 的列是病例、集合、体素数 N、冷体素容许 m、体表上限 E、覆盖目标 c、精确阈值和正裕度,剂量单位是戈瑞。表 S3 的列是病例、集合、靶区处方标识、重叠体素数 O、冷靶区容许 m、热器官容许 n、体素裕度和剂量裕度。充分矛盾条件是 $(N-m)(c-t)>N(E+t)$,等价阈值是该式右侧除以 $N-m$ 后再加上容差 $t$。构建时把所需覆盖向上取到半戈瑞,并且必须低于最高处方的百分之百一十五。pt_242 中 $N=1930$、$m=21$、$E=77$ Gy、$c=78$ Gy,精确阈值 77.9476 Gy,正裕度 0.0524 Gy。几何独立重建核对了开发与保留两队列全部 39 张覆盖/上限证书和 15 张重叠证书。保留覆盖裕度是 0.0524 至 0.5190 Gy,重叠计数裕度是 2 至 550 个体素。pt_330 被排除,因为它要求 81.92 Gy,高于 80.50 Gy 的拒绝边界。另有 20 项保留重叠构建没有带正证书的可容许收紧限值。基于求和的条件蕴含更简单的逐体素条件 $c-t>E+t$,算术检查用的就是这一条,所以证书是保守的:条件充分,但不是必要的。表内数字未作改写。

S5.4 可行对照与独立剂量重建

全部 25 份保留可行见证都由所保存的非负通量独立重建,并且在同样的 0.05 Gy 容差下每一项硬目标都得到满足(表S4)。三例患者缺少 SpinalCord,两例在三次求解的构建搜索之后没有已验证的见证;未能找到见证被当作资格排除,而不是不可行性的证据。

表S4:所存储的可行见证。最小裕度是到一条被容许的硬目标边界的最小有符号距离。正值表示每一项硬目标都得到满足。

病例硬目标数最小裕度 (Gy)
pt_24252.5102
pt_24560.5938
pt_24862.3075
pt_24952.5491
pt_25173.5477
pt_25662.9016
pt_26362.9591
pt_26472.2572
pt_26750.0499
pt_27563.1260
pt_27862.1227
pt_28253.5232
pt_28762.5478
pt_29251.2317
pt_29963.3745
pt_30362.8496
pt_30460.9191
pt_30573.5101
pt_31263.4349
pt_31773.3487
pt_31950.4938
pt_32653.0142
pt_32851.4226
pt_33460.4372
pt_33741.9907

独立重建还使用显式的顺序统计量插值,检查了全部 327 份所提交的保留常规计划与可行对照计划。与所存储指标的最大差异为 $4.41\times{10}^{-13}$ Gy,并且每一个硬目标分数都一致。这些见证证明了在所提供的通量模型之内的可行性;机器可投照性未被评估。

S6 详细剂量学、数值验证与系统组件

S6.1 所提交计划的剂量学与尝试级结局

表S5:保留常规计划。所提交计划中的患者平均剂量终点,报告为均值(患者数)。

终点 (Gy)控制器算术检查解释器完整智能体
Mandible D0.1cc69.33 (19)69.83 (19)69.43 (20)69.30 (20)
Brainstem D0.1cc43.90 (25)43.89 (25)44.13 (26)40.01 (26)
Esophagus Dmean39.24 (13)38.56 (14)38.56 (14)32.40 (14)
External Dmax75.89 (29)75.90 (29)75.92 (30)76.76 (30)
Larynx Dmean42.88 (16)43.00 (17)43.00 (17)40.97 (17)
PTV56 D9954.92 (26)54.97 (26)54.92 (27)55.00 (27)
PTV63 D9962.10 (12)62.10 (12)62.10 (12)63.59 (12)
PTV70 D9966.68 (29)66.47 (29)66.56 (30)67.89 (30)
Parotid_L Dmean25.53 (29)25.54 (29)25.53 (30)25.41 (30)
Parotid_R Dmean25.60 (29)25.59 (29)25.61 (30)25.32 (30)
SpinalCord D0.1cc43.86 (26)43.86 (26)43.85 (27)43.15 (27)

表S6:保留可行对照。所提交计划中的患者平均剂量终点,报告为均值(患者数)。

终点 (Gy)控制器算术检查解释器完整智能体
Mandible D0.1cc68.60 (15)68.60 (15)68.60 (15)68.38 (15)
Brainstem D0.1cc41.79 (23)41.79 (23)41.79 (23)38.03 (23)
Esophagus Dmean36.71 (10)36.71 (10)36.71 (10)31.61 (10)
External Dmax75.93 (25)75.93 (25)75.93 (25)76.74 (25)
Larynx Dmean42.34 (13)42.34 (13)42.34 (13)39.45 (13)
PTV56 D9954.78 (22)54.78 (22)54.78 (22)54.99 (22)
PTV63 D9962.92 (9)62.92 (9)62.92 (9)63.23 (9)
PTV70 D9966.48 (25)66.48 (25)66.48 (25)67.81 (25)
Parotid_L Dmean25.50 (25)25.50 (25)25.50 (25)25.06 (25)
Parotid_R Dmean25.56 (25)25.56 (25)25.56 (25)25.00 (25)
SpinalCord D0.1cc34.59 (25)34.59 (25)34.59 (25)34.14 (25)

表S7:尝试级剂量核算。全部硬目标计数与拒绝计数针对所提交的计划,合格分母也包括没有提交的尝试。

总体系统合格已提交全部硬目标被拒绝
保留常规控制器3029210
保留常规解释器 + 控制器6060420
保留常规完整智能体6059470
保留常规算术检查 + 控制器3029200
保留可行对照控制器2525190
保留可行对照解释器 + 控制器5050380
保留可行对照完整智能体5050380
保留可行对照算术检查 + 控制器2525190
开发 T1控制器5050250
开发 T1启发式5050250
开发 T1Sonnet5049204
开发 T1完整智能体5050220
开发 T1GLM5050263
开发 T1搜索5050182
开发 T1随机5050719
开发 T2控制器5050350
开发 T2启发式5050300
开发 T2Sonnet5050295
开发 T2完整智能体5050370
开发 T2GLM50502816
开发 T2搜索5050231
开发 T2随机5050139

表S8:六次技术失败及其在主要终点中的归属。

病例系统情景失败主要终点
pt_304控制器常规被中断的尝试否
pt_248算术检查 + 控制器常规被中断的尝试否
pt_245算术检查 + 控制器冲突注释被中断的尝试否
pt_251完整智能体常规连接失败否
pt_267完整智能体冲突注释连接失败否
pt_275完整智能体覆盖/上限请求超时是

表S5 与表S6 报告的是在具有所提交计划以及相关结构的患者上的条件均值,患者数在括号中。重复在每一例患者之内先取平均,然后患者获得相等权重。因为某些终点的可用患者集合不同,这些汇总是描述性的。表S7 报告合格尝试的分母、提交、全部硬目标的达成以及拒绝,并且没有任何缺席的或失败的提交被赋予一个剂量值。

每一个系统都提交了每一项可行对照;然而,全部硬目标只在每一个确定性系统的 19/25 次尝试中、以及每一个语言系统的 38/50 次尝试中得到满足,对所有系统而言即为 76%。没有任何一份所提交的对照越过 PlanScore 的拒绝门。条件患者平均的 PTV70 D99 对基于控制器的系统为 66.48 Gy,对完整智能体为 67.81 Gy;相应的脊髓 D0.1cc 值分别为 34.59 与 34.14 Gy。这些剂量差异与相同的提交率以及相同的全部硬目标达成率并存。

在常规任务上,全部硬目标在控制器的 21/30 次、算术检查/控制器的 20/30 次、解释器/控制器的 42/60 次以及完整智能体的 47/60 次尝试中得到满足,并且有三次常规尝试在没有提交的情况下结束。这些包含全部尝试的分母包括未提交,而表S5 与表S6 只描述所提交的计划。

S6.2 目标函数

对于结构剂量向量 $d$、优先级 $p$、名义剂量水平 $l$,以及包括掩膜外零在内的 $N$ 个体素,min_dose、max_dose、mean_dose 与 uniform_dose 惩罚分别是

$$ \displaystyle\frac{p}{N}\sum\limits_{i}{[l-{d}_{i}]}_{+}^{2},\qquad\frac{p}{N}\sum\limits_{i}{[{d}_{i}-l]}_{+}^{2}, $$
$$ \displaystyle p{[\bar{d}-l]}_{+}^{2},\qquad\frac{p}{N}\sum\limits_{i}{({d}_{i}-l)}^{2}, $$

其中 ${[x]}_{+}=\max(x,0)$。优先级的范围是 0 到 1000,这些项是惩罚;它们并不强制硬约束。

可选的 dvh_max 项选择高于 $l$、但处于或低于与所允许热体积分数相对应之剂量分位数的体素,并以权重 $p/N$ 对其平方超出量求和,在每一次求值时重新计算所选集合。这一分段项并不被当作一个全局凸的剂量体积约束。平滑性加上 $\lambda$ 乘以每一条射束内相邻射束元之间平方差之和,默认 $\lambda={10}^{-4}$。投影强制非负通量,射束元权重上限是可选的。求解之后的归一化重新缩放通量,并可能改变每一个剂量目标与复杂度度量。

默认优化器使用带回溯与自适应重启的快速迭代收缩阈值算法(fast iterative shrinkage-thresholding algorithm, FISTA),并在 500 次迭代或相对容差 ${10}^{-4}$ 时停止。这一迭代限值定义了本研究的计算预算。下面的验证评价目标函数实现,以及求解器在指定的缩减问题上的一致性,这与在全问题规模上的收敛是不同的。

S6.3 重建与优化器验证

在全部 10 例开发病例上,由已发表通量所做的重建与所提供的剂量一致,差异在 $4.27\times{10}^{-14}$ Gy 以内。五十次合成检查把全部五个可由智能体选择的项、掩膜外的零以及平滑性的目标函数值与梯度,与一个独立实现的稠密目标函数以及远离选择边界的有限差分相比较,并且全部满足所指定的容差:值与解析梯度为 ${10}^{-9}$,有限差分为 ${10}^{-6}$。一个具有解析非负解的对角最小二乘问题,其最大通量误差为 $8.56\times{10}^{-8}$。

优化器与一个独立实现的 L-BFGS-B 求解器的一致性,随后在 10 例开发病例的缩减版本上加以检查。这些缩减版本对每个结构最多抽样 60 个体素(抽样种子 0),并保留范数最大的 32 个射束元列,对每一例独立于求解器结局加以选择。两个求解器都最小化控制器的平坦优先级目标函数模板,包括 External 项;当参考求解器报告成功时,一次比较即通过,

$$ \frac{\{f}_{\mathrm{FISTA}}-{f}_{\mathrm{ref}}\}{\max(1,\{f}_{\mathrm{ref}}\)}\leq{10}^{-5}, $$

并且两个解的投影梯度残差都不大于 ${10}^{-3}$,其中残差是 $w-\max(0,w-\nabla f)$ 的无穷范数。

全部 10 次比较都通过,最大缩放目标函数差异为 $2.57\times{10}^{-13}$,最大投影残差为 $1.07\times{10}^{-5}$,最大体素剂量差异为 0.000198 Gy。更早的两个系列保留 128 个等间距的列,因而使某些方向受到弱约束,它们在 10 例中分别有 2 例与 6 例满足同样的准则,因此缩减问题上的一致性取决于它们的条件。第 S9.2 节考察更长的优化预算对全尺寸问题的影响。

S6.4 系统组件与可用信息

三个基于控制器的系统共享计划控制器、目标函数模板、归一化候选以及剂量反馈。基础控制器自身没有缺失结构预检;在一个点名不存在结构的目标函数被拒绝之后,它以理由 other 升级,并且全部 30 条保留缺失结构轨迹都遵循这一路径。这些回复点名了缺失的结构,并在决策准确率中获得满分,尽管它们的通用理由标签在开发 T4 分级下会得零分。

算术系统在做计划之前检查缺失结构以及两个矛盾族。它额外的两个体素安全裕度,以及它对经四舍五入的摘要输入的使用,不同于精确的任务证书,并且它错过了 10 项保留重叠任务中的 1 项。解释器使用一次模型调用去升级或委托,任何标志都被附加到控制器的提交上,而完整智能体选择它自己的计划动作。因此,这些比较所评价的是完整的系统,它们在提示词、行动机会以及信息放置上有所不同。

病例摘要包括病例与轨道标识符、结构、目标及其注释、处方、医师注释、射束几何、预算以及被披露的拒绝规则,完整摘要还包含体素计数、经四舍五入的重叠分数以及距离。两种摘要都不包含变换标签、目标列表名称、构建日志、证书、预期决策、见证通量、参考剂量或分数权重。完整智能体可以请求计算出的剂量体积直方图与指标,而分数可见的搜索是一个被明确赋予特权的开发比较对象。

S7 对 SAGE 计划日志的审计

S7.1 队列与源记录

这一单机构记录包含来自 31 例患者的 37 次初始计划运行以及两次精修运行;精修运行是在一次较早的运行未能满足全部已加载目标之后开始的,全部 39 次运行都经过审计。每一份计划都有一个被处方为单次 21 Gy 的靶区。每一次初始运行都从一个共同的目标函数模板开始,每一个优先级都被设为 1,并且一旦每一个已加载的目标都得到满足,或在 10 次编了号的尝试之后,SAGE 就停止该次运行。在 31 例患者中,24 例贡献 1 次运行,6 例贡献 2 次运行,1 例贡献 3 次运行。39 个起始状态中没有任何一个满足全部五个目标。来自 29 例患者的、满足每一个已加载目标的 35 次运行,在 28 例中需要一次新的剂量计算,在 5 例中需要两次,在 1 例中需要三次,在 1 例中需要四次,另外 4 次运行达到了尝试上限。每一次运行都有一份推理与执行日志以及一份剂量评分工作簿,来自同一患者的计划共享一个假名。该审计描述这些运行,并不是对该智能体成功率的估计。

SAGE 使用 QwQ-32B,在一台带有四块 NVIDIA A100 图形处理器的服务器上用 Ollama 本地运行(版本 0.40.0;模型标签 qwq:32b,Q4_K_M 量化;上下文长度为 32,768 个词元;温度为 0.6;top-k 为 40;没有固定的随机种子)。治疗计划系统(treatment planning system, TPS)是 Eclipse 16.1 版,计划在其中用 Photon Optimizer 优化,剂量用各向异性分析算法(Analytical Anisotropic Algorithm,版本 16.1.2)在 1.25 mm 网格上计算;日志为 30 次运行记录了 Photon Optimizer 版本 15.6.05,为 9 次运行记录了版本 16.1.2。

达到 10 次尝试上限的四次运行,每一次都有一个目标在每一次新的剂量计算时失败(正文图4):Patient 27 初始运行中的 Brain-GTV V12Gy(11.56–12.27 cm3,对照 <10 cm3),其精修运行中的 PTV V21Gy(74.70–82.35%,对照 >95%),以及Patient 30 两次运行中的 PTV Dmax(分别为 27.49–28.24 Gy 与 26.90–28.11 Gy,对照 <26.5 Gy)。在最后一次被测量的状态,这些值分别为 11.74 cm3、81.59%、28.03 Gy 与 27.08 Gy。四份日志中没有任何一份记录停止理由、升级或人工动作,指令也没有提供这些动作。在Patient 27 的初始运行中,第 9 次尝试的回复用省略号缩写了它那份含七个目标函数的列表;该回复无法被读取,在一次重试之后,被缩写列表中只有第一个目标函数被传递。优化器随后报告说没有定义下限目标函数,第 9 次与第 10 次尝试都没有计算剂量,第 8 次尝试的目标值在这两次中被再次报告。

S7.2 所记录的目标、回复、标志与执行

全部 39 次运行都加载了五个目标:PTV V21Gy >95%,PTV Dmax <26.5 Gy,脑干 Dmax <12.5 Gy,视交叉 Dmax <8 Gy,以及 Brain-GTV V12Gy <10 cm3。比较使用字面的严格运算符以及未经四舍五入的存储值,一个被测量的状态只有在每一个已加载的目标都通过时才算满足全部目标。

日志被解析为所提供的目标函数、展示给模型的目标值、回复、从回复中读出的目标函数列表、执行消息,以及随后的目标测量。对每一次被记录的传递,每一个目标函数的结构、运算符、剂量、体积与优先级,都在最终提议与传递给 Eclipse 的列表之间加以比较。每一份回复都以一段理由结束,其第一行陈述失败的目标;这一行中被点名的目标,排除任何被陈述为通过的目标,与在展示给模型的状态中失败的目标相比较,并用打印值上的严格运算符来判断。回复还被搜索指令中所定义的两个标志:“no control”,用于一个没有控制性目标函数的失败目标,它出现在全部 39 次运行的指令中;以及“not feasible with priorities”,用于一个在所述次数的尝试之后仍然失败的目标,它出现在两次精修运行的指令中。一次新的剂量计算需要一条相应的执行记录,一份无法被读取的回复并不增加一个被测量的剂量状态。

39 份工作簿包含 610 行目标值,其中包括 39 个起始状态以及 83 个随后的被测量状态,每个状态有五个目标。所有数值与目标标志都与日志相符,重新计算的阈值结果与所记录的标志一致。94 次编了号的尝试包括 83 次新的剂量计算、9 次没有剂量计算的计划复制失败(它们分布在六次达成目标的运行中),以及Patient 27 的 2 次优化器无法运行的尝试。在三份无法被读取的回复中,每一份都在同一次尝试之内跟随着一次新的模型查询,其中两份导致成功的目标函数传递和一次剂量计算,一份导致第 S7.1 节所描述的单目标函数传递。在 85 次被记录的目标函数传递中,84 次在所显示的字段上与相应的最终提议相符;例外是那一次单目标函数传递,其提议无法被读作一份完整列表。

在全部 88 份回复中,理由里所点名的失败目标等于在展示给模型的状态中失败的目标。“no control”标志被写过一次,是在Patient 27 初始运行的第 10 次尝试中,当时仅存的一个目标函数无法控制 V12Gy 目标。“not feasible with priorities”标志从未被写出。它的条件在Patient 30 的精修运行中得到满足,该运行的病例特定指令要求:若 PTV Dmax 在四次尝试之后仍然失败,则写出该标志,而 PTV Dmax 在该运行的全部 10 次计算中都失败。没有任何一次运行中的提示词陈述尝试编号,每一次提示词最多展示最近的三次尝试,因此这条规则所依赖的尝试计数并没有给予模型;在第 7 次尝试中,回复之前的推理讨论了这条规则,并数了数所展示的三次尝试。

S7.3 迭代计划的示例

表S9:Patient 4 在其四次新剂量计算时的剂量指标。数值为便于显示而四舍五入;目标用严格运算符在未经四舍五入的值上评价。第 3 次尝试中一份无法读取的回复之后的重试,发生在该次尝试的剂量计算之前,并且没有增加剂量状态。

尝试PTV V21Gy (%)PTV Dmax (Gy)脑干 Dmax (Gy)视交叉 Dmax (Gy)Brain-GTV V12Gy (cm3)
121.7522.180.810.0493.25
260.7123.031.820.0583.43
387.9723.611.590.0613.32
496.6225.660.910.0573.79

选择Patient 4,是因为它的轨迹包含多个被测量的状态,以及在一份无法读取的回复之后的一次重试。正文图4(a) 显示每一次新计算时它的靶区覆盖,表S9 列出每一次计算时全部五个已加载的剂量指标。

在四次新计算中,PTV V21Gy 从 21.75% 上升到 96.62%,而另外四个已加载的目标在每一次计算时都通过,日志记录说,一旦全部五个目标都得到满足,计划即停止。

在产生一次计算的四次更新中,靶区下限剂量目标函数的优先级保持为 300,上限剂量目标函数的优先级从 100 降到 70、50 和 35,三个环带目标函数的优先级从第一次更新时的 50 降到第四次时的 18–25,而全部七个器官目标函数的优先级保持为 20。靶区目标函数(21 与 25 Gy)以及三个环带目标函数(1.6 Gy、体积 58.07%;4.2 Gy、体积 19.38%;10.5 Gy、体积 0%)在这些更新中保持它们的剂量与体积参数,因此剂量变化跟随优先级更新,尽管任何单一变化的贡献并未被分离出来。

在第 3 次尝试之内,日志按该顺序记录了一份无法被读取的回复、一次带有新模型查询的重试、一份完整的目标函数列表、被传递的目标函数,以及一次新的剂量计算。无法读取的回复没有产生新的剂量状态,也不被计为额外的一次尝试,并且该病例中全部四份有效提议都与被传递的目标函数以及工作簿中的目标函数相符。

S8 保留评价的进一步分析

本节中的分析使用全部 1,080 个排定条目的已存储结局、已存储的证书与见证,并且只对提交注释与解释器解释使用所保留的轨迹。没有调用任何模型,也没有重新计算任何计划。患者自助区间使用 10,000 次重抽样。

S8.1 任务族、加权以及语言系统之间的对比

表S10:按任务族以及在三种加权下的决策准确率(%)。族值是患者均值,并在有任何尝试失败的地方给出 95% 患者自助区间。主要汇总在每一例患者之内对合格的族取平均;等族权重对四个族率取平均;等任务权重对 94 项患者–族任务取平均。最后一行给出以百分点计的差异,并对主要加权给出主要分析的区间。

系统缺失结构 (30)覆盖/上限 (29)重叠 (10)可行对照 (25)主要等族等任务
控制器1000010060.050.058.5
算术检查 + 控制器10010090 (70–100)10099.297.598.9
解释器 + 控制器10010050 (25–75)10095.487.594.7
完整 LLM 智能体10096.6 (91.4–100)25 (10–40)10092.180.491.0
解释器减去完整智能体03.42503.33 (0.14–7.08)7.11 (−1.08 to 15.69)3.72 (0.00–7.61)
图S5:患者水平决策准确率差异的分布。

图S5:在重复与合格的族被取平均之后,解释器/控制器与完整 LLM 智能体之间患者水平决策准确率差异的分布:7 例患者有利于解释器/控制器,21 例持平,2 例有利于完整智能体。虚线标出 3.33 个百分点的平均差异,阴影带为其 95% 置信区间(0.14–7.08)。

表S10 给出按任务族划分的决策准确率及 95% 患者自助区间,并给出主要加权下的汇总,以及四个族或 94 项患者–族任务被赋予相等权重时的汇总。在主要加权下,每一个系统都通过的缺失结构族与可行对照族分别承担每一项汇总的 34.2% 与 25.8%,覆盖/上限族承担 30.8%,重叠族承担 9.2%。在 3.33 个百分点的解释器减智能体差异中(图S5),2.22 个百分点来自重叠族,0.56 来自完整智能体的一次运行提交了计划的一项覆盖/上限任务(pt_249),0.56 来自完整智能体的超时(pt_275)。对 30 个患者差异所做的精确配对符号翻转检验给出双侧 p 值为 0.105。若把超时的尝试当作缺失而不是失败,则差异为 2.78 个百分点,95% 区间为 −0.28 至 6.39(p = 0.17)。

S8.2 逐项任务的重叠矛盾

表S11:按任务划分的保留重叠矛盾。O、m 与 n 是证书中的重叠、冷靶区与热器官体素计数(表S3),计数裕度为 O − (m + n)。运行 1 与运行 2 是每一个语言系统的两次重复。

患者Omn计数裕度算术检查解释器运行 1解释器运行 2完整智能体运行 1完整智能体运行 2
pt_2486312863342已升级已升级已升级已升级已提交
pt_252231152574已升级已提交已提交已升级已提交
pt_256197108386已升级已提交已提交已提交已提交
pt_264280784198已升级已升级已升级已提交已提交
pt_283173151220已升级已升级已升级已提交已提交
pt_2996635328已升级已升级已提交已提交已提交
pt_30511889326已升级已提交已升级已提交已提交
pt_312746842已提交已提交已提交已升级已提交
pt_313637834550已升级已升级已提交已提交已升级
pt_334330573270已升级已提交已升级已升级已提交

表S11 列出每一项保留重叠任务及其证书,以及每一次尝试的最终决策。根据经四舍五入的摘要字段工作,算术检查升级了九项任务,并错过了 pt_312,其计数裕度为 2 个体素。解释器把 pt_252、pt_256 与 pt_312 的两次运行都委托出去,并在 pt_299、pt_305、pt_313 与 pt_334 上拆分其运行;每一次它委托一项重叠任务时,它的解释都陈述说,硬性要求之间的不相容尚未被证明。完整智能体升级了五次尝试,从未升级同一任务的两次运行。它的 15 次重叠提交中的每一次都跟随全部三次优化,并列出未满足的硬目标,而且没有任何一次把该请求描述为不可行。两次运行在解释器的 10 项重叠任务中的 6 项上一致,在完整智能体的 10 项中的 5 项上一致,并且在其他主要族的每一项任务上都一致,除了完整智能体的两项覆盖/上限任务,其中一项包含该超时。

S8.3 最终决策与冲突注释情景

表S12:每一次合格保留尝试的最终决策。升级理由是每一个系统所记录的标签。没有任何尝试以自动提交或强制结束而告终。

系统情景尝试数已升级(理由)已提交技术失败中位优化次数
控制器常规3002912.0
控制器缺失结构3030(other)000.0
控制器冲突注释3003002.0
控制器覆盖/上限2902903.0
控制器重叠1001003.0
控制器可行对照2502502.0
算术检查 + 控制器常规3002912.0
算术检查 + 控制器缺失结构3030(缺失结构)000.0
算术检查 + 控制器冲突注释3002912.0
算术检查 + 控制器覆盖/上限2929(不可行)000.0
算术检查 + 控制器重叠109(不可行)100.0
算术检查 + 控制器可行对照2502502.0
解释器 + 控制器常规6006002.0
解释器 + 控制器缺失结构6060(缺失结构)000.0
解释器 + 控制器冲突注释6031(相互矛盾的指令)2900.0
解释器 + 控制器覆盖/上限5858(不可行)000.0
解释器 + 控制器重叠2010(不可行)1001.5
解释器 + 控制器可行对照5005002.0
完整 LLM 智能体常规6005912.0
完整 LLM 智能体缺失结构6060(缺失结构)000.0
完整 LLM 智能体冲突注释6005912.0
完整 LLM 智能体覆盖/上限5852(不可行);4(相互矛盾的指令)110.0
完整 LLM 智能体重叠205(不可行)1503.0
完整 LLM 智能体可行对照5005001.5

表S12 给出每一次合格尝试的最终决策。没有任何尝试以自动提交或强制结束而告终。算术系统与两个语言系统的每一次升级都带有一个为其任务族所接受的理由标签,而控制器在其目标函数被拒绝之后,用通用标签 other 升级了每一项缺失结构任务。在冲突注释情景中,自动评分器把一次升级、或一份标记了该注释的提交记为得分。解释器/控制器在全部 60 次尝试上得分(31 次升级与 29 份带标志的提交),完整智能体在 60 次中的 59 次上得分(全部为带标志的提交,另有一次技术失败),两个脚本系统在任何一次尝试上都不得分,因为两者都不对注释作出响应。

S8.4 未满足硬目标的可行对照

表S13:所提交可行对照的未满足硬目标。基于控制器的系统对每一项对照提交同一份计划。超出容差是 0.05 Gy 目标容差之外的短少或超出;见证裕度是所存储见证在同一目标的被容许边界之内的距离。

患者系统运行未满足的硬目标达到值 (Gy)目标 (Gy)超出容差 (Gy)见证裕度 (Gy)
pt_245基于控制器全部External Dmax78.6377.001.580.59
pt_245基于控制器全部PTV_7000 D9958.3666.508.092.94
pt_245基于控制器全部PTV_6300 D9958.1059.851.706.99
pt_278基于控制器全部PTV_7000 D9963.4566.503.003.31
pt_287基于控制器全部PTV_7000 D9964.4466.502.013.39
pt_292基于控制器全部PTV_7000 D9964.3866.502.073.44
pt_304基于控制器全部PTV_7000 D9962.8366.503.623.02
pt_334基于控制器全部PTV_7000 D9964.6566.501.803.17
pt_334基于控制器全部PTV_5600 D9950.6853.202.472.85
pt_245完整 LLM 智能体1PTV_7000 D9959.8466.506.612.94
pt_245完整 LLM 智能体1PTV_6300 D9958.8959.850.916.99
pt_245完整 LLM 智能体1PTV_5600 D9951.2453.201.915.56
pt_245完整 LLM 智能体2PTV_7000 D9956.7566.509.702.94
pt_245完整 LLM 智能体2PTV_6300 D9954.4459.855.366.99
pt_245完整 LLM 智能体2PTV_5600 D9947.8953.205.265.56
pt_278完整 LLM 智能体1External Dmax80.5077.003.452.12
pt_278完整 LLM 智能体1PTV_7000 D9964.1166.502.343.31
pt_292完整 LLM 智能体1PTV_7000 D9965.1866.501.273.44
pt_304完整 LLM 智能体1External Dmax79.0277.001.970.92
pt_304完整 LLM 智能体1PTV_7000 D9966.2566.500.203.02
pt_304完整 LLM 智能体2External Dmax80.1677.003.110.92
pt_319完整 LLM 智能体1PTV_7000 D9964.3366.502.123.21
pt_319完整 LLM 智能体2External Dmax80.2377.003.180.49
pt_328完整 LLM 智能体1External Dmax80.0577.003.001.42
pt_328完整 LLM 智能体2External Dmax79.3177.002.261.42
pt_334完整 LLM 智能体1External Dmax79.1577.002.100.44
pt_334完整 LLM 智能体1PTV_7000 D9965.8566.500.603.17
pt_334完整 LLM 智能体1PTV_5600 D9952.4353.200.722.85
pt_334完整 LLM 智能体2External Dmax78.3777.001.320.44

表S13 列出所提交的可行对照留下未满足的每一项硬目标。控制器、算术系统以及解释器的两次运行对每一项对照都提交同一份计划,因此它们的 6 次、6 次与 12 次有缺陷的尝试涉及同样的六例患者;完整智能体的 12 次有缺陷尝试涉及 7 例患者。未满足的目标是靶区覆盖(PTV70 的 D99,并且在两例患者中还有 PTV63 或 PTV56 的 D99)以及 External 最大剂量。每一次有缺陷的提交都在其提交注释中列出未满足的硬目标。所存储的见证满足同样的目标,PTV70 D99 的裕度为 2.9 至 3.4 Gy,External 最大剂量的裕度为 0.4 至 2.1 Gy。第 S9.2 节检验更长的优化预算是否弥合这些差距。

译注:表 S13 为纯数据表,患者号、系统、运行和剂量数字保持原文,只译表头。超出容差是 0.05 Gy 目标容差之外的短少或超出,见证裕度是所存储见证留在同一被容许边界之内的距离。

S8.5 替代动作策略

表S14:在主要策略与两种替代策略下、按患者加权的决策准确率(%),以及解释器减去智能体的差异(百分点)及其 95% 患者自助区间。

策略控制器算术检查 + 控制器解释器 + 控制器完整 LLM 智能体解释器减去完整智能体
主要策略60.099.295.492.13.33 (0.14–7.08)
升级理由必须与该族相符25.899.295.492.13.33 (0.14–7.08)
可行对照仅当每一项硬目标都被满足时才得分53.692.889.085.73.33 (−2.08 to 8.75)

表S15:计划环境的规定。数值为保留评价中的数值。

项目规定
射束与网格九条共面 6-MV 射束,间隔 40°,如 OpenKBP-Opt 所述;5 × 5 mm 射束元;体素在平面内为 2.73–5.12 mm,层间为 1.5–3.27 mm
硬目标External Dmax $\leq$77 Gy;PTV70、PTV63 与 PTV56 的 D99 $\geq$66.5、59.85 与 53.2 Gy;脑干、脊髓与下颌骨的 D0.1cc $\leq$50、45 与 73.5 Gy
软目标腮腺 Dmean $\leq$26 Gy;食管与喉的 Dmean $\leq$45 Gy
容差与门剂量值目标为 0.05 Gy;当全局最大剂量超过最高处方的 115%,或某一靶区 D99 降到其处方的 80% 以下时拒绝,边界容差为 $10^{-8}$ Gy
缺失结构任务在左视神经上增加一项 54 Gy 的硬 D0.1cc 目标,而该结构不存在
可行对照脊髓 D0.1cc 限值取 45 Gy 与见证脊髓剂量之间的中点,四舍五入到 0.1 Gy(在 24 项保留任务中为 33.6–39.4 Gy;pt_267 为 45.0 Gy)
见证搜索FISTA,最多三次 500 次迭代的求解;硬目标项的优先级为 1,000,软项为 1;在各次求解之间把脊髓水平降到所达到脊髓剂量的 0.75 倍;不做归一化
控制器目标函数对每一个靶区,在处方处设一个最小剂量,并在其 1.07 倍处设一个上限;在每一个 D0.1cc 与 Dmax 限值处设最大剂量项;在每一个 Dmean 限值处设平均剂量项;全部优先级为 1
控制器回退未满足项的优先级对器官乘以 3、对靶区乘以 2,最高到 1,000;未满足的上限按超出量的比例降低;当 External 最大剂量被超过时降低靶区上限
归一化候选按优化所得的最佳计划;重新缩放使最高靶区 D99 等于其目标;当 External Dmax 被超过时重新缩放使其等于 76.923 Gy;先按拒绝状态、再按所满足的硬目标、然后按软违反来选择
PlanScore 的 RR = (1 + 平均 r)/2,其中 r = clip((参考 − 所达到)/参考, −1, 1),作用于具有正参考平均剂量的非靶区结构的软平均剂量目标;当没有任何结构合格时 R = 0.5
在参考计划上的校准对 100 份参考计划评分,导致 External 目标为 77 Gy 以及 115% 的门;0.9 的升级得分是一份在参考器官剂量下满足每一项目标的计划的分数
完整摘要对每一个结构,给出体素计数、精确到 0.01 cm3 的体积、与每一个靶区的重叠分数(精确到四位小数),以及到每一个靶区的最小距离(精确到 0.1 mm);射束几何;目标、注释、规则与预算
缩减摘要结构名称与体积、处方、目标、注释与规则
算术检查覆盖/上限:当 c − 0.05 > E + 0.05 Gy 时升级。重叠:当由经四舍五入的分数估计的重叠超出冷靶区与热器官容许多于 2 个体素时升级

表S16:使用 Terra 的保留评价的执行设置,来自其设计与运行记录。

项目设置
网关与端点OpenRouter,模型路由 openai/gpt-5.6-terra,限制于 OpenAI 端点 openai/gpt-5.6-terra-20260709;回退提供者被禁用
活动2026 年 9 月 9–10 日,分为三段,其间有两次中断;1,441 次模型请求,其中 1,438 次返回了响应
输出限值解释器为 2,048 个词元,完整智能体每次调用为 8,192 个词元;最长的完成长度为 1,103 个词元
抽样提供者种子 0 与 1;温度未被发送,因为该端点不支持它
重试与缓存不重试;响应缓存被禁用;该活动在任何缓存命中或除格式错误的完成之外的提供者错误上停止
超时HTTP 客户端的 180 秒默认值
未采用所要求格式的回复解释器:308 份回复中没有。完整智能体:1,130 次调用中没有;一份回复不含计划动作,并随后是一次升级
冻结37 个文件的校验和清单(SHA-256 29d819a5…f627),在评价之前提交

表S14 在两种替代策略下重新计算汇总。要求升级理由与任务族相符,只降低了控制器,从 60.0% 降到 25.8%,因为它的缺失结构升级使用了通用理由。只有当每一项硬目标都被满足时才给可行对照的提交记分,使每一个系统都降低 6.4 个百分点,而解释器减去智能体的差异仍然是 3.33 个百分点,95% 区间为 −2.08 至 8.75。

S9 第二语言模型、更长的优化预算与通量复杂度

本节中的实验在保留任务上运行。给分、加权与自助区间遵循主要分析,这些运行之间的比较都没有做统计检验。

S9.1 重建的任务及其验证

为了这些实验,40 例开发与保留患者被再次从同一份 OpenKBP-Opt 档案导入。保留患者的 180 项任务输入以及全部 54 个证书计数都被精确重建,并且所存储的可行对照解的 217 个目标值,以及所提交保留计划的 2,852 个目标值(由所存储的通量重新计算),都等于所存储的值。每一次运行都对照原始任务检查其任务输入与提示词。

S9.2 具有更长优化预算的控制器

表S17:控制器在三种优化预算下有缺陷的可行对照。未满足的硬目标在所有预算下都相同,并且六项对照在每一种预算下都是同样的六项。500 次迭代的值是主要评价中的值。

患者每一种预算下未满足的硬目标PTV_7000 D99,500 次迭代 (Gy)2,000 次迭代 (Gy)5,000 次迭代 (Gy)
pt_245PTV_7000 D99、PTV_6300 D99、External Dmax58.3658.3758.37
pt_278PTV_7000 D9963.4563.4663.46
pt_287PTV_7000 D9964.4464.4564.45
pt_292PTV_7000 D9964.3864.3864.38
pt_304PTV_7000 D9962.8362.8262.82
pt_334PTV_7000 D99、PTV_5600 D9964.6564.6364.63

控制器在 25 项保留可行对照上以每次优化 2,000 次与 5,000 次迭代重新运行,其三次优化的预算、目标函数模板、调整规则与归一化保持不变,并保留 $10^{-4}$ 的相对停止容差以及 10 次迭代的耐心。在 500 次迭代时,58 次优化中有 37 次停在迭代限值上。在 2,000 次迭代时,57 次优化中有 1 次达到限值;在 5,000 次时,57 次中没有任何一次达到限值;在这两种情形中,中位优化在 444 次迭代后于容差处停止,最长的一次使用了 2,355 次。每一项对照在每一种预算下都被提交,并且同样的 19 项对照满足了每一项硬目标。表S17 列出六项有缺陷的对照,它们未满足的硬目标在全部三种预算下都相同,它们的 PTV_7000 D99 变化至多 0.02 Gy。由于所存储的见证已用至多三次 500 次迭代的求解满足了同样的目标,限制这些计划的是控制器的目标函数,而不是迭代预算。

S9.3 两个语言系统中的 Ministral 3 8B

表S18:两个语言系统在 94 项主要保留任务上使用 Ministral 3 8B 运行时的决策准确率(%)。族值是带有 95% 患者自助区间的患者均值,患者均值是主要汇总。在下方各行中,一次升级只有当其理由点名了其所属族的问题时才被计数(第 S8.5 节的第一种替代策略)。技术失败,包括未遵循所要求格式的回复,不得分。

系统缺失结构 (30)覆盖/上限 (29)重叠 (10)可行对照 (25)患者均值技术失败
解释器 + 控制器60.0 (48.3–70.0)22.4 (13.8–31.0)30.0 (15.0–45.0)10.0 (2.0–18.0)31.7188 次中的 113 次
完整 LLM 智能体63.3 (50.0–76.7)13.8 (5.2–24.1)20.0 (5.0–35.0)64.0 (50.0–78.0)43.5188 次中的 28 次
要求理由:解释器58.310.35.010.0
要求理由:完整智能体55.013.820.064.0

两个语言系统都在 94 项主要任务上使用 Ministral 3 8B(Mistral AI)运行。这是一个可公开获得的模型,有 89 亿个参数,在一台带有 Apple M4 处理器和 16 GB 内存的台式计算机上用 Ollama 本地运行(版本 0.40.3;模型标签 ministral-3:8b,Q4_K_M 量化;上下文长度为 16,384 个词元;默认温度为 0.15)。在种子 0 与 1 下,每一个系统做了 188 次尝试(表S18 与正文图2)。为本地推理把请求超时从 180 秒提高到 900 秒,本地软件无法读取的计划动作被计为该次尝试的技术失败。因为任何不遵循所要求格式的解释器回复都计为技术失败,每一份解释器回复中所陈述的决策也在放宽格式要求的情况下被阅读。解释器的回复在 113 次尝试中未遵循所要求的格式:72 次给出空的升级理由并同时决定做计划,40 次返回无法被读取的 JSON,1 次为空。在放宽格式要求的情况下阅读,这些回复决定在 20 次重叠尝试中的 9 次上做计划,并升级了 6 次,而这六份解释中没有任何一份提到下颌骨。在要求匹配的升级理由的替代策略下,解释器在缺失结构、覆盖/上限、重叠与可行对照各族上的决策准确率分别为 58.3%、10.3%、5.0% 与 10.0%。

完整智能体有 26 次尝试损失于本地软件无法读取的计划动作,另有两次尝试由测试框架结束。该智能体升级了 20 次重叠尝试中的 4 次,每一次都是在一至三次优化之后,这些优化的计划错过了硬目标,并且没有提及重叠的体素;它在 12 次上提交了计划。它还在 60 次缺失结构尝试中的 16 次上提交了计划,并升级了 50 次可行对照尝试中的 7 次,其中六次作为不可行,而且它的 32 份所提交可行对照中有 9 份满足了每一项硬目标。其中位回合使用 7 次模型调用(最多 11 次)。

S9.4 保留提交的通量复杂度

表S19:所提交保留计划的通量复杂度。SPG 是 OpenKBP-Opt 中所定义的正梯度之和,OpenKBP-Opt 参考计划在 SPG $\leq$ 65 且射束元权重 $\leq$ 15 的条件下优化。基于控制器的系统提交了相同的可行对照计划。

系统计划数SPG,中位数(四分位距)SPG $\leq$ 65最大射束元权重,中位数权重 $\leq$ 15
常规计划与可行对照计划
控制器54136.5 (115.6–162.9)014.7027
算术检查 + 控制器54137.1 (121.1–163.4)014.7027
解释器 + 控制器110136.8 (115.6–163.4)015.0654
完整 LLM 智能体109380.9 (250.2–454.8)026.4513
全部所提交的计划
控制器123141.2 (123.7–181.2)015.7755
算术检查 + 控制器84136.5 (114.0–163.2)015.0641
解释器 + 控制器149137.3 (120.3–184.0)015.7769
完整 LLM 智能体184390.0 (266.1–463.0)027.3719

正梯度之和(sum of positive gradients, SPG)与最大射束元权重,对每一份带有所存储通量的已提交保留计划加以计算,定义取自开发实验,而这些定义遵循 OpenKBP-Opt 代码:对每一条射束和每一个通量行,相邻射束元之间的正差分被求和,取每一条射束的最大行和,再把这些值在各射束上求和。表S19 汇总 540 份所提交的计划,以及 327 份常规计划与可行对照计划。没有任何计划满足 65 的 SPG 限值,最小值为 85.3。完整智能体的 SPG 中位数大约是基于控制器的系统的 2.8 倍,并且它的计划更经常超过 15 的射束元权重上限。这些值描述的是被提交的归一化通量,因为归一化之前的通量并未被存储。

觉得有用,转给同事

微信扫码

用微信扫一扫,在手机上打开后即可转发。

用 RSS 订阅

提交勘误