CodexQA

行业与实践研究与基准测试

工具轨迹里的捷径:标识符把 0.8136 的 AUROC 打回随机

CodexQA 团队阅读约 21 分钟

在肽互不相交的 TCR–pMHC 结合预测上,五工具轨迹微调的 Qwen3-4B 测试 AUROC 达到 0.8136,无证据基线只有 0.4928。按工具的 TF-IDF 把信号定位到 ThermoMPNN 结果里的 PDB 标识符:字符特征下工具 3 为 0.6365,整条轨迹只有 0.4876。涂掉标识符后成绩降到 0.4972,涂掉肽则仍为 0.8152。

本文目录

工具轨迹里的捷径:标识符把 0.8136 的 AUROC 打回随机

Junhao Liu、Yongxian Wu、Ziheng Duan、Ren Li、Jing Zhang,加州大学尔湾分校;Tianxiao Li、Martin Renqiang Min,NEC 美国实验室

NeurIPS 2026 研讨会 Agentic AI for Biological Discovery(AgenticLS)

摘要

带工具的大语言模型越来越多地用外部证据支撑科学预测。在生物学里,它们承诺通过整合实验和计算证据,对重要问题给出准确、可解释的预测。可是序列化之后的工具结果里可以藏着标签捷径(label shortcut,和标签相关、却并不承载任务本意的文本模式),例如数据集标识符或模板残留。它们制造表面上的成功,而没有生物学推理。

为处理这个风险,作者给出两阶段审计。第一阶段是按工具的 TF-IDF 分解(PT2D,Per-Tool TF-IDF Decomposition:把每个工具的结果分开,用词频–逆文档频率特征找能预测标签的片段,避免不同工具拼在一起时信号被稀释)。第二阶段是词元类别涂红(Token-Class Redaction:把定位到的那一类文本从所有进入提示的字段里换成占位符,再用同一个冻结的模型重测,看预测是否依赖这一类)。

作者把审计用在 T 细胞受体与肽–MHC 的结合预测(TCR–pMHC,免疫系统里受体是否认出某条肽)上。加上工具之后,成绩明显超过没有证据的基线。表面上看,模型学会了使用科学证据。审计推翻了这个读法:PT2D 把最强信号定位到某一个工具结果里的标识符,涂掉它们之后成绩落到随机。这些发现说明,隐藏的标签捷径可以伪装成科学推理或发现。在相信基准增益之前,要先做来源级审计。

1 引言

大语言模型越来越多地在科学工作流里接到外部证据上。一般做法包括使用工具 [Schick 等,2023;Yao 等,2023]、检索增强生成 [Lewis 等,2020],以及把多个工具串起来、再把结果交回模型的智能体流水线 [Shen 等,2023]。领域系统已经用基因组数据库和化学工具把这些想法落地 [Jin 等,2024;Bran 等,2024]。本文用工具轨迹(tool trace)指交给模型的、按顺序排好的序列化工具结果。在科学工作流里,这些结果本意是预测所用的外部证据,但由此得到的工具轨迹,不同于模型自己生成的推理轨迹。

这个安排在生物医学里的吸引力很直接。参数里的知识可以不完整或过时,模型仍然容易幻觉 [Lewis 等,2020;Jin 等,2024;Bran 等,2024]。在推断时注入来自数据库、模拟器或分析工具的结构化证据,看起来是让模型根据检索到的事实推理,而不是靠没有根据的回忆,同时让预测可以对照一条明确的工具轨迹来审计。

然而,证据增强的流水线带来一种普通基准检查可能漏掉的评测失败 [Kapoor 与 Narayanan,2023;Lapuschkin 等,2019]。序列化的工具结果可能含有隐藏的标签捷径:它们和标签相关,却不带所意图的科学语义。这类捷径 [Geirhos 等,2020] 可以来自条目标识符、版本字符串、文件路径、重复字段、模板残留,或由入库、标注、抽样、序列化引进的其他文本模式。它们可以活过按科学分组做的数据划分,因为产生它们的过程不必跟随科学分组。只筛查拼在一起的整条工具轨迹,也会漏掉局限在某一个部件里的模式,因为异质的结果把它稀释了。于是,看起来严格的成绩,反映的可能是利用捷径,而不是基于证据的推理。

为处理工具轨迹里的隐藏标签捷径,作者给出把来源定位和行为核验分开的两阶段审计。第一,PT2D 独立分析每个工具结果,把可能被异质结果拼进整条轨迹时藏住的、能预测标签的模式定位出来。这个设计的动机是稀释效应:无关部件可以遮住局限在一个工具里的捷径。第二,词元类别涂红把定位到的捷径类别从所有进入提示的字段里去掉,再用同一个冻结的模型重评,反事实地检验它的预测依赖的是这个捷径,还是所意图的科学证据。作者进一步用真实工具子集扫描和与标签无关的合成添加,量化稀释,从而核验按工具分解的动机。

在使用既有基准的、肽互不相交划分的 TCR–pMHC 案例里 [Slone 等,2025;Abeer 等,2026],一个在五工具轨迹上微调的 Qwen3-4B [Qwen Team,2025] 明显超过没有证据的基线,似乎表明这是基于证据的泛化。审计推翻了这个读法:PT2D 把最强的可迁移信号定位到某一个工具结果里的 PDB 标识符(蛋白质结构数据库条目号),涂掉标识符使成绩塌到随机,涂掉肽则不变。真实工具和与标签无关的合成稀释扫描进一步解释,为什么整条轨迹的筛查会漏掉这个捷径。这些发现一起要求:在把工具增强的增益解释成科学推理或发现之前,先做来源级的来历分析,并做反事实核验。

图1 PT2D 把工具 3 定位为最强载体

图 1:PT2D 把工具 3 定位为跨划分上最强的载体。纵轴是 AUROC(受试者工作特征曲线下面积,0.5 附近为随机)。整条轨迹和工具 1、2、4 接近随机;字符特征下工具 3 最高。

图2 再加入工具会稀释工具 3 的信号

图 2:加入真实工具(A)或合成工具(B)会稀释工具 3 的跨划分信号。A 的加入顺序是工具 1、2、4、5。B 为与标签无关的合成噪声。真实工具给出 95% 区间,合成工具给出均值加减标准差。虚线是随机。

2 方法:两阶段捷径审计

令 \(D_{\mathrm{fit}}\) 和 \(D_{\mathrm{eval}}\) 为与目标评测协议对齐的、带标签的审计划分;除此以外审计不依赖具体怎么划分。每个样本是 \((x_i, y_i, E_i)\),其中 \(x_i\) 是输入,\(y_i \in \{0,1\}\) 是标签,\(E_i = [e^{(1)}_i, \ldots, e^{(T)}_i]\) 是工具轨迹,含来自 \(T\) 个工具的各一条序列化结果 \(e^{(t)}_i\)。目标是 \(e^{(t)}_i\) 里能预测标签、却没有所意图任务语义的模式。它们和 \(y_i\) 相关,是因为数据集构造、标识符分配或序列化。

贯穿全文的例子是二元的 TCR–pMHC 结合:下游模型根据候选 T 细胞受体、它的肽–MHC 上下文,以及五个结构生物学工具的证据,预测是否结合(附录 F)。审计把来源定位和模型依赖性测试分开。第一阶段 PT2D 把能预测标签的模式定位到单个工具结果。第二阶段词元类别涂红反事实地测试冻结的模型是否在行为上依赖定位到的捷径。

按工具的 TF-IDF 分解(PT2D)

PT2D 针对一种可能的稀释:把无关的工具结果拼起来,可以遮住局限在一个部件里的捷径,使在整条轨迹上训练的分类器漏掉它。因此 PT2D 分开审计每个工具段落,拼起来的轨迹只留作对照。

对每个范围 \(s \in \{\mathrm{full}, 1, \ldots, T\}\),构造 TF-IDF 特征 \(\phi_s\) [Salton 与 Buckley,1988],在 \(D_{\mathrm{fit}}\) 上拟合平衡的逻辑回归 \(g_s\),再给 \(D_{\mathrm{eval}}\) 打分。令 \(E^{(\mathrm{full})}_i\) 拼接所有段落,\(E^{(t)}_i = e^{(t)}_i\),\(\hat y^{(s)}_i = g_s(\phi_s(E^{(s)}_i))\)。报告

\[ A_s = \mathrm{AUROC}\left(\{y_i\}_{i \in D_{\mathrm{eval}}}, \{\hat y^{(s)}_i\}_{i \in D_{\mathrm{eval}}}\right). \]

词的 n 元语法捕捉词汇内容,字符 n 元语法暴露标识符碎片。作者用每个 \(A_t\) 与整条轨迹、与随机、与其他工具比较来给载体排序,不设统一阈值。PT2D 返回一个可疑来源和有区分力的子串,不重新训练模型,也不访问参数。它的证据是关联性的:能预测的文本模式不一定被下游模型使用。附录 C 给出完整设置和特征来历分析。

词元类别涂红

作者把 PT2D 的可疑来源和子串追到序列化字段,把生成语义相同的值收成候选词元类别,例如条目标识符、版本字符串或文件路径部件。目标是完整的类别,因为孤立的 TF-IDF n 元语法可能只覆盖带捷径的值的一部分。反复出现、互不重叠的类别充当对照。因此 PT2D 提议测什么,并不确立下游模型用了它。

沿输入擦除分析 [Li 等,2016],每一类分开涂红。对类别 \(c\),\(R_c\) 把所有进入提示的字段里的每一次出现换成该类专用的占位符,标签和参考答案保持不动。用同一个冻结模型、同样的生成、解析和打分来评估,并报告 \(\Delta A_c = A_{\mathrm{orig}} - A_{R_c}\),正值表示丢掉的成绩。全局替换防止重复的值在别处活下来。一次只测一类,并且检查点冻结,使干预与重新训练隔开。

作者把「针对性涂红之后成绩大降,而对照涂红之下成绩稳定」读成:模型依赖定位到的捷径。这个结论限于模型行为,因为涂红也可能去掉相关信号,或移动输入分布。

3 实验

任务与数据。TCR–pMHC 结合提供一个有生物学根据的设定,用来测试模型能否结合领域计算证据来解释氨基酸序列。案例问的是:模型能否把参数知识与蛋白质分析工具的结果合起来,给结合分类。具体地,模型根据配好的 TCRα/TCRβ CDR3 序列、一条肽、它的 MHC 等位基因和序列,以及五工具轨迹,预测二元标签。数据来自 Slone 等 [2025],肽互不相交的簇划分来自 Abeer 等 [2026]。簇 0 提供 12,940 个训练样本(3,483 个阳性)和 1,438 个验证样本(397 个阳性);簇 1–5 含 4,898 个测试样本(264 个阳性)。

工具用法。每条工具轨迹有五个固定顺序的结果:(1)CDR3β 的生物物理描述(长度、组成、电荷、柔性和接触势);(2)McPAS-TCR 检索与相似度 [Tickotsky 等,2017];(3)ThermoMPNN 的突变级 \(\Delta\Delta G\) [Dieckhaus 等,2024];(4)由(3)导出的 CDR3β 位置稳定性与热点,改编自 Biomni [Huang 等,2025];(5)基于结构的 CDR3β–pMHC 界面描述(用 FreeSASA 计算的埋藏表面积 [Mitternacht,2016]、接触距离、氢键和盐桥)。工具收到的是候选字段和建模后的复合物,从不是标签(附录 F 给例子)。

3.1 PT2D 定位泄漏

模型与评估。作者对 Qwen3-4B [Qwen Team,2025] 做监督微调,样本把任务字段和完整的五工具轨迹与对应的结合标签配在一起。除非另说,测试 AUROC 在簇 1–5 的全部 4,898 个样本上联合计算;涂红时另外报告每个簇内的 AUROC。所得模型在簇 1–5 合并测试集上达到 \(A_{\mathrm{orig}} = 0.8136\)。作为对照,作者的开发比较里,标签平衡的无证据模型只有 0.4928。附录 B 报告训练和评估细节。在把 \(A_{\mathrm{orig}} = 0.8136\) 解释成基于证据的生物学泛化之前,作者用 PT2D 确定:工具结果里是否有可迁移的文本捷径,哪个工具携带它,哪个序列化字段产生它。对本案例协议,\(D_{\mathrm{fit}}\) 是簇 0,\(D_{\mathrm{eval}}\) 是肽互不相交的簇 1–5。作者对整条轨迹和五个工具段落计算 \(A_s\),特征为词 1–2 元、字符 2–5 元和字符 3–5 元,并检验向与模型评估相同的留出簇的迁移。图 1 报告上述跨划分 PT2D 设定下的 \(A_s\)。在整条轨迹上,三套特征都接近随机(\(A_{\mathrm{full}} = 0.4818\)、0.4677 和 0.4876),所以只筛查拼接后的工具结果,会以为几乎没有可迁移的泄漏。按工具分解把结论反过来:工具 3(predict-thermompnn-ddg)用字符特征达到 \(A_3 = 0.6288\) 和 0.6365;同样序列化了 PDB 标识符的工具 5 只较弱地升到 \(A_5 = 0.5259\)–0.5310;工具 1、2、4 仍接近随机。对字符 3–5 元,差距 \(A_3 - A_{\mathrm{full}} = 0.1489\) 表明聚合藏住了一个强的局部信号。因为 \(A_s\) 由诊断用的逻辑回归产生,不是由下游模型产生,这个结果确立的是工具结果里可被利用的捷径,还没有确立模型依赖它。

逻辑回归的权重把工具 3 的信号定位到 ThermoMPNN_inference_<pdb_id>.csv 里的 PDB 标识符碎片,而不是生物学语言:词特征仍接近随机(\(A_3 = 0.4946\)),字符特征达到 \(A_3 = 0.6365\),诸如 _21 的前缀偏向结合,_17 偏向不结合。两位 PDB 前缀查找达到 AUROC 0.6967,这促使下一阶段涂掉完整的 PDB 标识符。附录 C 报告完整分析。接下来问:为什么整条轨迹的筛查漏掉了上面定位到的工具 3 泄漏。从工具 3 开始,依次追加工具 1、2、4、5,字符 3–5 元的诊断 AUROC 从 0.6365 单调降到 0.4876;与标签无关的合成添加复现了这个衰减,到 \(K = 5\) 时到达随机(图 2)。这种稀释解释了整条轨迹的假阴性,并支持按工具分解。附录 E 报告完整分析。

3.2 涂红确认对标识符的依赖

PT2D 确立 PDB 标识符携带可迁移的标签信号,但没有确立微调后的模型真的用了它。因此作者做冻结模型的反事实:从所有进入提示的字段里去掉每一个 PDB 标识符,在同样的样本上重评同一个检查点,并另外把肽序列作为互不重叠的对照涂掉。若只在涂掉 PDB 标识符之后成绩选择性下降,就是模型依赖定位到的捷径的行为证据。附录 D 报告干预细节和稳健性。去掉 PDB 标识符使 AUROC 从 \(A_{\mathrm{orig}} = 0.8136\) 降到 \(A_{R,\mathrm{PDB}} = 0.4972\),\(\Delta A_{\mathrm{PDB}} = 0.3163\),几乎消除全部测到的、高于随机的排序成绩(表 1)。涂掉肽得到 \(A_{R,\mathrm{peptide}} = 0.8152\),\(\Delta A_{\mathrm{peptide}} = -0.0017\),没有损失,并排除对表位序列字面的直接复用。PT2D 定位和冻结模型的反事实一起提供证据:这个 TCR 任务上的行为依赖的是数据集特有的标识符,而不是仅仅依赖所意图的生物学证据。涂红支持的是对完整标识符类别的依赖;短前缀的归因只来自 PT2D 的权重。

表 1:针对性词元类别涂红之后,冻结检查点的 AUROC(\(\Delta A_c = A_{\mathrm{orig}} - A_{R_c}\))。

变体AUROC\(\Delta A_c\)
原文0.8136—
涂掉 PDB 标识符0.4972+0.3163
涂掉肽0.8152−0.0017

4 结论

带工具的科学模型可以看起来在根据领域证据推理,实际依赖的却是嵌在序列化工具结果里的隐藏标签捷径。作者给出把来源定位和行为核验分开的两阶段审计:PT2D 暴露整条轨迹筛查会因稀释而漏掉的预测模式,词元类别涂红则检验冻结模型是否真的依赖定位到的捷径。在 TCR–pMHC 案例里,这次审计推翻了一次表面上的泛化成功:把它追到 PDB 标识符,并表明去掉标识符类别几乎消除了全部高于随机的成绩,而一个互不重叠的对照让成绩保持完整。作者希望这项工作使人们更注意:在把模型行为解释成科学推理之前,需要对每个来源做来历分析,并反事实地核验模型实际用了什么。

参考文献

只保留作者、题名与定位。

  • Abeer 等,2026,Structure-based TCR–pMHC binding prediction,bioRxiv,10.64898/2026.02.21.707231。
  • Bran 等,2024,Augmenting large language models with chemistry tools,Nature Machine Intelligence 6:525–535。
  • Dieckhaus 等,2024,Transfer learning for protein stability changes,PNAS 121(6):e2314853121。
  • Geirhos 等,2020,Shortcut learning in deep neural networks,Nature Machine Intelligence 2:665–673。
  • Hu 等,2022,LoRA,ICLR,https://openreview.net/forum?id=nZeVKeeFYf9 。
  • Huang 等,2025,Biomni,bioRxiv,10.1101/2025.05.30.656746。
  • Jin 等,2024,GeneGPT,Bioinformatics 40(2):btae075。
  • Kapoor 与 Narayanan,2023,Leakage and the reproducibility crisis,Patterns 4(9):100804。
  • Lapuschkin 等,2019,Unmasking clever Hans predictors,Nature Communications 10:1096。
  • Lewis 等,2020,Retrieval-augmented generation,NeurIPS。
  • Li 等,2016,Understanding neural networks through representation erasure,https://arxiv.org/abs/1612.08220 。
  • Mitternacht,2016,FreeSASA,F1000Research 5:189。
  • Qwen Team,2025,Qwen3 technical report,https://arxiv.org/abs/2505.09388 。
  • Salton 与 Buckley,1988,Term-weighting approaches in automatic text retrieval。
  • Schick 等,2023,Toolformer,NeurIPS。
  • Shen 等,2023,HuggingGPT,https://arxiv.org/abs/2303.17580 。
  • Slone 等,2025,TCR-pMHC binding specificity prediction from structure,IEEE/ACM TCBB 22(1):171–179。
  • Tickotsky 等,2017,McPAS-TCR,Bioinformatics 33(18):2924–2929。
  • Yao 等,2023,ReAct,ICLR,https://arxiv.org/abs/2210.03629 。

附录

A 限度

实验在单一的 TCR–pMHC 基准上完成,只用一个 40 亿参数的主干和一个工具套件。因此精确的稀释行为可能随其他设定里证据的长度、格式和内容而变。PT2D 虽然不绑定某一种划分,它的拟合划分和评估划分必须与目标应用的评测协议对齐。方法层面上,审计是事后的:它检测捷径,而不防止捷径。它的结论关于输入–输出层面可观察的依赖,而不是这种依赖经由何种内部机制产生。

B 实验细节

#### B.1 数据与划分

沿 Abeer 等 [2026] 的肽互不相交协议,划分单位是肽簇,而不是单个 TCR–肽配对。簇 0 提供训练和验证样本,簇 1–5 构成肽互不相交的测试集。表 2 报告模型评估和跨划分文本诊断共用的类别计数。底层数据仍然不平衡。标签平衡指的是监督微调时的有放回抽样,以及 PT2D 里按类别加权的逻辑回归,不是丢掉阴性样本。

表 2:数据集构成。测试簇 C1–C5 含有与簇 0 不相交的肽。

划分合计阳性阴性
训练(C0)12,9403,4839,457
验证(C0)1,4383971,041
测试 C11,00445959
测试 C299438956
测试 C396830938
测试 C4968109859
测试 C596442922
测试(C1–C5)4,8982644,634

#### B.2 工具轨迹与提示结构

每个提示含 TCRα/TCRβ 的 CDR3 序列、肽、MHC 等位基因和序列,随后是五个固定顺序的工具结果段落。工具 3 把它的源文件名序列化成 ThermoMPNN_inference_<pdb_id>.csv;工具 5 另外把同一个值写成 complex_id。这种重复促使涂红作用于每一个进入提示的字段,而不是只改看起来可疑的那一段。

表 3:监督微调和评估使用的固定工具轨迹顺序。

步骤工具工具结果内容
1CDR3β 生物物理分析长度、残基组成、电荷、柔性和接触势描述
2McPAS-TCR 检索数据库匹配、序列相似度和相关表位注释
3ThermoMPNN \(\Delta\Delta G\)突变级稳定性预测,以及序列化的推断文件名
4稳定性摘要由工具 3 导出的位置稳定性与热点摘要
5TCR–pMHC 界面分析埋藏表面积、接触距离、氢键、盐桥,以及序列化的复合物标识

#### B.3 训练与生成评估

标签平衡的 Qwen3-4B [Qwen Team,2025] 训练 10 个轮次,在全部线性层上使用秩为 16 的 LoRA 适配器 [Hu 等,2022](\(\alpha = 32\)),学习率 \(10^{-5}\),全局批量 32。正式涂红研究评估最后的 update-4040 检查点。所有反事实变体使用这同一个冻结检查点、同样的 4,898 个测试行,没有助手预填,解码和解析相同。

模型在 <answer> 里生成整数 \(a \in \{1, \ldots, 10\}\);评估在计算 AUROC 之前把它映射为 \(s = (a-1)/9\)。格式有效要求这个范围内有可解析的答案。原文、涂掉 PDB 标识符、涂掉肽和涂掉格式这四种条件全部有效。

C PT2D 的完整结果与标识符来历

#### C.1 分类器规格

对这个 TCR 实例,PT2D 在簇 0 上拟合,直接在簇 1–5 上评估。词特征使用 TfidfVectorizer(analyzer=word, ngram_range=(1,2), max_features=30000, min_df=3)。字符 2–5 元使用 analyzer=char_wb,最多 60,000 个特征;字符 3–5 元最多 50,000 个特征;两者都用 min_df=3。每个范围都用逻辑回归,\(C = 1\),liblinear 求解器,平衡的类别权重,最多 4,000 次迭代。

表 4:在测试簇 C1–C5 的全部样本上联合计算的 PT2D AUROC。字符特征把工具 3 分离出来,尽管整条轨迹的诊断接近随机。

范围词 1–2字符 2–5字符 3–5
整条轨迹0.48180.46770.4876
工具 10.45690.47970.4733
工具 20.46810.48390.4985
工具 30.49460.62880.6365
工具 40.49470.50500.5015
工具 50.48330.52590.5310

表 5:按肽互不相交测试簇分开的字符 3–5 元 PT2D AUROC。All 表示在 C1–C5 上联合计算。

范围AllC1C2C3C4C5
整条轨迹0.48760.48880.54130.63590.45650.4216
工具 10.47330.37690.46870.55480.48810.4403
工具 20.49850.49970.59570.57080.47060.4160
工具 30.63650.55660.63920.61090.69990.4874
工具 40.50150.45100.53690.57270.48780.5037
工具 50.53100.49820.50180.54450.57020.4717

#### C.2 特征来历与前缀查找

权重最高的工具 3 字符特征指向单一序列化模板。正权重碎片包括 nce_8、_21、ce_21、_16 和 ce_16;负权重碎片包括 _17、ce_17、_22、ce_9、_18 和 _23。这些字符串出现在 inference_ 与 PDB 标识符的边界上,而不是出现在生物学散文或预测的 \(\Delta\Delta G\) 数值里。

作为字段级核对,作者在簇 0 上学习一个从前缀到结合率的查找,并把学到的比率用作测试分数。表 6 显示,两位数字在 C1–C5 上联合评估时给出 0.6967 的 AUROC。这确立短前缀是可迁移的标签相关物;它本身并不表明模型只依赖那两位。附录 D 的完整标识符干预,在标识符类别的层面上提供行为证据。

表 6:在簇 0 上学到的显式 PDB 前缀查找的跨划分 AUROC。All 表示在 C1–C5 上联合计算。

前缀AllC1C2C3C4C5
1 位0.67250.57760.56860.65420.74700.5202
2 位0.69670.57940.74160.59460.77160.4967
3 位0.67930.48200.65220.56140.84420.5817

D 词元类别涂红的细节与稳健性

#### D.1 替换规则

对每一个测试行,涂红作用于 evidence、question、它们在 extra_info 里的副本,以及每一条消息的内容字段。PDB 标识符涂红替换 ThermoMPNN_inference_<id>.csv 里的数字后缀、complex_id 的值,以及该行标识符任何剩余的精确出现,换成 <PDB_ID>。肽涂红把每一处精确的表位序列换成 <PEPTIDE>。标签和参考答案从不修改。

格式涂红是更宽的敏感性检查,把步骤标题、轨迹横幅、节标题、XML 标签和字段名换成 <FORMAT>。表 7 量化干预规模。

表 7:在 4,898 个测试提示及其重复的、进入提示的字段上的替换总数。

变体替换次数占位符
PDB 标识符50,778<PDB_ID>
肽63,674<PEPTIDE>
格式3,582,603<FORMAT>

#### D.2 完整的生成结果

表 8 报告针对性涂红条件和格式敏感性分析。涂掉 PDB 标识符和涂掉肽,是主结论所用的针对性干预和互不重叠的对照。格式涂红保持输出有效,但去掉多个重叠的结构线索;它的下降表明对轨迹脚手架敏感,不是独立的词元类别归因。

表 8:正式的冻结检查点生成 AUROC。All 表示在 C1–C5 上联合计算。正的 \(\Delta A_c = A_{\mathrm{orig}} - A_{R_c}\) 表示涂红后丢掉的成绩。宽的格式干预是敏感性分析,不是干净的对照。

变体All\(\Delta A_c\)C1C2C3C4C5
原文0.8136—0.57460.82980.83240.86860.8322
涂掉 PDB 标识符0.4972+0.31630.51260.52410.48180.49630.4858
涂掉肽0.8152−0.00170.57630.85350.84370.86460.8295
涂掉格式0.5189+0.29470.47870.48290.43430.57470.5184

E 稀释实验:完整协议与结果

#### E.1 真实工具子集扫描

真实扫描把工具 3 固定为载体,按固定顺序加入工具 1、2、4、5。每个点都重新拟合同一个字符 3–5 元的 PT2D 分类器。置信区间是在合并测试集(簇 1–5)内按标签分层的 2,000 次自助重抽样的百分位区间。端点精确复现只有工具 3 和整条轨迹的值。

表 9:以工具 3 为载体的真实工具稀释扫描。

工具集合段数AUROC95% 区间
{3}10.6365[0.6008, 0.6704]
{3,1}20.6049[0.5679, 0.6415]
{3,1,2}30.5284[0.4941, 0.5622]
{3,1,2,4}40.4956[0.4605, 0.5291]
{3,1,2,4,5}50.4876[0.4553, 0.5221]

#### E.2 与标签无关的合成添加

合成来源池含训练集和测试集里工具 1、2、4 的 53,512 个段落,平均长度 1,845.9 个字符。对每个目标样本和每个合成槽,程序独立抽取一个来源段落和一个目标长度,再把来源文本重复或截断到该长度。抽样从不用目标标签或簇,训练和测试使用独立的随机数流。对每个 \(K \in \{0, 1, 2, 5, 10, 20\}\) 评估种子 20260517–20260521。

表 10:AUROC 在测试簇 C1–C5 上联合计算,并在五个合成稀释种子上汇总。曲线在加上五段时到达随机,此后保持在随机附近。

K均值标准差最小最大
00.63650.00000.63650.6365
10.57010.01210.55900.5891
20.54290.02180.52560.5809
50.50640.02590.48210.5489
100.47490.03020.44640.5249
200.49000.02090.46690.5167

F 一条真实的五工具轨迹

为使序列化的工具轨迹具体,作者展示簇 4 测试样本里一条真实轨迹的节略形式:TCRα CDR3 为 CAEGGGSYIPTF,TCRβ CDR3 为 CASSEGDTEAFF,肽为 KLVALGINAV,PDB 标识符为 21009,标签为 1。下面的字段和值从存储的工具结果抄出。为适应版面,保留每个工具有代表性的结果字段和决策信号,省去完整的 MHC 序列、重复的预览行和位置行、本地文件系统前缀以及其他冗余字段;所显示的值都没有重算。

工具 1,CDR3β 生物物理。candidate_cdr3b 为 CASSEGDTEAFF;长度为 12;净电荷为 −3;疏水计数与百分比为 5/41.7;极性为 4/33.3;负电为 3/25.0;中心区序列为 EGDT。信号:电荷为负偏,柔性平衡,接触势中等。

工具 2,McPAS-TCR 检索。条目总数 40,731;精确表位命中 50;该精确表位的已知 CDR3β 计数 44;最相似的已知 CDR3β 为 CASSAGGDTEAFF;序列一致性 0.8800。信号:数据库支持强。

工具 3,ThermoMPNN 突变级预测。路径以 ThermoMPNN_inference_21009.csv 结尾;预测总数 2,160;预览 \(\Delta\Delta G\) 均值为 1.815 kcal/mol,最小 0.000,最大 2.708。信号:预览显示去稳定风险。

工具 4,CDR3β 稳定性摘要。所用预测 2,160;映射序列检查通过;平均位置敏感性 \(\Delta\Delta G\) 为 0.427 kcal/mol;耐受、中等、敏感的计数为 7/4/1;热点为 F126(平均 \(\Delta\Delta G\) 1.761)。信号:结构上稳定。

工具 5,CDR3β–pMHC 界面。complex_id 为 21009;CDR3 总埋藏表面积 123.92 Ų,极性 71.53,非极性 52.39;最小接触距离 2.75 Å;氢键 0;盐桥 0;接触残基 3/19;热点为 D124(58.53)、G108(37.86)、T125(27.51)。信号:部分 CDR3–pMHC 接合。

G 关于使用人工智能助手

人工智能助手用于支持文稿的写作与修改、图的准备,以及实验代码的开发。作者仔细校对并修改了全部由助手协助的文字,审阅并核验了全部由助手协助的图和代码。作者对文稿及全部相关研究制品的准确性和完整性负全部责任。

出处:Junhao Liu,Tianxiao Li,Yongxian Wu,Ziheng Duan,Ren Li,Jing Zhang,Martin Renqiang Min,Auditing Tool Traces in Agentic LLMs: Source Localization and Counterfactual Dependence Testing,2026-10-18,https://arxiv.org/abs/2610.25540 ,CC BY 4.0。

觉得有用,转给同事

微信扫码

用微信扫一扫,在手机上打开后即可转发。

用 RSS 订阅

提交勘误