身份还是证据：生命科学 Agent 基准会不会靠名字过关

AgenticLS：面向生物发现的智能体 AI

身份还是证据？审计智能体生命科学基准中的证据依赖

Danai Brilli 单位：Zo Labs 邮箱：dbrilli@zolabs.bio

Maria Georgila 单位：Zo Labs 邮箱：mgeorgila@zolabs.bio

摘要

智能体生命科学基准给智能体关于一个具名实体的证据，并对照一条已记录的结局给答案打分。那个分数只有在是证据、而不是名字决定答案时，才检验的是对证据的推理。我们在一个临床结局基准上，以及 Biomni 和 LAB-Bench 已发表的任务上，分别独立改变身份和证据，来考察这一区别。当提示里含有一段决定性的序列或段落时，遮蔽身份几乎无关紧要。当提示主要是一个名字和候选列表时，它关系重大（有名字 0.742，对遮蔽后 0.082；随机水平 0.093）。在 96 道 LAB-Bench LitQA2 题目上，差距在一种固定的段落涂黑方案下增大（从 +0.000 到 +0.135；逐实例斜率 +0.147，$p=0.004$）。在临床基准上，一个没有证据的回忆探针与预测准确率相符，并恢复出一个数据库特有的项目计数。因此，我们主张：意在测量依赖证据之推理的基准，应当报告身份遮蔽后的结果、检索遥测，以及阳性对照。

图 1：身份遮蔽的代价随可得证据而变化。 左：同一行内的条件只在实体提及上不同；数值证据逐字节相同。右：在 96 道 LitQA2 题目上，支持段落分四步被涂黑，而实体提及保持完整。遮蔽差距随涂黑增大（逐实例斜率 +0.147，$p=0.004$）。

1 引言

智能体生物学基准重建科学决策点当时可得的证据，去掉结论，再对照最终记录的结局给智能体打分。这一设计覆盖分子发现、基因组学、单细胞分析和实验室任务 [3, 4, 5, 9, 6, 8, 7, 10, 13, 19, 11, 12, 14]。它想测的构念是根据所提供证据进行推理。但如果提示仍保留一个可辨认的基因、药物、疾病或研究，智能体就可能改用先验知识，或检索出那条已记录的答案。

我们问一个简单的问题：当名字消失、证据留在原地时，分数还能剩下多少？答案在我们审计的任务之间并不相同。当提示本身提供了所需证据时，身份大体无关；当它没有提供时，身份就变得重要。

#### 贡献。

本文引入成对的提示变体，把身份、证据和记录回忆分开。然后用 LitQA2 表明：随着段落证据被去掉，隐藏身份的代价上升。最后表明，为什么只删除证据是对内容使用的一种很差的检验：删除会同时以好几种方式改变提示。

表 1：主要分析的解释地位。

2 相关工作与协议

部分输入基线已经暴露了只靠假设的推断和无段落的阅读理解 [17, 20, 21]，知识冲突与污染探针检验的是相关失败 [23, 26]。Feng 等人 [22] 提出互补的一点：改变输入本身并不能指出是什么造成了模型的反应。我们把这当作一个区分效度问题 [15]，并借用关于基准审视、置信度、无关上下文和统计功效的工作 [29, 30, 27, 28, 24, 25, 16]。

从一个带有证据 $E$、身份 $I$ 和结局的实例出发，审计构造出成对变体。blind 保持 $E$ 不变并去掉 $I$。delete 保持 $I$ 不变并去掉 $E$；placebo 用另一个实例的证据替换 $E$。recall 只在遮蔽开始起作用之后才运行，用来问身份是否提供了对已记录标签的访问。阳性对照核实仪器能够传递一次决定性的变化。每一次对照都在相同实例上配对，并用精确 McNemar 检验、Wilson 区间，以及对零结果的最小可检测效应（MDE）来报告 [16]。LitQA2 完整段落比较和涂黑斜率是主要分析，临床遮蔽和回忆是支持性证据。完整提示、原始回答和脚本见补充材料。

#### 每种对照估计什么。

令 $A(E,I)$ 表示在证据 $E$ 和身份 $I$ 下的配对准确率。身份代价是 $A(E,I)-A(E,\varnothing)$：当有名字的提示胜过除此之外完全相同的遮蔽提示时，它为正。证据对照是 $A(E,I)-A(\varnothing,I)$，但它本身不是一个内容使用的估计量：去掉一块也会改变长度、格式，以及使用那一块的选项。安慰剂比较只有在替换物具有已知信号时才更有信息量。因此，在这一干预下，遮蔽对照可以确立对所披露身份的依赖。它不能判定这种依赖反映的是记住的记录、生物学知识，还是语义上下文的丧失。回忆探针和功能描述诊断在一定程度上有助于区分这些解释。

表 2：核心审计条件。$E$ 是证据块，$I$ 是实体身份。所有对照都是配对的，而合成阳性对照测量的是仪器，不是基准。

3 实验设置

#### 基准与标签。

我们从 Minikel 等人 [1, 2] 构造 286 个靶点–适应症实例（286 个基因，183 个适应症；患病率 0.521），按结局、遗传支持和知名度分层。每份档案包含关联计数、MeSH 相似度、来源、年份、位点到基因的分数、等位基因频率，以及十二条相似关联，而由结局派生的字段按断言被排除。任务是：一个完成了 II 期的项目是否推进到了 II 期之后。有遗传支持的配对被过度抽样，因此我们不做总体层面的主张。标签是快照层面、经过删失的最高已记录阶段，而不是科学决策质量的度量：它把多个项目聚合在一起，把「未推进」而不是失败标出来，并且没有逐项目的日期。

#### 字段、信号与执行检查。

四个渲染出来的标签比其源数量在实质上更不精确：「AF」是 ALT 等位基因频率，而不是次要等位基因频率；「fine-mapping share」是归一化的 Open Targets L2G 分数，而不是后验；精确的 MeSH 同一性并不是生物学相关性，而且 801 条被计数的关联中有 174 条绕过了所显示的严格支持阈值。这些问题并不改变使用同一证据块的配对对照，但限制对删除条件和安慰剂条件的解释。

渲染出的 Rare/orphan indication 字段是项目层面的监管认定，而不是适应症的内在属性。它复现了简单监督基线的大部分，而单靠遗传学几乎没有信号：

我们使用 claude-opus-5，并在同一家族的一个更小模型上重复选定条件。评分是确定性的、离线的：5,475 个决策、350 个回忆探针任务和 81 次外部复现调用都成功解析。一次预先规定的 150 实例重跑使用新的智能体和完整的逐次调用日志：它没有发现检索或浏览器调用，并复现了有名字、遮蔽和无证据的模式（0.760、0.560 和 0.807）。这是一次更强的执行检查，而不是一个密封环境：主文件系统没有按条件做沙箱，服务和解码设置不受控制，原始活动中的网络使用是靠指令禁止的。有名字、遮蔽和功能变体只改变靶点和适应症字段，保持证据块逐字节相同。

这次重跑只对有日志的子集验证执行。它并不确立服务模型的权重，不能排除主运行中的所有信息通道，也不能把基于指令的网络限制变成沙箱。我们报告这些约束，是因为一次基准审计应当让它自己的执行假设可见。两个条件提前停止，仍属探索性；所有其他报告的临床条件覆盖全部 286 个实例。

#### 解释与报告。

我们报告准确率，因为它是基准的分数，但不把它解释为校准后的概率或科学效用。临床标签是不平衡的，因此接近 0.521 的遮蔽分数必须同时对照多数类基线和配对的有名字–遮蔽对照来读。对已发表任务，随机水平取决于它们的答案空间。关键问题是：高出随机水平的余量在身份被去掉之后是否还在。我们把 LitQA2 完整段落对照及其涂黑梯度指定为主要分析，因为它们直接把段落操作和实体操作分开。其他对照被纳入是为了标出失败模式，而不是为了支持一个单一的汇总结论。

4 结果

4.1 临床结局基准上的实体遮蔽

blind 把基因、适应症、性状和来源名称替换成每个实例不透明的词元，所有数值档案字段保持不变。在完整档案下，准确率从原文的 0.783 降到 0.531 [0.474, 0.589]，接近 0.521 的多数类基线。保留身份但去掉档案时，它达到 0.836 [0.788, 0.874]。因此，在这一临床任务中，分数并没有被遮蔽后的档案挽回（图 1）。

这是在同样 286 个决策上 25.2 个百分点的有名字–遮蔽差距，而不是跨独立样本的比较。结果说的是：这一份被渲染出来的特定档案，在不透明词元遮蔽下，并没有保住有名字提示的表现。它并不是说每一个数值字段都被忽略：blind 变换在去掉实体名称的同时，也去掉了有用的指称结构和语义结构。无档案条件也不应被读成一个干净的「只看名字」基线，因为它更短的格式改变了任务。不过它确立了一点：没有所提供的档案，高准确率仍然可能。

遮蔽也去掉了语义上下文，所以这一结果并不表明名字只是简单地替代了证据。因此功能描述条件是诊断性的，而不是一个干净的身份对照。这一谨慎是有根据的：一个对抗探针在 120 条描述中的 114 条里恢复出精确的 HGNC 符号，但在 72 条遮蔽提示中只恢复出 2 条：

4.2 回忆探针

身份结果有两种解释：身份可能提供生物学知识，或者提供对已记录结局的访问。一个无档案的回忆探针索取的是记录而不是预测，并允许回答未知。它为 286 个基准配对、32 个真实的非临床配对和 32 个不存在的配对收集识别、已记录阶段和项目计数。结局和任务指令被去掉，不透明标识防止任务文件里出现答案键。

#### 回忆复现预测。

只看已作答的比较对分数依赖最小；把未知编码为「未推进」是一次敏感性分析：

回忆任务在没有所提供证据的情况下，几乎给出同样的答案。在 218 个数值回答上，回忆出的项目计数跟踪数据库计数（Spearman $\rho=0.654$，置换 $p<0.0005$），包括在知名度分层内部。这是一个商业簿记量，不是生物学合理性所能决定的东西。该探针与「能够访问已记录结局信息」相一致，尽管它不能确立是什么驱动了任何一次预测。

图 2：回忆跟踪一个数据库特有的计数。 在 218 个数值回忆回答中，回忆出的项目数随来源表中记录的项目数上升（$\rho=0.654$）。图中给出中位数和四分位距。

识别在 73.4% 的基准配对、37.5% 的真实非临床配对和 6.3% 的不存在配对上被报告，回忆出的临床状态也有平行的差异。预先规定的、识别与无档案预测之间的实例级关联为零（Fisher $p=0.37$）。时间上的或未发表结局的留出会更好，但这个数据集支持不了，因为每一个结局都来自一份没有日期的 2023 年快照。最高阶段部分地通过试验登记公开，因此项目计数是更特异的判别量。

4.3 为什么删除证据不可解释

一行与标签在 95% 的时候一致的合成文字给出 0.962 的准确率，而同一行换成一个独立的值时给出 0.479。智能体分别在 99.0% 和 100% 的任务上跟随这一行，所声明的置信度相近。因此阳性对照检测的是一条指令，而不必然是分散的档案内容。删除档案把准确率从 0.783 提高到 0.836（差值 $-0.052$，95% 置信区间 $[-0.085,-0.020]$，$p=0.0026$），但它也改变了提示长度、格式和证据槽。一份对调过的档案安慰剂和呈现对照并不能指出是哪一个成分驱动了效应，因此安慰剂替换进去的是一块低信号的遗传学内容。

图 3：删除并不能单独分离档案内容。 自己的档案、一份匹配的安慰剂档案，以及一份数值被打乱的档案，相对无档案都降低了准确率。因为被替换进去的块几乎没有独立测得的信号，这些对照并不能识别出一种内容使用效应。

4.4 置信度与已发表基准审计

在跨越 63 个准确率点的十个条件上，平均声明置信度只移动 12 个点（斜率 +0.068）。智能体在表现好的时候置信不足，在被遮蔽时置信过度：

图 4：声明的置信度与跨条件的准确率关系很弱。 准确率跨越 63 个点，而平均置信度只跨越 12 个点。虚假身份条件尤其置信过度。

因为自己的档案信号有限，我们也审计那些得分远高于随机水平的已发表任务。这些审计是案例研究，不是一次有代表性的基准调查。下面四行是 Biomni Eval1 任务家族 [12]；其中两行是供应商的 LAB-Bench 选择题。

一个名字加候选列表的提示失去了它全部高出随机水平的余量（+66.0 个百分点，$p=3.6\times 10^{-26}$；随机水平 0.093），而一个序列任务则没有可检测的移动。

这些行之间的对照之所以有用，恰恰是因为它们的提示角色不同。在 lab_bench_seqqa 中，实体遮蔽之后序列仍然在，并且仍然可以决定答案。在 lab_bench_dbqa 中，藏起查找键使所请求的记录难取得多。screen_gene_retrieval 和 gwas_causal_gene 两行保留了问题和候选集，但失去了把它们连接到一个已知结果的那个实体。这些例子并不指出一种普遍的基准缺陷。相反，它们说明为什么身份遮蔽后的分数最好与标准分数并排报告：大的差距可以解释为这次干预所暴露的一种依赖，而小的差距只有在阳性对照确立这次审计本可以检测出变化时才有意义。

序列结果单独并不构成等价主张：它有一对不一致。小差距的更强证据是下面 0% 的 LitQA2 条件：96 道题，没有不一致的配对，并且 $|\mathrm{cost}|\leq 0.031$。不命名任何实体的逐字节相同提示给出 0.818 对 0.818，确立了一个运行之间的下限。遮蔽后候选列表表现差，与只看位置的策略一致，而不是对有名字任务的部分恢复。

#### LitQA2 证据梯度。

LAB-Bench LitQA2 [11] 提供一个关键段落字段。我们分四步涂黑该段落，在各条件共享的一条词元序列上抽取位置。实体提及从不被涂黑，因此证据操作保留身份，遮蔽操作保留证据。

在这一固定掩码方案内，身份差距随着证据被去掉而增大（逐实例斜率：每单位涂黑 +0.147，$p=0.004$）。66% 这一档重要，是因为两种条件都不接近天花板（0.865 对 0.771）：0% 时差距消失，与证据已经足够一致，而不只是饱和。66 个百分点的崩塌在第二个模型上复现为 +62.6 个百分点。最多十个实例共享一次智能体调用，因此我们在配对 McNemar 推断之外，报告按调用聚类的重抽样 [18]。

4.5 稳健性与解释

对有名字相对无证据的对照，配对独立同分布标准误是 0.0165，配对聚类稳健标准误是 0.0133；不配对的聚类分析给出 0.0309，因为它丢掉了实例内的配对。我们保留配对推断作为主要推断，但不对大约 40 次检验做全局多重检验主张。

主要分析所支持的最窄主张，是一种固定 LitQA2 掩码方案内部的交互：所提供段落里被涂黑的词越多，有名字–遮蔽差距就越大。不过我们需要指出，它并不估计智能体之间或生命科学基准之间记录回忆的流行程度，也不证明每一次有名字的回答都使用了身份。那些更强的因果问题需要新的基准构造，例如时间上留出的结局、独立核验的别名，或一个密封的推断环境。我们纳入临床和外部案例研究，是为了把设计局限变得具体，而不是用它们替代这类实验。

四个临床条件在更小的模型上、用逐字节相同的提示，对全部 286 个实例做了重复。对十二个遮蔽批次的分发模式检查，在一次调用和分组执行中给出了相同的功能描述相对遮蔽的差距（+0.071）。这些是有用的敏感性检查，但不是跨模型家族的独立复现。同样，功能描述不是干净的遮蔽对照，因为它们按指令省略了标识符，但仍可能通过一段有辨识度的生物学描述暴露一个基因。

5 讨论与结论

这次审计测量的是：在一次规定的干预下，分数依赖于什么，而不是智能体一般能否推理。在我们的临床结局基准中，遮蔽后的档案没有挽回有名字的分数，回忆探针与能够访问已记录结局相一致。在外部案例研究中，身份差距随提示提供了多少决定性证据而变化。这些结果促使对那些意在把「对证据的推理」操作化的基准做一次区分效度检查 [15]，因为它们并不估计身份依赖在整个领域有多常见。一个光秃秃的证据删除结果不能确立内容使用。

#### 建议。

基准构建者应当考虑报告一次身份遮蔽比较、在有工具时报告检索遥测，以及按条件报告置信度。阳性对照可以使一个零结果更好解释，安慰剂应当替换信号而不是噪声，公开的结局表值得直接做一次回忆探针。

5.1 局限性

身份结果不能把识别与「不透明词元伤害了智能体推理」的可能性分开，因此 +25.9 会是一个上界。某一次预测是否使用了回忆，有一个为零的预先规定检验（Fisher $p=0.37$），以及一次我们不当作主张的探索性重建。删除效应是被界定的，而不是被解释的。我们的主张覆盖所审计的实体级任务，其标签是快照层面、经过删失、没有日期的。关于执行：来自一个家族的两个模型，一套支架，两者都不可认证，解码不受控制。

参考文献

• [1] Minikel, E.V., Painter, J.L., Dong, C.C., Nelson, M.R. 细化遗传证据对临床成功的影响。期刊 Nature，第 629 卷第 8012 期，第 624–629 页，2024 年。doi:10.1038/s41586-024-07316-0。

• [2] Nelson, M.R. 等。人类遗传证据对已批准药物适应症的支持。期刊 Nature Genetics，第 47 卷，第 856–860 页，2015 年。doi:10.1038/ng.3314。

• [3] Jacko, M. 等。TxBench-Oligonucleotide Discovery：在反义寡核苷酸与小干扰核酸治疗发现中、有实验依据的决策上给人工智能智能体做基准。LatchBio，2026 年。

• [4] Le, H. 等。TxBench-PP：分析人工智能智能体在小分子临床前药理学上的表现。预印本 arXiv:2606.19245，2026 年。

• [5] Ramasamy, R. 等。TxBench–Antibody Discovery：在治疗性抗体发现中、有实验依据的决策上给人工智能智能体做基准。LatchBio，2026 年。

• [6] Workman, K. 等。scBench：在单细胞核糖核酸测序分析上评测人工智能智能体。预印本 arXiv:2602.09063，2026 年。

• [7] Muralidharan, H. 等。EpiBench：对人工智能智能体表观基因组学分析做可核验的评测。预印本 arXiv:2606.13602，2026 年。

• [8] Workman, K. 等。SpatialBench：智能体能否分析真实世界的空间生物学数据？预印本 arXiv:2512.21907，2025 年。

• [9] Bhowmick, A. 等。VariantBench：面向遗传变异发现与解释的智能体基准。LatchBio，2026 年。

• [10] Mitchener, L. 等。BixBench：面向计算生物学中基于大语言模型的智能体的综合基准。预印本 arXiv:2503.00096，2025 年。

• [11] Laurent, J.M. 等。LAB-Bench：测量语言模型从事生物学研究的能力。预印本 arXiv:2407.10362，2024 年。

• [12] Huang, K. 等。Biomni：一个通用生物医学人工智能智能体。预印本 bioRxiv 编号 2025.05.30.656746，2025 年。doi:10.1101/2025.05.30.656746。

• [13] Chen, Z. 等。ScienceAgentBench：面向数据驱动科学发现的语言智能体严格评估。见国际学习表征会议论文集 Proc. ICLR，2025 年。

• [14] Roohani, Y. 等。BioDiscoveryAgent：一个用于设计遗传扰动实验的人工智能智能体。见国际学习表征会议论文集 Proc. ICLR，2025 年。

• [15] Jacobs, A.Z., Wallach, H. 测量与公平。见公平、可问责与透明会议论文集 Proc. ACM FAccT，第 375–385 页，2021 年。doi:10.1145/3442188.3445901。

• [16] Card, D. 等。能力小，责任大。见自然语言处理经验方法会议论文集 Proc. EMNLP，第 9263–9274 页，2020 年。

• [17] Gururangan, S. 等。自然语言推断数据中的标注伪迹。见北美计算语言学协会会议论文集 Proc. NAACL-HLT，第 107–112 页，2018 年。

• [18] Cameron, A.C., Gelbach, J.B., Miller, D.L. 多向聚类下的稳健推断。期刊 J. Business & Economic Statistics，第 29 卷第 2 期，第 238–249 页，2011 年。

• [19] Siegel, Z.S. 等。CORE-Bench：通过计算可复现性智能体基准来培育已发表研究的可信度。预印本 arXiv:2409.11363，2024 年。

• [20] Poliak, A. 等。自然语言推断中只看假设的基线。见词汇与计算语义会议论文集 Proc. SEM*，第 180–191 页，2018 年。

• [21] Kaushik, D., Lipton, Z.C. 阅读理解需要多少阅读？对流行基准的一次批判性调查。见自然语言处理经验方法会议论文集 Proc. EMNLP，第 5010–5015 页，2018 年。

• [22] Feng, S., Wallace, E., Boyd-Graber, J. 部分输入基线所造成的误导性失败。见计算语言学协会会议论文集 Proc. ACL，第 5533–5538 页，2019 年。

• [23] Longpre, S. 等。问答中基于实体的知识冲突。见自然语言处理经验方法会议论文集 Proc. EMNLP，第 7052–7063 页，2021 年。

• [24] Shi, F. 等。大语言模型很容易被无关上下文分散注意力。见国际机器学习会议论文集 Proc. ICML，第 31210–31227 页，2023 年。

• [25] Liu, N.F. 等。迷失在中间：语言模型如何使用长上下文。期刊 TACL，第 12 卷，第 157–173 页，2024 年。

• [26] Sainz, O. 等。陷入困境的自然语言处理评测：需要为每一个基准测量大语言模型的数据污染。见自然语言处理经验方法会议的发现集 Findings of EMNLP，第 10776–10787 页，2023 年。

• [27] Kadavath, S. 等。语言模型大体上知道自己知道什么。预印本 arXiv:2207.05221，2022 年。

• [28] Xiong, M. 等。大语言模型能否表达自己的不确定性？对大语言模型中置信度引出的实证评测。见国际学习表征会议论文集 Proc. ICLR，2024 年。

• [29] Bowman, S.R., Dahl, G.E. 修好自然语言理解中的基准测试需要什么？见北美计算语言学协会会议论文集 Proc. NAACL-HLT，第 4843–4855 页，2021 年。

• [30] Kapoor, S. 等。真正要紧的人工智能智能体。预印本 arXiv:2407.01502，2024 年。