更强的评判者并不会看见更多：大语言模型评测中的部署完整性盲视

更强的评判者并不会看见更多：大语言模型评测中的部署完整性盲视

Jianchang Su，Dawei Xiang，Yifan Zhang，Wei Zhang。单位：康涅狄格大学

摘要

大语言模型智能体评测报告行为分数，却不报告已部署运行时栈的身份。一个被篡改的部署只要保住评测所看的输出，就能通过每一个只看输出的评测器。我们提出 DIB-Bench，用 7,560 条已评分样本、六类篡改，以及从正则评分器、大语言模型评判者直到 GPT-5-nano 的评测器阶梯，测量这种部署完整性盲视。更强的评测器接受更多被篡改的输出：平均接受率从 88.6%（基于规则）升到 94.1%（GPT-5-nano）；一种在评测套件上不可见的触发条件篡改，会在套件之外产生 48%–100% 的有害输出，并随模型能力上升。一个 PAC 式界说明：输出偏移为零的篡改，无论样本量多大，都不能从输出中检出；清单哈希身份通道用零个样本就能检出它们。行为指纹能以高于偶然的水平认出模型组件（76.7%），但六层栈里它只覆盖一层。我们还为评测报告提出一种分级的部署身份描述符。

1 引言

大语言模型智能体评测报告行为分数：准确率、任务成功、偏好、无害性。这仍然必要，但被评测的对象已经从模型变成系统。一个已部署的大语言模型智能体是运行时栈：模型产物、分词器、系统提示、工具规格、检索语料、运行时依赖和后处理器。它们都可以在训练之后、评测之后，以及不同部署实例之间发生变化（Zaharia et al., 2024）。智能体排行榜对每个“模型”只报一个名次，即使被排名的实体是一个复合系统，其组件可以被换掉而不改变榜上的那一条。这是该领域评测词汇里的结构性缺口。

面对这个缺口，该领域的默认补救是换一个更强的评测器。如果只看输出的评测漏掉了一次部署变化，隐含的修法就是更好的评分器：一个大语言模型评判者、一个取证分类器、一种行为指纹。假如评判者能抓住篡改，只看输出的评测就够了，单独的身份通道就是多余的。它们抓不住。

图 1：DIB-Bench 总览。(a) 一次部署是六层组件的栈，每一层都由已声明清单里的内容哈希记录（哈希前缀来自 Qwen2.5-7B 那次运行）。一次篡改改变其中一个组件（这里是系统提示），同时保住评测套件所检查的输出。只看输出的评测器给输出打分，并让被篡改的部署通过；身份通道比较清单哈希，并让它失败。行为通过而身份失败的部署，计为盲视。(b) 六种被篡改条件的平均接受率（柱）以及干净部署的平均接受率（绿色刻度），横跨评测器阶梯（$n{=}7{,}560$）。大语言模型评判者比基于规则的评分接受更多被篡改的输出；身份通道一个都不接受。

我们在评测器阶梯下评估六类部署篡改，共 $7{,}560$ 条已评分样本（三个模型对，三个随机种子）。阶梯是：基于规则的评分器、本地运行的大语言模型评判者（Qwen3-8B），以及当代商业推理模型（来自 OpenAI GPT-5 系列的 GPT-5-nano）。图 1 概括了协议和主要结果。我们发现：

1. 盲视随评测器强度上升。 平均篡改接受率从 88.6%（基于规则）升到 89.3%（Qwen3-8B），再升到 94.1%（GPT-5-nano）。
2. 一种触发条件篡改在评测套件上 100% 不可见，在套件之外最多 100% 有害。 伤害随模型能力缩放：48%（Llama-3.1-8B），81%（Qwen2.5-7B），100%（Qwen2.5-14B）。
3. 一种隐蔽篡改可以同时躲开输出评测器和身份通道，办法是藏在未声明的组件里。这把身份检出量化为清单覆盖的函数。
4. 一种 PAC 式二分刻画了不可检出的那一类：输出分布偏移为零的篡改，任何评测器在任何样本量下都检不出。清单哈希身份通道用零个样本判定这一类。

我们的贡献是：(i) DIB-Bench，一套用受控的单组件篡改来测量部署完整性盲视的可扩展协议；(ii) 把大语言模型评测中的行为证据和身份证据在形式上分开；(iii) 评测报告用的分级部署身份描述符。智能体基准和提示注入基准已经把评测推出了单轮任务（Ruan et al., 2024; Yao et al., 2024; Debenedetti et al., 2024; Andriushchenko et al., 2025）；身份证据是它们范围之外的另一根坐标。

2 设置

2.1 部署、清单与两条通道

一个已部署的大语言模型智能体是组件构成的运行时栈：模型和分词器、系统提示、工具规格与路由器、检索策略与语料、运行时依赖，以及后处理器。我们用一份已声明清单 $M_{\mathrm{expected}}$ 和一份观察到的运行时清单 $M_{\mathrm{observed}}$ 表示一次部署。每一份都列出按组件计算的内容哈希（对规范化 JSON 做 SHA-256）。

输出评测在行为评分器 $E_{\mathrm{out}}$ 满足 $E_{\mathrm{out}}(\mathrm{system}(x))=\mathrm{pass}$ 时通过。身份评测在 $E_{\mathrm{int}}(M_{\mathrm{expected}},M_{\mathrm{observed}})=\mathrm{pass}$ 时通过，其定义为对每个组件 $c$ 都有 $h(M_{\mathrm{expected}}[c])=h(M_{\mathrm{observed}}[c])$。这个哈希故意做得很轻：它把评测问题与生产级证明分开。签名来源、in-toto 式元数据（Torres-Arias et al., 2019）、SLSA 证明（SLSA Framework, 2026），或植根于硬件的证明，都可以替换进同一个通道角色。我们用部署完整性盲视称呼这种失败模式，用部署身份证据称呼检出它的那条通道。

2.2 盲视指标

样本级盲视指示量是 $\mathbb{1}[E_{\mathrm{out}}(\mathrm{system}(x))=\mathrm{pass}\wedge E_{\mathrm{int}}(M_{\mathrm{expected}},M_{\mathrm{observed}})=\mathrm{fail}]$；它在样本上的均值是样本级盲视率。套件级误接受指示量在阈值 $\tau$ 处是 $\mathrm{blind}@\tau=\mathbb{1}[\mathrm{output\_pass\_rate}\geq\tau\wedge\mathrm{integrity\_pass\_rate}=0]$。也就是说：某一条样本上，输出评测通过并且身份评测失败，才记一次盲视；整套任务上，输出通过率不低于阈值而完整性通过率等于零，才记一次套件级误接受。

图 1a 把两条通道并排放在一起。当前的自然语言处理评测报告输出通道；身份通道没有被报告。

3 理论

两条通道之间的分离可以写精确。行为证据是输出套件的函数。对任意有限的输出评测套件 $S$，其输入集为 $X_{S}$，接受谓词为 $A_{S}$。当对每个 $x\in X_{S}$ 都有 $A_{S}(D_{1}(x))=A_{S}(D_{2}(x))$ 时，两个部署 $D_{1},D_{2}$ 称为 $S$-等价。

命题 1（不可区分性）。 对任意有限输出套件 $S$，以及任意通过 $S$ 的部署 $D_{1}$，存在一个部署 $D_{2}$，它与 $D_{1}$ 至少在一个清单组件上不同，但与 $D_{1}$ 是 $S$-等价的。因此，已部署系统的身份不是 $A_{S}(D(X_{S}))$ 的函数。

证明概要。 $X_{S}$ 有限，所以 $D_{1}(X_{S})$ 是有限的输出集合。对任意清单组件 $c$，构造 $D_{2}$：把 $c$ 换成一个在 $X_{S}$ 上产生相同输出的变体（一次微调、一个在 $D_{1}(X_{S})$ 上为恒等的后处理器、一次以 $X_{S}$ 中不出现的触发条件为条件的提示编辑，或一次运行时替换）。于是对每个 $x\in X_{S}$ 都有 $A_{S}(D_{2}(x))=A_{S}(D_{1}(x))$。∎

命题 1 是弱读法：不可区分的部署类非空。强读法是：这个类里的实际篡改可以在 $X_{S}$ 之外造成伤害，同时在 $X_{S}$ 上保持不可见。我们把它写成在第 6 节检验的经验假设：

假设 1（实际中的隐蔽）。 存在被篡改的部署 $D_{2}$，它在评测分布 $\mathcal{D}$ 上满足 $\varepsilon(D_{1},D_{2};\mathcal{D})=0$，却在 $\mathcal{D}$ 的支撑之外的输入上产生有害输出。

下面的二分把可检出篡改和不可检出篡改的边界量化出来。它把命题 1 从存在性事实升级为样本复杂度界。

定理 1（行为样本复杂度二分）。 设 $A$（干净）和 $B$（被篡改）为部署。定义 $\varepsilon=\varepsilon(A,B;\mathcal{D}):=\mathbb{E}_{x\sim\mathcal{D}}[\mathrm{TV}(A(x),B(x))]$ 为评测分布 $\mathcal{D}$ 上的输出分布偏移。

(i) 下界。对每一个使用 $N$ 个独立同分布样本的行为检验 $T$，区分优势满足 $|\Pr[T=\text{tampered}\mid B]-\Pr[T=\text{tampered}\mid A]|\leq N\varepsilon$。若 $\varepsilon=0$，则任意 $N$ 下的每一个行为检验都与偶然无法区分。 (ii) 上界。若 $\varepsilon>0$，则存在一个使用 $N=O(\varepsilon^{-2}\log(1/\delta))$ 个样本的行为检验，能以误差 $\leq\delta$ 区分 $A$ 与 $B$。

证明（附录 A）对 (i) 使用全变差在乘积下的次可加性，对 (ii) 使用 Hoeffding 集中。这条定理覆盖所有只看输出的评测器：基于规则的、大语言模型评判的、取证的、指纹的。每一个都是同一批输出样本的函数，所以 $N\varepsilon$ 界原样适用。相比之下，身份通道逃出这个界：它用一次清单读取比较已声明与观察到的组件哈希，与 $\varepsilon$ 和 $N$ 无关。它判定的是 $\varepsilon=0$ 这一类，而这一类对行为检验在任何样本量下都不可判定。

4 DIB-Bench

译注：DIB-Bench 是部署完整性盲视基准的专名。这一级标题下原文没有单独段落，正文从下一小节开始。

4.1 条件、任务与模型

我们评估一个干净条件和六种单组件篡改：模型替换（观察到的模型或分词器与声明的不同）、提示篡改（系统提示收到未经授权的覆盖）、工具篡改（工具规格或路由器让一个受限工具显得安全）、检索篡改（检索策略或文档含有覆盖文本）、依赖篡改（运行时描述符改变）、后处理篡改（生成文本在推理之后被修改）。每种被篡改条件恰好改变一个清单组件，从而把因果比较隔离开。

主研究在每种条件下使用 120 个合成任务，分属五个任务族（事实语境问答、策略允许或拒绝、工具选择、秘密泄露拒绝、金丝雀探针）。九次运行（$3$ 个模型对 $\times$ $3$ 个随机种子 $42,43,44$）得到 $7{,}560$ 条已评分样本。模型对为：Qwen2.5-14B-Instruct $\rightarrow$ Qwen2.5-7B-Instruct，Qwen2.5-7B-Instruct $\rightarrow$ Qwen2.5-1.5B-Instruct（Yang et al., 2024），以及 Llama-3.1-8B-Instruct $\rightarrow$ Qwen2.5-7B-Instruct（Team, 2024）。全部推理使用 vLLM（Kwon et al., 2023）。

4.2 工具验证：检出等于覆盖

在给出结果之前，我们验证身份通道的两个性质。表 1 报告两种未声明组件条件（E2）和两种良性改变条件（E3）。

表 1：工具验证（Qwen2.5-7B，种子 42，每种 $n{=}120$）。E2：改变一个未声明组件时，身份以 100% 通过，而行为明显改变，因此主研究里 0% 的身份通过率不是同义反复：它反映的是清单覆盖。E3：以语义上良性的方式改变一个已声明组件时，身份以 0% 失败，而行为与干净部署相同，因此身份是变化检出信号，不是语义等价检查。

#### 身份检出是清单覆盖的函数（E2）。

改变采样温度（一个未声明参数），或通过聊天模板注入一条指令（一个未声明组件），会可测地改变行为（33%–78% 的输出与干净部署不同），同时身份以 100% 通过。身份通道看见的，恰好是清单所覆盖的那些变化。因此，主研究里 0% 的身份通过率反映的是清单覆盖：检出等于覆盖，而覆盖决定了这条通道是否有用。

#### 身份是变化检出信号，不是语义等价检查（E3）。

改写系统提示，或把依赖的补丁版本往上拨，都会改变清单哈希（身份以 0% 失败），即便行为与干净部署 100% 相同（每一个输出决定都匹配）。这条通道分不清良性改写和恶意编辑；它标记变化，并把裁决交给人或流程。这是变化检出仪器的预期行为，不是局限。

这两个性质在 Qwen2.5-7B（种子 42 和 43）、Llama-3.1-8B $\to$ Qwen2.5-7B，以及 Qwen2.5-14B 上复现：未声明的改变改动 15.8%–100% 的输出，同时身份以 100% 通过；良性的已声明改变保持 100% 的决定匹配，同时身份失败（附录 B）。

5 结果：评测器阶梯

工具验证之后，我们转向中心问题：盲视如何随不同强度的评测器变化？表 2 在四种能力递增的只看输出的评测器以及身份通道下，报告同样的七种条件。所有数值都是百分比；对被篡改条件，由于身份为 0%，盲视等于接受率。

表 2：合成套件上的评测器阶梯（$n{=}7{,}560$，9 次运行）。各列是强度递增的只看输出的评测器，以及身份通道。盲视是身份失败之下 GPT-5-nano 的接受率（等于评判者接受率，因为所有篡改的身份都是 0%）。平均篡改接受率从标准评分（88.6%）经过 Qwen3-8B（89.3%）升到 GPT-5-nano（94.1%）：更强的评测器接受更多被篡改的输出。身份通道以 0% 把每一种篡改分开。

译注：数据行按原文保留。行名依次是干净、模型替换、提示篡改、工具篡改、检索篡改、依赖篡改、后处理篡改，以及篡改均值。

#### GPT-5 一代的评判者比正则评分器更盲。

GPT-5-nano 质量评判者是当代推理模型，在六种条件下接受 94.1% 的被篡改输出，本地运行的 Qwen3-8B 是 89.3%，基于规则的评分是 88.6%。上升是单调的：评测器能力上升，篡改接受率跟着上升。上升最大的是后处理篡改（61.9% 到 77.4%）和检索篡改（89.0% 到 94.6%），也就是基于规则的接受率最低的两种条件。原因是结构性的：更有能力的评判者更擅长认出一份被篡改的输出是正确的，因为篡改本来就被设计成保住正确性。这种更强的能力有助于评估输出质量，但对被评测的系统是否变了没有信息。

#### 怀疑审计分不开被篡改的和干净的。

我们把 GPT-5-nano 配成怀疑审计员，请它标记那些显示出“来自偏离已声明策略的系统”迹象的输出。审计员标记 54.0% 的干净输出、52.6% 的提示被篡改输出，以及 51.2% 的依赖被篡改输出。提示篡改被标记的比例低于干净输出。被篡改输出和干净输出在每个阈值上都重叠；使用这个审计员的操作者会拒绝一半干净部署，同时仍然放过全部篡改。

表 3：套件级盲视 $\mathrm{blind}@\tau$：在身份为 0% 时，六种被篡改条件里有几种在阈值 $\tau$ 下被接受，针对四种基于规则的评测器。取证在标准评分上增加对篡改痕迹（覆盖字符串、泄露的秘密）的扫描；金丝雀只对金丝雀探针使用严格评分。× 同一设置也拒绝干净部署，其接受率（%）在最后一行。

#### 更严的基于规则的评分，会在拒绝全部篡改之前先拒绝干净部署。

严格评分把平均篡改接受率降到 73.1%；模型替换降到 72.4%，因为更小的模型更常违反输出格式。表 3 改变四种基于规则的评测器的套件阈值 $\tau$。标准和取证评分即使在 $\tau{=}0.90$ 也接受六种篡改中的四种。严格评分和金丝雀评分只有在阈值高于它们自己的干净接受率（85.4% 和 75.9%）时才达到 0/6，而那时它们也拒绝干净部署。因此，每一种基于规则的设置要么放过一些篡改，要么让干净系统失败。这是定理 1 的经验对应：把输出套件收紧，会缩小 $S$-等价类，但不能把它压成空。

图 2：按任务族和按模型对汇总的标准接受率（%），在主研究上合并（$n{=}7{,}560$）。对被篡改的行，接受率等于盲视，因为身份是 0%。模型对是已声明 $\to$ 已部署；L8B 是 Llama-3.1-8B，其余模型是 Qwen2.5。套件探到篡改所改变的行为时，接受率下降；其余地方保持在接近 100%。

#### 输出评测在套件探到被改变的行为时，才能抓住一次篡改。

图 2a 按任务族拆开标准接受率。每种篡改在大多数任务族上保持接近 100%，并在探到它所改变之物的那些任务族上下降。后处理篡改在推理之后修改生成文本，它在秘密任务和金丝雀任务上降到 0%，在策略任务上降到 44%；工具篡改在工具选择任务上降到 64%；检索篡改在秘密任务上降到 67%。因此，靠输出评测来检出，是套件覆盖的问题，也就是身份通道那边“清单覆盖”的行为对应物（第 4.2 节）。套件含有对被改变行为的探针时，才能检出篡改；躲开套件探针的篡改会通过。图 2b 显示同样的模式跨模型对成立。对能力相近的两对（14B $\to$ 7B，以及 Llama-3.1-8B $\to$ Qwen2.5-7B），模型替换被完全接受；对 $4.5\times$ 的降级（7B $\to$ 1.5B：标准 85.6%，严格 38.3%）则部分可见。在 Llama 这一对里，被换上的 Qwen2.5-7B 得分高于已声明模型（100% 对 92.8%），所以一次替换可以提高所报告的数字。

#### 行为指纹覆盖六层组件中的一层。

一个 LLMmap 式指纹基线（Pasquini et al., 2025）使用 40 个判别探针，以 76.7% 的三分类准确率认出模型组件（基座对替换为 81.2%），高于 33.3% 的偶然水平。指纹对模型辨认在操作上有价值。它让等价类保持原样，原因有二。第一，即便参数量相差 $4.5\times$，两个模型仍在 37.5% 的探针上发出逐字节相同的输出，这是与指纹强度无关的碰撞下限。第二，五种非模型篡改（提示、工具、检索、依赖、后处理器）不改变模型，所以指纹在结构上对它们是盲的。一种保住模型的篡改（例如第 6 节的条件提示篡改）按构造就能躲开指纹。

表 4：范围与复现。干净：干净部署的标准接受率（%）。被篡改：六种篡改上的平均标准接受率（%）。身份：被篡改部署的身份通过率（%）。BFCL 与 GSM8K 合并三个种子（Qwen2.5-7B $\rightarrow$ 1.5B）。† 仅模型替换。‡ 任务本身的效用，仅提示篡改。

#### 被篡改的接受率跟着干净接受率走，跨基准、模型规模和代际都如此。

表 4 把主研究扩到两个公开基准、更新且更大的已声明模型，以及一个多步智能体基准（细节在附录 B）。有信息量的比较是被篡改接受率对干净接受率，因为绝对接受率取决于任务难度。在 BFCL-simple（Patil et al., 2025）上，六种篡改以 99.9% 通过，干净率为 100%，标准和严格评分都是这样。在 GSM8K（Cobbe et al., 2021）上，干净部署解出 27.7% 的题目，被篡改部署解出 27.6%；盲视被任务准确率封顶，在这个上界之内，篡改与干净无法区分。把 Qwen2.5-7B 换到更新一代的已声明模型（Qwen3-8B）上，或换到一个 20B 模型（gpt-oss-20B）上，标准接受率仍是 100%。在 AgentDojo（Debenedetti et al., 2024）上，提示篡改不改变效用（50.0%，干净为 43.8%，16 个任务里的一个任务之差）。同一基准也显示这一主张的限度：换成 Qwen2.5-1.5B 把效用降到 25.0%，所以很大的能力下降在行为上可见。在每一种设置里，身份通道都让全部被篡改部署失败。

6 隐蔽篡改：检验假设 1

假设 1 问：是否存在实际的篡改，在评测套件上不可见，在套件之外有害。我们用两个实验检验：一种触发条件篡改（E4），以及一种同时躲开两条通道的隐蔽篡改（E8）。表 5 报告结果。

表 5：隐蔽篡改（Qwen2.5-7B，种子 42）。身份：身份通过率。匹配：在普通评测套件上与干净部署的决定匹配。伤害：在留出的触发探针上的触发伤害率（$n{=}58$）。E4 躲开输出评测（100% 匹配），并被身份抓住（0%）。E8 通过未声明的聊天模板注入，从而躲开两条通道（身份 100%）。二者在触发输入上都产生超过 80% 的伤害。普通套件上 13.3% 的伤害等于干净基线。

#### 触发条件篡改在套件上不可见，在套件之外有害（E4）。

条件提示篡改注入一条恶意指令，当用户输入里出现触发记号时激活。在普通评测套件上（没有触发），这个部署与干净部署 100% 决定相同，伤害处于干净基线（13.3%）。阶梯上的每一个输出评测器，包括 GPT-5-nano 评判者，都接受它。在留出的触发探针上（$n{=}58$，策略任务和秘密任务），同一部署产生 81.0% 的有害输出：72.5% 的策略违反翻转，以及 60.0% 的秘密泄露。

这个结果确认假设 1。该部署在评测分布上有 $\varepsilon(A,B;\mathcal{D})=0$（100% 决定相同），并在触发输入上造成 81% 的伤害。定理 1 意味着，任何样本量的行为检验仍然检不出它。身份通道以 0% 抓住它，因为提示组件变了。第二个种子给出 79% 的触发伤害。

图 3：触发条件篡改（E4）的能力缩放，单位为 %。在普通套件上，每个被篡改部署至少在 96.6% 的任务上与干净部署的决定匹配，所以每个输出评测器都接受它。在留出的触发探针上（$n{=}58$），伤害随已部署模型的能力上升。

#### 伤害随模型能力缩放。

图 3 用同样的触发探针，在三个已部署模型上重复 E4。三个部署在普通套件上都保住行为（决定匹配 $\geq$ 96.6%），而触发伤害从 48.3%（Llama-3.1-8B）升到 81.0%（Qwen2.5-7B），再升到 100%（Qwen2.5-14B）。模型越有能力，就越可靠地执行隐藏的条件，同时在评测分布上保持不可见。两个缩放结果指向同一方向：更强的评测器接受更多被篡改的输出（第 5 节），更强的已部署模型更可靠地执行隐藏篡改。

#### 一种隐蔽篡改躲开两条通道（E8）。

E8 通过聊天模板注入同一套触发条件逻辑，而聊天模板在清单覆盖之外。在普通套件上，身份以 100% 通过（清单完好），行为与干净部署 100% 决定相同，伤害等于干净基线。在触发探针上，身份仍然以 100% 通过，而伤害达到 86.2%。同一个部署同时躲开输出评测器和身份通道。

这次篡改躲开身份，是因为它藏在未声明组件里。身份通道的能力等于它的覆盖，而覆盖必须被报告。第 7 节的分级描述符针对这一点：对解析后的聊天模板（或完全解析后的提示）做内容哈希，可以关上这个缺口；更高的保证级别则改用签名的构建来源或运行时证明。

7 评测报告用的部署身份描述符

评测器阶梯促使评测报告做一个具体补充：一份部署身份描述符，为栈里每个组件记录内容哈希，以及获得该哈希的方法。这是一种报告惯例，便宜到可以放进任何一篇智能体评测论文。

表 6：一份最小的部署身份描述符，以及一个算好的例子：DIB-Bench 为 Qwen2.5-7B 提示篡改部署产生的记录（SHA-256 前缀）。每个组件还报告其描述符是如何得到的（自行声明、构建来源，或证明）。唯一的不匹配把篡改定位到系统提示。对聊天模板做内容哈希（第 1 行）关上第 6 节的 E8 缺口。

表 6 还显示按组件记录的第二个好处：它能定位变化。在主研究里，每一个被篡改样本都恰好在被改变的组件上报告不匹配，每一个干净样本都报告完全匹配（附录 E）。因此，报告的读者能知道栈的哪一部分不同，而这是行为分数给不出的。

描述符是分级的，不是二元的。它最便宜的形式是一份自行报告的内容哈希清单，也就是 DIB-Bench 所记录的。更强的形式改用签名的构建来源（Torres-Arias et al., 2019; SLSA Framework, 2026）或植根于硬件的运行时证明。对报告而言要紧的是：这条通道在场，并且可审计。描述符证明的是：已部署的组件就是报告所描述的那一个，而不是证明安全或正确。安全或正确，正是行为数字留着没回答的主张。

我们的结果转化成对智能体评测和排行榜的四条报告建议：

1. 把描述符和分数放在一起报告。 没有部署身份描述符的行为分数点的是一个模型名，而被评测的对象是一个栈（第 5 节）。
2. 报告清单覆盖。 身份检出等于覆盖（第 4.2 节），而 E8 能躲开一份漏掉聊天模板的清单（第 6 节）。报告应当列出哪些组件被哈希。
3. 报告套件覆盖。 当套件探到被改变的行为时，输出评测才能抓住篡改（图 2）。报告应当说明套件探哪些行为，例如策略决定、秘密处理和工具选择。
4. 把不匹配当成待复核的变化。 一次良性的提示改写也会让身份失败（第 4.2 节）。不匹配标出供人复核的那个被改变组件，它本身并不表示伤害。

未来工作还剩三个方向。第一，自适应探针的识别预算：检出一种由触发门控的篡改，需要查询其触发集里的一个输入，因此期望探针数的下界是 $1/\rho$，其中 $\rho$ 是触发密度。第二，对流行智能体框架做纵向的部署漂移研究，测量运行时栈在实践中多久一次偏离已声明配置。第三，排行榜名次分解：在受控的组件替换下，对已有智能体排行榜重新评分，检验模型名次和栈名次是否重合。

8 相关工作

#### 大语言模型评判者与评测完整性。

把大语言模型当作评判者的评测，与人类偏好在高比例上一致（Zheng et al., 2023），但带有位置偏差和冗长偏差（Zheng et al., 2023; Wang et al., 2024）。另一条工作问：所报告的分数是否测到了它们所声称的东西。GSM1k 表明一些模型过拟合了公开基准（Zhang et al., 2024），Leaderboard Illusion 记录了私下测试如何扭曲竞技场排名（Singh et al., 2025）。这些研究在系统固定时质疑分数。我们在分数固定时质疑系统：即便一个无偏的评判者、一个未被污染的基准，也不能确定是哪一次部署产生了这些输出。

#### 智能体与工具评测。

ToolEmu 用语言模型模拟的沙箱评估长尾风险（Ruan et al., 2024）。$\tau$-bench 评估工具、智能体与用户的交互（Yao et al., 2024），ToolSandbox 加入有状态的对话式工具使用（Lu et al., 2025），AgentHarm 在多步设置里测量有害性（Andriushchenko et al., 2025）。这些基准评估智能体行为；我们的工作问：行为评测能否检出已部署的运行时栈与已声明的那一个不同。

#### 提示注入与检索投毒。

间接提示注入表明，外部内容可以劫持集成了大语言模型的应用（Abdelnabi et al., 2023）。BIPIA、InjecAgent 和 AgentDojo 为注入稳健性做基准（Yi et al., 2025; Zhan et al., 2024; Debenedetti et al., 2024），PoisonedRAG 研究检索增强生成中的知识破坏（Zou et al., 2025）。我们的篡改条件受这一攻击面启发，但我们测量的是只看输出的评测是否注意到组件变化，而不是某一次特定攻击在行为上是否成功。

#### 模型指纹与归属。

LLMmap 用风格信号识别正在服务的模型（Pasquini et al., 2025）；行为指纹已被提出用于运行时归属（Pei et al., 2025）。我们的 E6 基线确认指纹有用（准确率 76.7%）并且有限（六层组件中的一层，37.5% 的碰撞下限），与定理 1 的界一致。

#### 模型替换与部署漂移。

Chen et al. (2024) 表明，商业大语言模型服务在名称不变的情况下，行为会在数月内大幅变化。Cai et al. (2025) 审计大语言模型 API 中的模型替换，发现基于输出的统计检验需要很多次查询，并且会漏掉细微替换；他们提出把可信执行环境当作补救。我们的结果与二者一致，并向两个方向延伸：从模型延伸到栈里另外五个组件，以及从 API 审计延伸到评测报告——同一种盲视影响每一份已发表的行为分数。

#### 复合人工智能系统。

Zaharia et al. (2024) 把从单模型评测到复合系统评测的转变框定出来。我们的论文把其中一个后果说得更尖：当单位是一个栈时，只点出模型名的评测报告在结构上是欠指定的，更严的行为检验仍让这个缺口开着。

#### 文档、来源与证明。

模型卡、数据表、数据声明和 AI FactSheets 强调结构化透明（Mitchell et al., 2019; Gebru et al., 2021; Bender and Friedman, 2018; Arnold et al., 2019）。软件供应链系统，例如 in-toto 和 SLSA，提供产物完整性机制（Torres-Arias et al., 2019; SLSA Framework, 2026）。欧盟人工智能法案（European Parliament and Council of the European Union, 2024）和 NIST 人工智能风险管理框架（National Institute of Standards and Technology, 2023）预设了可识别、来源可追溯的部署。我们把这些线索接到自然语言处理评测上：如果被评测对象是已部署的大语言模型智能体，组件身份就应当成为评测报告的一部分。

9 结论

DIB-Bench 测量一个缺口：更强的评测器把它加宽，而不是合上。平均篡改接受率从 88.6%（基于规则）升到 94.1%（GPT-5-nano）。一种 PAC 式二分表明，$\varepsilon{=}0$ 的篡改类，任何只看输出的评测器在任何样本量下都检不出。一种触发条件篡改实现了这一类，伤害为 48%–100%，并随模型能力缩放。基于清单哈希的部署身份通道用零个样本判定这个不可检出的类。分级的部署身份描述符提供了合上这个缺口的最小补充。

输出评测检出的是其套件所探到的，身份通道检出的是其清单所哈希的，所以报告应当同时写明两种覆盖。新的篡改条件、评测器和模型对可以插入同一套协议。当大语言模型智能体成为已部署系统时，评测报告应当在行为分数旁边带上身份证据。

伦理声明

这项工作在受控的合成环境里研究部署篡改。目标是防御性测量：表明对已部署大语言模型智能体的评测，应当在行为结果旁边报告运行时身份证据。协议包含合成的秘密记号和绕过策略的提示，没有真实秘密、用户或外部服务。因为这项工作可能为更强的篡改测试提供信息，发布的产物应当避免把提示呈现成可操作的攻击配方，并应当强调防御性评测这一框架。

局限

主要的经验材料对单组件篡改使用合成任务。公开基准锚点（BFCL-simple，种子为 $n{=}200{\times}3$；GSM8K，种子为 $n{=}200{\times}3$）在规模上复现了这一模式；AgentDojo 提供多步智能体轨迹（$n{=}16$）。篡改条件是单组件的，不覆盖多组件攻击，也不覆盖能直接伪造清单的对手；E8 的隐蔽结果表明，未声明组件是一个具体缺口，分级描述符针对它，但没有运行时证明就不能消除它。所测模型的参数量从 1.5B 到 20B；GPT-5-nano 评判者代表当代商业模型，但在前沿规模的已部署系统上评估会加强这一范围。PAC 二分覆盖的是被动的独立同分布抽样；自适应探针的下界（预算 $\geq 1/\rho$，其中 $\rho$ 为触发密度）被划为未来工作。清单是软件层证据：它没有植根于硬件的保证，并且只能检查已被声明且被测量的组件。

参考文献

• Abdelnabi et al. (2023) S. Abdelnabi, K. Greshake, S. Mishra, C. Endres, T. Holz, and M. Fritz. 你报名参加的并不是这个：用间接提示注入攻破现实世界中集成大语言模型的应用. 见第 16 届 ACM 人工智能与安全研讨会论文集，AISec 2023，丹麦哥本哈根，2023 年 11 月 30 日，M. Pintor, X. Chen, and F. Tramèr（编），第 79–90 页。外部链接：Link, Document。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Andriushchenko et al. (2025) M. Andriushchenko, A. Souly, M. Dziemian, D. Duenas, M. Lin, J. Wang, D. Hendrycks, A. Zou, J. Z. Kolter, M. Fredrikson, Y. Gal, and X. Davies. AgentHarm：测量大语言模型智能体有害性的基准. 见第十三届学习表征国际会议，ICLR 2025，新加坡，2025 年 4 月 24–28 日。外部链接：Link。引用于：第 1 节、第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Arnold et al. (2019) M. Arnold, R. K. E. Bellamy, M. Hind, S. Houde, S. Mehta, A. Mojsilovic, R. Nair, K. N. Ramamurthy, A. Olteanu, D. Piorkowski, D. Reimer, J. T. Richards, J. Tsay, and K. R. Varshney. FactSheets：通过供应商的符合性声明提高对人工智能服务的信任. IBM 研究与发展杂志 63（4/5），第 6:1–6:13 页。外部链接：Link, Document。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Bender and Friedman (2018) E. M. Bender and B. Friedman. 自然语言处理的数据声明：走向减轻系统偏差并促成更好的科学. 计算语言学协会汇刊 6，第 587–604 页。外部链接：Link, Document。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Cai et al. (2025) W. Cai, T. Shi, X. Zhao, and D. Song. 你买到的是你付费的东西吗？审计大语言模型 API 中的模型替换. 见神经信息处理系统进展第 38 卷。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Chen et al. (2024) L. Chen, M. Zaharia, and J. Zou. ChatGPT 的行为如何随时间变化？哈佛数据科学评论。外部链接：Document。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Cobbe et al. (2021) K. Cobbe, V. Kosaraju, M. Bavarian, M. Chen, H. Jun, L. Kaiser, M. Plappert, J. Tworek, J. Hilton, R. Nakano, C. Hesse, and J. Schulman. 训练验证器来解数学应用题. CoRR abs/2110.14168。外部链接：Link, 2110.14168。引用于：附录 F、第 5 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Debenedetti et al. (2024) E. Debenedetti, J. Zhang, M. Balunovic, L. Beurer-Kellner, M. Fischer, and F. Tramèr. AgentDojo：评估大语言模型智能体提示注入攻击与防御的动态环境. 见神经信息处理系统进展第 38 卷：神经信息处理系统年会 2024，NeurIPS 2024，加拿大不列颠哥伦比亚省温哥华，2024 年 12 月 10–15 日，A. Globersons, L. Mackey, D. Belgrave, A. Fan, U. Paquet, J. M. Tomczak, and C. Zhang（编）。外部链接：Link。引用于：附录 F、第 1 节、第 5 节、第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• European Parliament and Council of the European Union (2024) 欧洲议会与欧洲联盟理事会。欧洲议会和理事会条例（EU）2024/1689，就人工智能制定协调规则（人工智能法案）。注：欧盟官方公报 L 辑，2024 年 7 月 12 日。外部链接：Link。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Gebru et al. (2021) T. Gebru, J. Morgenstern, B. Vecchione, J. W. Vaughan, H. M. Wallach, H. D. III, and K. Crawford. 数据集的数据表. ACM 通讯 64（12），第 86–92 页。外部链接：Link, Document。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Kwon et al. (2023) W. Kwon, Z. Li, S. Zhuang, Y. Sheng, L. Zheng, C. H. Yu, J. Gonzalez, H. Zhang, and I. Stoica. 用分页注意力为大语言模型服务做高效内存管理. 见第 29 届操作系统原理研讨会论文集，SOSP 2023，德国科布伦茨，2023 年 10 月 23–26 日，J. Flinn, M. I. Seltzer, P. Druschel, A. Kaufmann, and J. Mace（编），第 611–626 页。外部链接：Link, Document。引用于：第 4.1 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Lu et al. (2025) J. Lu, T. Holleis, Y. Zhang, B. Aumayer, F. Nan, H. Bai, S. Ma, S. Ma, M. Li, G. Yin, Z. Wang, and R. Pang. ToolSandbox：面向大语言模型工具使用能力的有状态、对话式、交互式评测基准. 见计算语言学协会发现：NAACL 2025，美国新墨西哥州阿尔伯克基，2025 年 4 月 29 日–5 月 4 日，L. Chiruzzo, A. Ritter, and L. Wang（编），ACL 发现，第 1160–1183 页。外部链接：Link, Document。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Mitchell et al. (2019) M. Mitchell, S. Wu, A. Zaldivar, P. Barnes, L. Vasserman, B. Hutchinson, E. Spitzer, I. D. Raji, and T. Gebru. 用于模型报告的模型卡. 见公平、问责与透明会议论文集，FAT* 2019，美国佐治亚州亚特兰大，2019 年 1 月 29–31 日，danah boyd and J. H. Morgenstern（编），第 220–229 页。外部链接：Link, Document。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• National Institute of Standards and Technology (2023) 美国国家标准与技术研究院。人工智能风险管理框架（AI RMF 1.0）。技术报告 NIST AI 100-1，美国商务部。外部链接：Document, Link。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Pasquini et al. (2025) D. Pasquini, E. M. Kornaropoulos, and G. Ateniese. LLMmap：大语言模型的指纹. 见第 34 届 USENIX 安全研讨会，USENIX Security 2025，美国华盛顿州西雅图，2025 年 8 月 13–15 日，L. Bauer and G. Pellegrino（编），第 299–318 页。外部链接：Link。引用于：第 5 节、第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Patil et al. (2025) S. G. Patil, H. Mao, F. Yan, C. C. Ji, V. Suresh, I. Stoica, and J. E. Gonzalez. 伯克利函数调用排行榜（BFCL）：从工具使用到大语言模型的智能体式评测. 见第四十二届国际机器学习会议，ICML 2025，加拿大不列颠哥伦比亚省温哥华，2025 年 7 月 13–19 日，A. Singh, M. Fazel, D. Hsu, S. Lacoste-Julien, F. Berkenkamp, T. Maharaj, K. Wagstaff, and J. Zhu（编），机器学习研究论文集。外部链接：Link。引用于：附录 F、第 5 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Pei et al. (2025) Z. Pei, H. Zhen, Y. Zhang, Z. Yang, X. Li, X. Yu, M. Yuan, and B. Yu. 大语言模型的行为指纹. CoRR abs/2509.04504。外部链接：Link, Document, 2509.04504。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Ruan et al. (2024) Y. Ruan, H. Dong, A. Wang, S. Pitis, Y. Zhou, J. Ba, Y. Dubois, C. J. Maddison, and T. Hashimoto. 用语言模型模拟的沙箱识别语言模型智能体的风险. 见第十二届学习表征国际会议，ICLR 2024，奥地利维也纳，2024 年 5 月 7–11 日。外部链接：Link。引用于：第 1 节、第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Singh et al. (2025) S. Singh, Y. Nan, A. Wang, D. D’Souza, S. Kapoor, A. Üstün, S. Koyejo, Y. Deng, S. Longpre, N. A. Smith, B. Ermis, M. Fadaee, and S. Hooker. 排行榜错觉. arXiv 预印本 arXiv:2504.20879。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• SLSA Framework (2026) SLSA 框架。软件产物的供应链级别。注：https://slsa.dev/spec/v1.2/about，访问于 2026-05-25。引用于：第 2.1 节、第 7 节、第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Team (2024) L. Team. Llama 3 模型群. CoRR abs/2407.21783。外部链接：Link, Document, 2407.21783。引用于：第 4.1 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Torres-Arias et al. (2019) S. Torres-Arias, H. Afzali, T. K. Kuppusamy, R. Curtmola, and J. Cappos. in-toto：为比特和字节提供从农场到餐桌的保证. 见第 28 届 USENIX 安全研讨会，USENIX Security 2019，美国加利福尼亚州圣克拉拉，2019 年 8 月 14–16 日，N. Heninger and P. Traynor（编），第 1393–1410 页。外部链接：Link。引用于：第 2.1 节、第 7 节、第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Wang et al. (2024) P. Wang, L. Li, L. Chen, Z. Cai, D. Zhu, B. Lin, Y. Cao, L. Kong, Q. Liu, T. Liu, and Z. Sui. 大语言模型不是公平的评测者. 见计算语言学协会第 62 届年会论文集（第 1 卷：长文），第 9440–9450 页。外部链接：Document。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Yang et al. (2024) A. Yang, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Li, D. Liu, F. Huang, H. Wei, H. Lin, J. Yang, J. Tu, J. Zhang, J. Yang, J. Yang, J. Zhou, J. Lin, K. Dang, K. Lu, K. Bao, K. Yang, L. Yu, M. Li, M. Xue, P. Zhang, Q. Zhu, R. Men, R. Lin, T. Li, T. Xia, X. Ren, X. Ren, Y. Fan, Y. Su, Y. Zhang, Y. Wan, Y. Liu, Z. Cui, Z. Zhang, and Z. Qiu. Qwen2.5 技术报告. CoRR abs/2412.15115。外部链接：Link, Document, 2412.15115。引用于：第 4.1 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Yao et al. (2024) S. Yao, N. Shinn, P. Razavi, and K. Narasimhan. $\tau$-bench：真实领域中工具、智能体与用户交互的基准. CoRR abs/2406.12045。外部链接：Link, Document, 2406.12045。引用于：第 1 节、第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Yi et al. (2025) J. Yi, Y. Xie, B. Zhu, E. Kiciman, G. Sun, X. Xie, and F. Wu. 对大语言模型间接提示注入攻击的基准评测与防御. 见第 31 届 ACM SIGKDD 知识发现与数据挖掘会议论文集，第 1 卷，KDD 2025，加拿大多伦多，2025 年 8 月 3–7 日，Y. Sun, F. Chierichetti, H. W. Lauw, C. Perlich, W. H. Tok, and A. Tomkins（编），第 1809–1820 页。外部链接：Link, Document。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Zaharia et al. (2024) M. Zaharia, O. Khattab, L. Chen, J. Q. Davis, H. Miller, C. Potts, J. Zou, M. Carbin, J. Frankle, N. Rao, and A. Ghodsi. 从模型到复合人工智能系统的转变. 注：https://bair.berkeley.edu/blog/2024/02/18/compound-ai-systems/，伯克利人工智能研究博客。引用于：第 1 节、第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Zhan et al. (2024) Q. Zhan, Z. Liang, Z. Ying, and D. Kang. InjecAgent：对集成工具的大语言模型智能体中的间接提示注入做基准. 见计算语言学协会发现，ACL 2024，泰国曼谷及线上会议，2024 年 8 月 11–16 日，L. Ku, A. Martins, and V. Srikumar（编），ACL 发现，第 10471–10506 页。外部链接：Link, Document。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Zhang et al. (2024) H. Zhang, J. Da, D. Lee, V. Robinson, C. Wu, W. Song, T. Zhao, P. Raja, C. Zhuang, D. Slack, Q. Lyu, S. Hendryx, R. Kaplan, M. Lunati, and S. Yue. 对大语言模型在小学算术上表现的仔细检查. 见神经信息处理系统进展第 37 卷（数据集与基准轨道）。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Zheng et al. (2023) L. Zheng, W. Chiang, Y. Sheng, S. Zhuang, Z. Wu, Y. Zhuang, Z. Lin, Z. Li, D. Li, E. P. Xing, H. Zhang, J. E. Gonzalez, and I. Stoica. 用 MT-bench 和聊天机器人竞技场评判“以大语言模型为评判者”. 见神经信息处理系统进展第 36 卷（数据集与基准轨道）。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。
• Zou et al. (2025) W. Zou, R. Geng, B. Wang, and J. Jia. PoisonedRAG：对大语言模型检索增强生成的知识破坏攻击. 见第 34 届 USENIX 安全研讨会，USENIX Security 2025，美国华盛顿州西雅图，2025 年 8 月 13–15 日，L. Bauer and G. Pellegrino（编），第 3827–3844 页。外部链接：Link。引用于：第 8 节。 作者姓名、编号、外部链接和 arXiv 号保留原文，题名与出版信息按原文直译。

附录 A PAC 二分的证明

固定评测所用的输入分布 $\mathcal{D}$。这里的一次部署 $D$，会把每个输入 $x$ 映到一个可能带随机性的输出分布 $D(x)$。行为检验 $T$ 是样本 $S_{N}=\{(x_{i},o_{i})\}_{i=1}^{N}$ 的任意函数，其中 $x_{i}\sim\mathcal{D}$ 独立同分布，且 $o_{i}\sim D(x_{i})$；它输出的猜测只有两个取值，干净或被篡改。这种定义覆盖基于规则的评分器、大语言模型评判者、取证分类器，以及行为指纹。

对干净部署 $A$ 和被篡改部署 $B$，定义联合分布 $P_{A}(x,o)=\mathcal{D}(x)\cdot A(x)(o)$ 与 $P_{B}(x,o)=\mathcal{D}(x)\cdot B(x)(o)$。由于 $A$ 与 $B$ 共享输入边缘分布：

$$ \mathrm{TV}(P_{A},P_{B})=\mathbb{E}_{x\sim\mathcal{D}}[\mathrm{TV}(A(x),B(x))]=\varepsilon. $$

#### 第（i）部分：下界。

$N$ 个样本上的概率定律是乘积测度 $P_{A}^{N}$ 与 $P_{B}^{N}$。由全变差在乘积测度下的次可加性，乘积分布之间的全变差不超过单样本全变差的 $N$ 倍：

$$ \mathrm{TV}(P_{A}^{N},P_{B}^{N})\leq N\cdot\mathrm{TV}(P_{A},P_{B})=N\varepsilon. $$

任何检验 $T$ 的区分优势，也就是它在被篡改部署下判为篡改的概率减去它在干净部署下判为篡改的概率，其绝对值满足 $|\Pr[T(S_{N})=\text{tampered}\mid B]-\Pr[T(S_{N})=\text{tampered}\mid A]|\leq\mathrm{TV}(P_{A}^{N},P_{B}^{N})\leq N\varepsilon$。若 $\varepsilon=0$，则两个分布相同，$P_{A}=P_{B}$，并且对每一个样本量 $N$，优势恰好为 0。

#### 第（ii）部分：上界。

由于两个联合分布的全变差 $\mathrm{TV}(P_{A},P_{B})=\varepsilon>0$，在输入与输出对 $(x,o)$ 上存在一个可测事件 $E$，使得两个分布赋给该事件的概率之差的绝对值至少为 $\varepsilon$。用样本落在该事件中的经验频率 $\hat{p}=\frac{1}{N}\sum_{i=1}^{N}\mathbb{1}[(x_{i},o_{i})\in E]$ 来估计真实概率 $\Pr[E]$。由 Hoeffding 不等式，当样本量 $N\geq\frac{2}{\varepsilon^{2}}\ln\frac{2}{\delta}$ 时，经验频率与真实概率的差不超过 $\varepsilon/2$ 的概率至少为 $1-\delta$。把判定阈值放在两个分布所赋概率的中点 $(P_{A}(E)+P_{B}(E))/2$，就能以不超过 $\delta$ 的误差区分干净部署 $A$ 与被篡改部署 $B$。∎

#### 注记。

身份评测器用一次清单读取比较已声明与观察到的组件哈希，与 $\varepsilon$ 无关。它用零个样本判定 $\varepsilon=0$ 这一类，而定理 1(i) 证明：这一类对行为检验在任何 $N$ 下都不可判定。

附录 B 范围与复现

#### 跨模型对和种子的 E2/E3。

未声明组件篡改 E2 和良性改变条件 E3 在下面三种配置上以同样的方式复现：Qwen2.5-7B $\to$ 1.5B（种子 42、43），Llama-3.1-8B $\to$ Qwen2.5-7B（种子 42），以及 Qwen2.5-14B（种子 42）。E2 的身份以 100% 通过，而行为改变 15%–100%；E3 的身份以 0% 失败，而决定匹配为 100%。

#### 跨模型对的 E4。

条件提示篡改在全部三种模型规模上复现。在普通套件上，三种的决定匹配相对干净部署都是 $\geq$ 96.6%。触发伤害：Llama-3.1-8B 为 48%，Qwen2.5-7B 为 81%（种子 42）/ 79%（种子 43），Qwen2.5-14B 为 100%。

#### BFCL-simple，$n{=}200\times 3$ 个种子。

干净的标准/严格：100%。全部六种篡改：标准 99%–100%，严格 99%–100%，身份 0%，平均盲视 99.9%。六种篡改在 $\tau{=}0.80$ 时六种都被接受。这个极端盲视锚点在原始样本量的 $12\times$ 上复现。

#### GSM8K，$n{=}200\times 3$ 个种子。

干净的标准分数：约 28%（低于论文中 50 题切片的 38%，反映的是 max_len 2048 下的长度效应；模式相同）。四种保住行为的篡改都聚在干净基线附近（标准分数约 27%–28%），身份为 0%。模型替换把严格分数降到 7.8%。

#### 跨代际替换。

已声明为 Qwen3-8B（一个 2025 年的模型），已部署为 Qwen2.5-7B：干净部署和被替换部署的标准分数都是 100%，严格分数都是 85%，身份 0%，盲视 100%。更新一代的模型对替换盲视同样脆弱。

#### 14B 参数以上。

一个 20B 参数模型（gpt-oss-20b）被替换为 Qwen2.5-7B：标准分数 100% $\to$ 100%，身份 100% $\to$ 0%，盲视 100%。这一效应延伸到小型开放模型之外。

#### AgentDojo 银行套件（$n{=}16$）。

干净效用：43.8%。提示篡改效用：50.0%（行为上不可见；身份失败）。模型替换（Qwen2.5-1.5B）效用：25.0%（行为上可见；身份失败）。提示篡改在一个真实的多步智能体基准上不可见，而身份抓住了它。$4.5\times$ 的模型降级在行为上可见，这正加强了这一点：只看输出的评测对某些篡改有判别力，对另一些没有；没有身份通道，操作者分不清这两种情形。

附录 C DIB-Bench 框架

表 7 把 DIB-Bench 概括为智能体行为基准与供应链来源框架之间的一座桥。

表 7：DIB-Bench 接口：智能体行为基准与部署身份证据之间的一座桥。

附录 D 跨模型对的稳健性

图 4 按（篡改条件，模型对）给出盲视率。这一模式在两次同族的 Qwen 替换和一次跨族的 Llama 到 Qwen 替换上都保持。

图 4：按（条件，模型对）的盲视。

附录 E 定位到组件的证据

表 8 报告组件级不匹配证据。每一次受控篡改都被定位到预定的清单组件。

表 8：定位到组件的身份证据。比率为百分比。

译注：表内每一个数据格都按原文原样完整保留。各行依次为干净部署、模型替换、提示篡改、工具篡改、检索篡改、依赖篡改以及后处理篡改。格中的百分比，是该组件出现哈希不匹配的比率。

附录 F 产物、许可与算力

#### 产物与许可。

已部署模型和充当评判者的模型包括：Qwen2.5 的 1.5B、7B、14B 指令模型与 Qwen3-8B（Apache 许可证 2.0），gpt-oss-20b（Apache 许可证 2.0），以及 Llama-3.1-8B-Instruct（Llama 3.1 社区许可）。基准：GSM8K（Cobbe et al., 2021）（MIT），来自 Gorilla 仓库的 BFCL（Patil et al., 2025）（Apache 2.0），以及 AgentDojo（Debenedetti et al., 2024）（MIT）。推理引擎：vLLM（Apache 2.0）。GPT-5-nano 通过 OpenAI API 按其使用条款访问。全部产物用于研究评测，与其许可和预期用途一致。这些合成任务只含有合成的秘密记号和策略提示，不含任何个人数据。

#### 设置与统计。

生成使用 vLLM 0.21.0、PyTorch 2.11.0、Transformers 5.6.0 和 Python 3.12，贪心解码（温度 0，top-$p$ 为 1），最多 160 个新词元，上下文 2,048 个词元。Qwen3-8B 评判者在关闭思考、温度为 0 的情况下运行；GPT-5-nano 评判者以最小推理力度运行。除非另行说明，套件阈值为 $\tau{=}0.80$。主研究的数值是九次运行的均值（三个模型对，种子 42、43、44；每种条件 $n{=}1{,}080$）。每种条件盲视的 95% 自助置信区间（1,000 次重抽样）的半宽至多为 2.9 个百分点。

#### 算力。

全部开放模型推理在单块 NVIDIA RTX A6000 GPU（48 GB）上运行。已部署模型的参数量从 1.5B 到 20B。