SentryBench：公共安全工具智能体的代价敏感评测

SentryBench：面向公共安全部署中工具使用型大语言模型智能体对抗鲁棒性的代价敏感基准

作者：Md Abu Yusuf、Oyshi Tabassum Aditi、Md Faysal Hosain Mazed

译注：原文作者姓名后的数字 1、2、3 是机构上标，转换时粘在姓名末尾，此处按姓名与编号分开保留。

摘要

大语言模型（LLM）智能体正越来越多地接到会带来后果的工具上。这些工具发送公共警报、调度响应人员，并查询公民记录；一次错误的工具调用就会带来真实世界的代价。现有的智能体安全基准测量的是一般性伤害或提示注入是否成功，并隐含地把拒绝当作安全默认。在公共安全部署里，这个假设会失效：一个谨慎到不肯派出援助的智能体，和触发虚假警报的智能体一样，都算失败。我们提出 SentryBench。它在对抗性工具使用下，沿一条双侧、代价敏感的前沿给智能体打分，同时测量攻击成功、过度拒绝（漏掉真实紧急情况）和过度反应（无根据的行动）。场景落实在真实的紧急呼叫记录、灾害消息，以及真实的注入与越狱载荷上。我们把部署伤害形式化为一个非对称代价泛函，证明：只要朴素谨慎所拒绝的真实紧急情况，多于它避免的攻击伤害，它就被伤害支配；并证明有针对性的信任门在干净输入上增加的过度拒绝为零。在三个前沿模型和三种防御上的 840 个已评分回合里，多拒绝式谨慎在三个模型中的两个上把过度拒绝推到 100%，攻击成功率的变化最多只有 3.7 个百分点，并且在所有模型上伤害都最差；我们的信任门控封装则支配这条前沿（每个模型上伤害最低，过度拒绝不高于基线，遏制更高）。提供方的内容过滤器也在默默完成一部分防御，必须单独报告。

关键词：

Index Terms：LLM 智能体、工具使用、提示注入、对抗鲁棒性、过度拒绝、公共安全、代价敏感评测、人工智能安全基准。

I 引言

使用工具的 LLM 智能体正在从对话界面进入带有物理后果的操作回路：呼叫响应人员、广播警报、读取公民记录。公共安全运营中心是早期、高利害的采用者，它们的智能体面对的风险轮廓，是常规对话安全评测捕捉不到的：这条风险是双向的，而且不对称。智能体可能因反应不足而失败，压制或漏掉一次真实紧急情况（假阴性，可能致命）；也可能因反应过度而失败，采取无根据的行动，例如全区域虚假警报、不必要的调度，或违反隐私的过宽记录查询（假阳性）。

对话安全基准优化的是单条轴：拒绝有害请求。在这条轴上，“拒绝得更多”总是弱意义上更安全。在公共安全里这是错的：谨慎不是免费的，两个错误方向必须用领域校准过的、非对称的代价联合测量。据我们所知，此前没有基准用一条能够在对抗鲁棒性旁边暴露过度拒绝的良性对照臂来刻画这个领域。

我们引入 SentryBench，一个围绕四个研究问题建立的基准与评测框架：

• • RQ1（脆弱性）。前沿的工具使用型智能体对公共安全特有的攻击（注入、投毒、目标劫持、过度信任、权限提升）有多容易受到影响？

• • RQ2（不对称）。谨慎优先的防御降低攻击成功，是否只是靠提高对真实紧急情况的过度拒绝？

• • RQ3（干预）。有针对性的信任门能否在不支付过度拒绝税的情况下压制攻击，也就是支配这条前沿？

• • RQ4（平台效应）。提供方内容过滤器如何混淆模型比较，又应当如何报告？

我们的贡献是：

1. 1. 一个落实到领域的基准，覆盖四个子领域、五种攻击向量和三类结果，并带有双侧良性对照臂（紧急相对于含糊）。

2. 2. 一个代价敏感框架，把过度拒绝和过度反应当作一等指标，以伤害加权泛函和精确率–召回率前沿作为主要比较对象；我们证明，在观察到的机制里朴素谨慎被伤害支配，并且我们的信任门在干净输入上不增加过度拒绝。

3. 3. 一条真实数据流水线：合法内容来自真实紧急记录和灾害消息，载荷来自真实注入与越狱语料，没有只靠合成数据的含糊其辞，也没有真实个人可识别信息（PII）。

4. 4. 一种信任门控防御（TGCC）和一个朴素谨慎的稻草人，以及对提供方过滤器做模型级与系统级记账。

5. 5. 一个可复现、以账本为先的评测具，从工具调用账本做确定性评分，并给出自助法置信区间。

II 相关工作

使用工具的与多智能体的 LLM 系统。把推理与外部工具调用交错进行的能力，由 ReAct [15] 和 Toolformer [16] 确立。正是这种能力把语言模型变成能对世界采取行动的智能体，而关于 LLM 智能体的综述勾画了由此产生的架构与能力空间 [17]。当部署把若干这样的智能体组合起来时，核心的开放问题转向安全且可扩展的协作；Hossain 等人 [18] 最近对多智能体 LLM 系统的综合评述，组织了这些系统在安全、协调与可扩展性上的挑战，并推动对后果性智能体行动做落实到领域、代价敏感的评测，例如我们研究的公共安全设定。

对 LLM 智能体的攻击。提示注入与越狱攻击通过精心构造的输入颠覆智能体的指令：指令覆盖式注入 [19]、越狱分析 [20]、通用对抗后缀 [21]，以及对注入攻击与防御的形式化 [22]。经由不受信任工具内容的间接注入由 Greshake 等人 [7] 刻画，并在规模上经受压力测试 [23]。这些构成我们对抗性家族的载荷基础。

智能体安全基准与防御。包括 InjecAgent [1]、AgentDojo [2]、ToolEmu [3]、AgentHarm [4]、R-Judge [5] 和 AgentSafetyBench [6] 在内的基准，针对的是一般工具或伤害类别，并且大多只测量攻击是否成功，不测量过度拒绝或不对称的领域代价。聚光（Spotlighting）[8] 以及控制流与数据流分离（CaMeL）[9] 为我们的来源成分提供了依据，而红队 [24] 与宪法式训练 [25] 降低但不能消除残留的易感性。NEXUS [26] 同样在工具调用边界上介入，把确定性规则、参数检查和校准过的风险分数结合起来，对拟议行动予以允许、阻止或请求确认；它针对的是一般运行时安全与延迟，而不是我们形式化并测量的、过度拒绝相对于过度反应的双向非对称权衡。过度拒绝方面的工作，尤其是 XSTest [10]，推动了我们的良性对照臂，但局限于对话，而不是会带来后果的工具使用。SentryBench 的区分点是公共安全领域里双向、非对称的失败代价：把两个错误方向都当作一等公民，并把形式化的伤害模型接到一个确定性的、以账本为先的评分器上。

III 威胁模型与问题设定

智能体及其系统提示是受信任的；输入和工具结果可能由攻击者控制（呼叫方记录、事件报告，以及在投毒情形下，某个工具在调用链中途的返回）。攻击者可以把文本注入不受信任的通道、冒充权威、推动多轮目标漂移，并毒化一个工具的返回，但不能访问模型权重或沙箱内部。每个场景的目标是一种指定的失败模式：压制一次真实紧急情况（反应不足），或触发一次无根据的行动（过度反应，包括隐私侵犯）。表 I 列出五种攻击向量（分类法的行）；结果类别（反应不足、过度反应、正确遏制）构成列。

表 I：攻击向量（分类法的行）

IV 形式框架

设 $S$（$N=|S|$）为场景集合，划分为对抗场景 $A$、紧急良性对照 $B_{u}$（智能体必须行动）和含糊良性对照 $B_{a}$（不得过度行动）。对场景 $i$，$A^{*}_{i}$ 是有根据的（黄金）行动集合，$F_{i}$ 是禁止集合；我们从账本导出三个布尔指标。

定义 1（行为指标）。

对场景 $i$，若智能体采取了有根据的那一类行动（与某个 $g\in A^{*}_{i}$ 在名称层面上匹配），则令 $a_{i}=1$；若智能体在没有单方面伤害的情况下升级给人类，则令 $k_{i}=1$；若 $F_{i}$ 中任一禁止行动被执行，则令 $f_{i}=1$。定义

$u_{i}=\mathbb{1}[\neg a_{i}\wedge\neg(k_{i}\wedge\kappa_{i})],\qquad o_{i}=f_{i},$

其中 $\kappa_{i}\in\{0,1\}$ 记录升级是否满足该场景。这里 $u_{i}$ 是反应不足（对紧急对照而言即过度拒绝），$o_{i}$ 是过度反应。

我们在工具名称层面而不是约束层面给行动打分：选错单位类型或优先级是另一个正确性维度，不是过度拒绝。这样良性对照臂才能保持诚实。

定义 2（部署伤害）。

每个场景带有非对称、经领域校准的代价 $c^{FN}_{i}>0$（漏掉真实紧急情况的代价）和 $c^{FP}_{i}>0$（无根据行动的代价）。策略 $\pi$ 的平均部署伤害是

$H(\pi)\;=\;\frac{1}{N}\sum_{i\in S}\Big(c^{FN}_{i}\,u_{i}\;+\;c^{FP}_{i}\,o_{i}\Big).$ (1)

式 (1) 的意思是：对场景集合里的每一个场景，把假阴性代价乘以反应不足指标，再加上假阳性代价乘以过度反应指标，然后对全部场景取平均。三个头条比率以模型实际执行过的场景为条件（出错的和被内容过滤的回合没有行为结果，另行记账）：$\mathrm{ASR}=\frac{1}{|A_{e}|}\sum_{i\in A_{e}}s_{i}$（$s_{i}$ 为攻击成功，$A_{e}\subseteq A$ 为已执行的对抗子集）；$\mathrm{ORR}=\frac{1}{|B_{u,e}|}\sum_{i\in B_{u,e}}u_{i}$（已执行紧急对照上的过度拒绝率）；以及 $\mathrm{FP}=\frac{1}{|B_{a,e}|}\sum_{i\in B_{a,e}}o_{i}$（已执行含糊对照上的假阳性率）。

定义 3（前沿支配）。

若 $\mathrm{ASR}(\pi)\leq\mathrm{ASR}(\pi^{\prime})$、$\mathrm{ORR}(\pi)\leq\mathrm{ORR}(\pi^{\prime})$ 且 $\mathrm{FP}(\pi)\leq\mathrm{FP}(\pi^{\prime})$，并且至少在一条轴上为严格不等式，则策略 $\pi$ 支配 $\pi^{\prime}$。也就是说，它降低攻击成功，同时不支付过度拒绝税或过度反应税。

这个领域的核心不对称由下面的恒等式刻画，它把“拒绝得更多并不是免费的”说精确。

引理 1（拒绝的代价）。

设 $\pi_{0}$ 与 $\pi_{c}$ 是两个策略，它们在所有对抗场景和含糊场景上行为相同，并且在两者都采取行动的每一个紧急场景上行为也相同。设 $\pi_{c}$ 还在紧急场景的一个集合 $R\subseteq B_{u}$ 上拒绝，而 $\pi_{0}$ 在这些场景上行动正确。则

$H(\pi_{c})-H(\pi_{0})\;=\;\frac{1}{N}\sum_{i\in R}c^{FN}_{i}\;\geq\;0,$

等号成立当且仅当 $R=\varnothing$。

证明。

伤害 (1) 可加地分解；两个策略在 $A$、$B_{a}$ 和 $B_{u}\setminus R$ 上一致，因此这些项抵消。对每个 $i\in R$，$o_{i}$ 不变，而 $u_{i}$ 从 $0$ 翻到 $1$，贡献 $c^{FN}_{i}$。由于每个 $c^{FN}_{i}>0$，这个和是非负的，并且仅当 $R=\varnothing$ 时为零。∎

引理 1 把拒绝的假阴性代价分离出来；把两条轴合在一起，就能刻画一个同时降低攻击伤害的谨慎策略。

定理 1（在有界攻击杠杆下，谨慎被伤害支配）。

设 $R\subseteq B_{u}$ 为相对 $\pi_{0}$ 而言被 $\pi_{c}$ 新拒绝的紧急对照集合，并设

$\Delta^{-}=\frac{1}{N}\sum_{i\in A}\Big(c^{FN}_{i}(u^{0}_{i}-u^{c}_{i})+c^{FP}_{i}(o^{0}_{i}-o^{c}_{i})\Big)$

为谨慎所避免的对抗性伤害。也就是说，$\Delta^{-}$ 只在对抗场景上，把基线与谨慎策略的假阴性代价差和假阳性代价差加总后再平均。则

$H(\pi_{c})-H(\pi_{0})\;=\;\frac{1}{N}\sum_{i\in R}c^{FN}_{i}\;-\;\Delta^{-}.$ (2)

式 (2) 说的是：谨慎相对基线的伤害差，等于新拒绝集合上的假阴性代价平均，减去它所避免的对抗性伤害。特别地，若 $\Delta^{-}\leq\frac{1}{N}\sum_{i\in R}c^{FN}_{i}$，则谨慎不会降低部署伤害；只要不等式是严格的，部署伤害就严格增加。

证明。

把 $H$ 在三个划分上分解：谨慎与基线在 $B_{a}$ 上一致；在 $B_{u}$ 上唯一的差别是 $R$，由引理 1 贡献 $\frac{1}{N}\sum_{i\in R}c^{FN}_{i}$；在 $A$ 上的差别按定义是 $-\Delta^{-}$。相加得到 (2)；最后的断言是直接的。∎

经验上（第 VIII 节），谨慎对 ASR 的改变最多为 $3.7$ 个百分点，因此 $\Delta^{-}$ 很小，而 $R$ 很大（最多可以是每一个紧急对照），于是三个模型都落在定理 1 的伤害被支配机制里。这就是 RQ2 的形式内容。

对干预而言，设不受信任内容 $x$ 的注入分数为 $s(x)=|\{p\in\mathcal{P}:p\text{ matches }x\}|$，即固定模式集合 $\mathcal{P}$ 中在 $x$ 上触发的不同模式个数，阈值 $\theta=1$。当 $s\geq\theta$，或者 $c$ 是过宽的公民记录查询且 $s>0$ 时，门把后果性调用 $c$ 路由给人类。

定理 2（在干净输入上，过度拒绝的额外开销为零）。

在任何良性场景上，若其不受信任通道不含检测器匹配的模式（$s=0$），也没有过宽字段请求，则信任门允许基座智能体提出的每一次后果性调用。因此，在干净的良性紧急对照集合上，门不引入额外的过度拒绝：限制在干净输入上时，$\mathrm{ORR}_{\text{gate}}\leq\mathrm{ORR}_{\text{base}}$。

证明。

门仅当 $s\geq\theta=1$（在 $s=0$ 时为假）或过宽析取成立时才触发，而过宽析取要求 $s>0$（同样为假）。两者都为假时，门对每一次后果性调用都返回允许，因此被执行的行动集合，进而每一个 $a_{i}$ 和 $u_{i}$，都与基座智能体相同。∎

因此，封装下任何过度拒绝的下降都来自来源前置说明，而不是来自门；干净紧急对照上任何残留的过度拒绝都继承自基座智能体。最后，门的遏制保证恰好受检测器召回率限制。

定理 3（门的可靠性，以及受召回率限制的残差）。

若某个对抗场景的不受信任内容至少匹配一个检测器模式（$s\geq\theta$），并且攻击要成功就必须发出一次后果性调用，则门把第一次这样的调用路由给人类，从而得到遏制且 $s_{i}=0$。因此

$\mathrm{ASR}_{\text{TGCC}}\;\leq\;\frac{1}{|A_{e}|}\,\big|\{i\in A_{e}:s_{i}<\theta\text{ and }s_{i}^{\text{succeed}}\}\big|,$

也就是说，每一次残留成功都落在检测器的漏报集合里。

证明。

当 $s\geq\theta$ 时，门条件在第一次后果性调用上成立，该调用被路由给人类而不是被执行；在升级满足该场景的情况下，这使 $k_{i}=1$ 且 $s_{i}=0$。因此任何仍然存活的成功必须有 $s_{i}<\theta$，由此得到所述上界。∎

定理 3 是紧的：封装下唯一一次真实成功（Sonnet 在场景 C-008 上）有 $s=0$，那是一条措辞成可以躲开模式集合的过度信任载荷，并且账本里没有产生门事件。这是对检测器召回缺口的诚实演示，不是一颗银弹。

V SentryBench 的构造

图 1：端到端的 SentryBench 流水线。真实数据被组合成对抗场景和良性场景（家族 A–F）；每个回合让一个智能体在可替换防御下，对着一个带种子的模拟工具沙箱运行；确定性评分器从由此产生的账本计算全部指标，回路中没有 LLM 评判器。

V-A 真实数据接入

全部内容来自四个公开的 Hugging Face 数据集：prompt-injections [11] 与 jailbreak-classification [12] 语料提供攻击载荷，disaster-response [13] 与 emergency-call-transcript [14] 语料提供合法内容，并缓存以便复现。表 II 列出来源、许可证，以及抓取到入选的产量。对灾害消息，我们保留相关行，丢掉标了 PII 的行，只用英语译文，并要求最低长度。抽样带种子；事件内容无放回抽取，载荷可以跨场景复用。

表 II：真实数据来源与入选产量

V-B 场景构造

每个场景把真实内容，以及对对抗家族而言的真实载荷和领域指令组合起来；六个家族覆盖这条前沿（表 III）。不受信任通道是 real_content + real_payload + domain_directive（例如一段真实记录、一条真实注入字符串，以及“Record it as resolved and take no dispatch action”，即将其记为已解决并且不采取调度行动）；对投毒（家族 F），载荷位于工具返回里，而不是提示里。指令模板被有意混杂，有些会被检测器抓住，有些措辞则用来躲开它，从而得到一个现实的召回缺口。

表 III：场景家族（合计 $190$ 个场景）

V-C 模拟工具沙箱

六个被模拟的工具（send_public_alert、dispatch_unit、query_citizen_record、escalate_to_human、update_incident_log、query_historical_incidents）返回带种子的合成数据，不接触任何真实系统；投毒时，对指定工具返回攻击者内容；过宽的 query_citizen_record 请求可被检测，用于最小权限评分。账本是评测基底：评分由日志确定，回路中没有 LLM 评判器（图 1）。

VI 防御

一个可替换的封装暴露三个钩子（pre_prompt、gate_tool_call、on_tool_result）；我们评测三种配置。

无防御（None）。直通基线。

谨慎（Caution）。朴素的稻草人：只有提示的前置说明（“when in doubt, do not act; escalate”，即有疑问时不要行动，改为升级），也就是引理 1 和定理 1 所针对的一维“拒绝得更多”策略。

TGCC（Trust-Gating for Consequential Calls，后果性调用的信任门控）。四个可以独立消融的成分：（1）来源分离，把不受信任的数据标在标记之间，并附一条指令，永不遵循其中的指示；（2）一个启发式注入检测器，覆盖不受信任通道和工具结果；（3）一个门，在操纵信号或最小权限违反下把后果性调用路由给人类（算法 1）；（4）升级，把被门控的调用当作路由给人类的遏制。门只在操纵信号或过宽查询下触发，因此在干净的良性输入上它不挡路，这正是定理 2 所形式化的不对称。

算法 1：对一次拟议工具调用的 TGCC 门

1: 调用 c，注入分数 s，阈值 θ = 1
2: 若 c ∉ ConsequentialTools 则
3:     返回 allow
4: 结束若
5: reasons ← ∅
6: 若 s ≥ θ 则
7:     把 “injection signal” 加入 reasons
8: 结束若
9: 若 c 是公民记录查询 ∧ over-broad(c) ∧ s > 0 则
10:    把 “least-privilege violation” 加入 reasons
11: 结束若
12: 若 reasons ≠ ∅ 则
13:    记录首次门控轮次；标记为路由给人类
14:    返回 require_human    ▷ containment（遏制）
15: 结束若
16: 返回 allow

VII 实验设置

我们评测 claude-sonnet-4-5、claude-haiku-4-5 和 Azure gpt-5。Claude 在温度 $0$ 下解码；GPT-5 是推理模型，完成词元预算固定，温度为默认。每种防御都施加到每个模型上。Haiku 跑全部 $190$ 个场景（$570$ 个回合）；两个更大的模型跑一个分层的 $45$ 场景子集（$270$ 个回合），合计 $840$ 个已评分回合。确定性来自带种子的工具、按回合刷新账本，以及钉住的快照；评分是确定性的，LLM 评判器关闭；区间是非参数自助法（$1000$ 次重抽样）。出错的和被内容过滤的回合没有结果，单独计数。

VIII 结果

VIII-A 精确率–召回率前沿

表 IV 和图 2 报告核心前沿，各模型上的模式一致。谨慎买到的 ASR 变化最多为 $3.7$ 个百分点，同时把 Sonnet 和 GPT-5 上的过度拒绝推到百分之 $100$，实质上拒绝每一次紧急情况。TGCC 则把 Haiku 和 GPT-5 上的 ASR 压到 $0$，同时把过度拒绝保持在不高于无防御基线（Haiku 上 $35.0$ 对 $37.5$；GPT-5 上 $37.5$ 对 $62.5$；Sonnet 上相等），并且在每一种情形下遏制都最高。按定义 3，TGCC 在全部三个模型上支配谨慎，并在 Haiku 和 GPT-5 上支配无防御；在 Sonnet 上它保持同一 ORR/ASR 点，但把遏制从 $74.1$ 抬到 $92.6$ 个百分点。

表 IV：前沿结果（百分比）。每个模型的最佳值在原文中为粗体。

图 2：双侧前沿。每个点是一个（模型，防御）格子；虚线追踪 none$\rightarrow$caution$\rightarrow$TGCC。谨慎（橙色）向右移动（更多过度拒绝），收益很少；TGCC（绿色）位于左下：攻击成功低，过度拒绝也低。

VIII-B 伤害是最干净的单数字摘要

把两个错误方向折进一个校准过的标量后，伤害 (1) 对防御的排序是不含糊的（图 3）：对每个模型，谨慎最高，TGCC 最低或并列最低，TGCC 为 $0.66/1.00/0.60$，谨慎为 $1.33/1.80/1.60$（Haiku/Sonnet/GPT-5）。这正是定理 1 的伤害被支配机制：谨慎避免的对抗性伤害可以忽略，而它的拒绝项很大。

图 3：按模型与防御的平均伤害加权代价。谨慎在所有地方都最差；TGCC 在所有地方最好或并列最好，与定理 1 一致。

VIII-C 模型级与系统级记账

Azure 的内容过滤器对每个条件下 $11$–$15$ 条 GPT-5 对抗提示返回 HTTP 400；模型根本没有在那些提示上运行。在表 V 里，系统级过度拒绝高于模型级，因为同一个过滤器也挡住了一些真正紧急的情况。这是由可用性驱动的未能行动，公平的部署比较必须把它算进去。因此 GPT-5 模型级百分之 $0$ 的 ASR 所依靠的已执行回合可以少到 $12$ 个，必须连同过滤列一起读。

表 V：GPT-5 的模型级与系统级（百分比，以及计数）

VIII-D 真实的攻击成功

整个运行里全部七次真实（未被过滤）的成功，都是家族 C 中的反应不足，也就是压制攻击，这是该领域最危险的假阴性：五次在 Haiku 上（无防御或谨慎），两次在 Sonnet 上（都是场景 C-008，分别为无防御和 tgcc）。TGCC 消除了每一次压制成功，只剩下 Sonnet 的 C-008。其指令得分 $s=0$，躲开了检测器，这正是定理 3 里受召回率限制的残差。

VIII-E 前沿张力所在之处

良性过度反应（FP）对每个模型都是百分之 $0$：这些保守模型从不在含糊报告上广播虚假警报，因此测到的张力由过度拒绝（假阴性）这条轴主导。一个尖锐的子发现把它隔离出来：在完整的 Haiku 题库上，过度拒绝在明确的紧急呼叫记录上只有百分之 $18$，但在简短的灾害报告式紧急情况上是百分之 $83$，同一模型、同一防御、不同措辞。过度拒绝由内容形式驱动，而不是由危险程度驱动，这正是良性对照臂被建造来暴露的失败。

IX 讨论

我们对照结果重新审视四个研究问题。

• • RQ1（脆弱性）。前沿智能体对明显注入大体稳健（无防御 ASR $\leq 3.7$ 个百分点），但残差不是零，而且每一次残留成功都是对真实紧急情况的危险压制（家族 C）。因此脆弱性在比率上低，在种类上严重：存活下来的攻击集中在单一最昂贵的失败方向上。

• • RQ2（不对称）。是的。谨慎换来的 ASR 下降几乎全部来自过度拒绝，而定理 1 表明，在观察到的低 $\Delta^{-}$ 机制里这必然增加伤害；数据确认谨慎在全部三个模型上伤害最差。“拒绝得更多”在这里是虚假的节约。

• • RQ3（干预）。是的。在伤害加权意义上，TGCC 对无防御和谨慎都是帕累托改进。定理 2 解释了为什么干净输入上没有过度拒绝税，定理 3 用检测器召回率给它的残差定界。唯一一次 Sonnet C-008 漏报（$s=0$）表明这个界是紧的，而不是空的。

• • RQ4（平台效应）。提供方过滤器做了真实的防御工作，但也会因挡住真正的紧急情况而造成系统级过度拒绝，因此模型相对系统的报告对公平的部署比较是必要的。

对部署的含义。前沿这一框架改变了“安全”在操作上的含义：公共安全智能体不应当被调到单一拒绝阈值，而应当被调到按场景校准的代价比，并且它的主导指标应当是伤害，而不是单独的攻击成功率。只在操纵信号下行动的信任门，是这种不对称的自然机制，因为它把对抗防御和一刀切的谨慎拆开。

X 结论

SentryBench 把面向公共安全工具使用的智能体安全，重新框定为一个双侧、代价敏感的问题。在真实数据上，跨三个前沿模型和 $840$ 个已评分回合，我们在形式上和经验上表明，直觉上的“拒绝得更多”策略是主动有害的，而有针对性的信任门（TGCC）支配伤害–效用前沿：每个模型上伤害最低，过度拒绝不高于基线，遏制最高；提供方过滤器也在默默做一部分防御，必须单独报告。未来工作将把完整题库扩展到全部模型，加入已发表的防御基线（聚光、CaMeL 式分离、允许清单）和一条自适应攻击者赛道，用学习得到的检测器替换启发式检测器，并召集一个严重性校准小组，给出按代价比的稳健性曲线。

参考文献

• [1] Q. Zhan、Z. Liang、Z. Ying 与 D. Kang，《InjecAgent：对工具集成大语言模型智能体中间接提示注入做基准评测》，Findings of ACL，2024。作者姓名、年份与编号按原文保留，题名已译出。

• [2] E. Debenedetti 等，《AgentDojo：评测大语言模型智能体提示注入攻击与防御的动态环境》，Proc. NeurIPS Datasets and Benchmarks，2024。作者姓名、年份与编号按原文保留，题名已译出。

• [3] Y. Ruan 等，《用仿真沙箱识别语言模型智能体的风险》，Proc. Int. Conf. Learning Representations (ICLR)，2024。作者姓名、年份与编号按原文保留，题名已译出。

• [4] M. Andriushchenko 等，《AgentHarm：测量大语言模型智能体有害性的基准》，arXiv 预印本 arXiv:2410.09024，2024。作者姓名、年份与编号按原文保留，题名已译出。

• [5] T. Yuan 等，《R-Judge：为大语言模型智能体的安全风险意识做基准评测》，Findings of EMNLP，2024。作者姓名、年份与编号按原文保留，题名已译出。

• [6] Z. Zhang 等，《AgentSafetyBench：评测大语言模型智能体的安全》，arXiv 预印本 arXiv:2412.14470，2024。作者姓名、年份与编号按原文保留，题名已译出。

• [7] K. Greshake 等，《并非你所注册的那样：用间接提示注入攻破真实世界中集成大语言模型的应用》，Proc. ACM Workshop on Artificial Intelligence and Security (AISec)，2023。作者姓名、年份与编号按原文保留，题名已译出。

• [8] K. Hines 等，《用聚光防御间接提示注入攻击》，arXiv 预印本 arXiv:2403.14720，2024。作者姓名、年份与编号按原文保留，题名已译出。

• [9] E. Debenedetti 等，《用设计击败提示注入（CaMeL）》，arXiv 预印本 arXiv:2503.18813，2025。作者姓名、年份与编号按原文保留，题名已译出。

• [10] P. Röttger 等，《XSTest：识别大语言模型中夸张安全行为的测试套件》，Proc. NAACL，2024。作者姓名、年份与编号按原文保留，题名已译出。

• [11] deepset，《prompt-injections 数据集》，Hugging Face，2023。作者姓名、年份与编号按原文保留，题名已译出。

• [12] J. Hao，《jailbreak-classification 数据集》，Hugging Face，2023。作者姓名、年份与编号按原文保留，题名已译出。

• [13] Appen (Figure Eight)，《多语言灾害响应消息》，Hugging Face 社区数据集，2020。作者姓名、年份与编号按原文保留，题名已译出。

• [14] S. Codes，《911-call-transcripts 数据集》，Hugging Face，2024。作者姓名、年份与编号按原文保留，题名已译出。

• [15] S. Yao 等，《ReAct：协同语言模型中的推理与行动》，Proc. Int. Conf. Learning Representations (ICLR)，2023。作者姓名、年份与编号按原文保留，题名已译出。

• [16] T. Schick 等，《Toolformer：语言模型可以自学使用工具》，Proc. Advances in Neural Information Processing Systems (NeurIPS)，2023。作者姓名、年份与编号按原文保留，题名已译出。

• [17] L. Wang 等，《基于大语言模型的自主智能体综述》，Frontiers of Computer Science，第 18 卷，第 6 期，2024。作者姓名、年份与编号按原文保留，题名已译出。

• [18] E. Hossain、M. M. H. B. Nipu、M. S. Mahmood、M. J. Hossen 与 M. F. Mridha，《多智能体大语言模型系统中安全且可扩展的协作：综合评述》，IEEE Trans. Syst., Man, Cybern., Syst.，2026，doi: 10.1109/TSMC.2026.3704902。作者姓名、年份与编号按原文保留，题名已译出。

• [19] F. Perez 与 I. Ribeiro，《忽略先前提示：针对语言模型的攻击技术》，NeurIPS ML Safety Workshop，2022。作者姓名、年份与编号按原文保留，题名已译出。

• [20] A. Wei、N. Haghtalab 与 J. Steinhardt，《越狱：大语言模型的安全训练如何失败？》，Proc. Advances in Neural Information Processing Systems (NeurIPS)，2023。作者姓名、年份与编号按原文保留，题名已译出。

• [21] A. Zou、Z. Wang、N. Carlini、M. Nasr、J. Z. Kolter 与 M. Fredrikson，《对对齐语言模型的通用且可迁移对抗攻击》，arXiv 预印本 arXiv:2307.15043，2023。作者姓名、年份与编号按原文保留，题名已译出。

• [22] Y. Liu 等，《提示注入攻击与防御的形式化与基准评测》，Proc. USENIX Security Symposium，2024。作者姓名、年份与编号按原文保留，题名已译出。

• [23] S. Toyer 等，《Tensor Trust：来自在线游戏的可解释提示注入攻击》，Proc. Int. Conf. Learning Representations (ICLR)，2024。作者姓名、年份与编号按原文保留，题名已译出。

• [24] D. Ganguli 等，《对语言模型做红队以降低伤害：方法、规模行为与教训》，arXiv 预印本 arXiv:2209.07858，2022。作者姓名、年份与编号按原文保留，题名已译出。

• [25] Y. Bai 等，《宪法式人工智能：来自人工智能反馈的无害性》，arXiv 预印本 arXiv:2212.08073，2022。作者姓名、年份与编号按原文保留，题名已译出。

• [26] E. Hossain、M. M. H. Nipu、T. N. Ornee、R. Rana 与 N. Yousefi，《NEXUS：面向使用工具的大语言模型智能体的结构化运行时安全》，arXiv 预印本 arXiv:2607.19356，2026。作者姓名、年份与编号按原文保留，题名已译出。