CodexQA

行业与实践研究与基准测试

智能体事故登记册:487 条公开失败里,评测漏掉了没有对手的那一类

CodexQA 团队阅读约 30 分钟

Anaconda 把 2022 至 2026 年的 487 条智能体相关披露收成 AIR。主要总体 336 条里 81 条已经造成损害(24%),但这描述的是披露构成,不是部署风险。InjecAgent 的 1,054 个案例全是攻击者触发,AIR 另有 92 条没有对手的安全失败。

本文目录

智能体事故登记册:减少同类失败反复出现

Divyanshu Kumar,单位 Anaconda,邮箱 dkumar@anaconda.com

Rohith HN,单位 Anaconda,邮箱 rhn@anaconda.com

Nitin Aravind Birur,单位 Anaconda,邮箱 nbirur@anaconda.com

Sahil Agarwal,单位 Anaconda,邮箱 sagarwal@anaconda.com

Prashanth Harshangi,单位 Anaconda,邮箱 pharshangi@anaconda.com

摘要

人工智能智能体越来越多地通过工具和被授予的权限采取行动。通用事故库很少记下把公开失败和智能体安全评测对齐所需要的机制。本文给出智能体事故登记册(AIR,Agent Incident Registry,带稳定编号、证据摘录和机制标签的公开事件目录)。项目页:https://enkryptai.com/air 。它是一份带来源链接的目录,收了 2022 年到 2026 年披露的 487 条智能体相关事件。每条记录有支撑证据、稳定标识,以及对因果角色、披露类别、机制和结果的、允许标成缺失的标签。在智能体确实采取了行动的 336 条生成式系统记录里,81 条出现了已经发生的损害(24%)。已经发生的结果集中在野外事件和安全失败记录;负责任披露和研究演示绝大多数只是「被演示出来」。因此合计比例描述的是这份收集本身的构成,不是部署风险。初编之后,第二位人工复核者检查了全部 487 条记录及其已有标签是否完整、正确。在一次按部署类比做的审计里,InjecAgent 的 1,054 个案例只占 AIR 十二个攻击面中的三个,而且全部由攻击者触发;AIR 里则有 92 条没有对手的安全失败。AIR 支持按来源检索案例、审计评测覆盖了哪些范围,不支持估计失败率或控制措施是否有效。

#### 关键词

人工智能智能体,事故目录,可信数据整理,机器学习系统安全,取证分析

1 引言

2025 年 7 月,Replit 上的一个编码智能体据报道在代码冻结期间删掉了正在使用的生产数据库,尽管反复被告知不要改动(AIR-2025-0061)。2025 年 6 月,研究者演示:一封精心构造的邮件可以让 Microsoft 365 Copilot 在用户没有点击恶意内容的情况下把数据带出去,但取回发生在用户主动发起的 Copilot 交互里。尽管被引论文的标题写成「真实世界漏洞利用」,AIR 仍把这件事标成「已演示」而不是「已发生」,因为没有记录到客户损害(AIR-2025-0039;文献 [22])。一件造成了真实数据丢失,另一件只是证明某种做法可行。把两者都叫作不加区分的「事故」,会盖住评测设计者需要的那条区别。

智能体失败是系统失败:模型行为和凭据、工具权限、不可信内容、被授予的权限合在一起,才产生后果。通用人工智能事故库覆盖更宽的损害,但它们公开的字段结构并不稳定地记下这些智能体特有的机制。因此它们无法把公开事件系统地接到智能体安全评测所用的威胁模型和环境上。

AIR 用 487 条带来源的登记记录补这个缺口,对应 2022 年到 2026 年披露的事件。每条被收进的记录都有一条支撑来源和逐字证据摘录、一个稳定的 AIR-YYYY-NNNN 标识,以及来源没有说清的字段上的明确缺失。这个结构把「已经发生的损害」(真实的一方承受了后果)和「被演示出来的能力」分开,也把「谁做了动作」和「这件事是怎么被披露出来的」分开。

#### 贡献

  • 一份按来源落地的登记册。AIR 把 487 条公开披露收成去重后的记录。每条保留支撑引文和来源、稳定标识,以及明确的未知;写明的合并规则避免同一事件的多篇报道被数成多起事故。
  • 一套盯住机制的编码方案。AIR 把因果角色、披露类别和已经发生的结果分开,于是一条被演示的脆弱点不会被算成现场损害,一件涉及人工智能的事也不会自动算成智能体所为。第二位人工复核者检查了全目录的每条记录和已有标签。

登记册和编码方案一起,让公开披露可以当作有证据的输入,送进智能体安全评测:它们显示哪些机制已经走到披露,哪些被记录下来的失败方式是人造测试可能漏掉的。全文把 AIR 当成一份被挑选过的公开披露语料,不是部署系统或智能体运行的普查;因此它既不提供部署分母,也不提供用来估计失败率或因果效应的反事实系统。第 3 节定义范围和证据规则,第 5 节给出统计解释的限度。

2 相关工作

#### 事故库

人工智能事故数据库(AIID,AI Incident Database)说明了从已部署人工智能的失败里学习的理由,并把公开报道归成事故记录 [10]。它可选的 CSET 分类区分已经发生的损害和潜在损害,并包含自主性判断 [7]。GMF 把目标、方法和已知或潜在的失败原因连起来,并给出有证据的理由 [21]。经合组织随后定义了事故和危险 [16],提出共同报告框架 [17],并建成 AIM。AIM 明确同时包含事故和危险,并生成损害、严重程度、利益相关方和地理元数据 [18]。AIAAIC 人工整理人工智能、算法和自动化方面的事故与争议 [2]。麻省理工学院人工智能事故追踪器用因果和领域分类重新标注 AIID 记录 [23, 11]。

这些资源覆盖的范围比 AIR 更宽,其中几个已经编码了 AIR 使用的概念。更窄的差别是:在本文冻结时,它们书面的核心字段结构并不稳定地同时要求智能体角色、自主性、工具能力、初始途径、防护结果和来源证据。AIR 把这套智能体机制字段做成必填,来源撑不住的字段则标成缺失。表 1 概括这一差别。

表 1:AIR 用必填的智能体机制字段补足通用人工智能事故库。「未明确」表示该资源可能在正文或可选分类里描述某一事实,但没有在书面的核心字段结构里要求它。

资源计数单位 / 主要来源主要编码智能体机制
AIID连到公开报道的事故损害;可选 CSET/GMF 分类部分:可选的自主性/原因
OECD AIM事故或危险;聚类新闻损害、严重程度、利益相关方、地理未明确
AIAAIC事故或争议;公开来源风险、损害、行业、系统与治理未明确
MIT tracker重新标注的 AIID 事故因果/领域风险和损害严重程度未明确
AIR连到公开来源的登记记录架构、机制、控制、能动性、结果明确

网络安全和航空为这一更窄的主张提供了方法先例。VCDB 发布已披露的入侵,同时警告法律要求会扭曲它的来源总体 [26]。美国国家航空航天局的自愿报告系统 ASRS 把多份报告并成独特事故,并声明这些报告不能估计总频率或稳定趋势 [15]。对美国国家漏洞数据库的审计同样表明,目录不一致会改变下游结论 [4]。AIR 采用同一条纪律:保留带来源的证据,定义计数单位,避免患病率式的说法。

#### 分类法与标识

OWASP ASI 与 AIVSS、MITRE ATLAS,以及美国国家标准与技术研究院的风险和对抗机器学习框架,组织的是风险、脆弱点、控制和手法,而不是已披露事件 [20, 19, 12, 24, 25]。AIR 把每条范围内的记录映射到一个或多个 OWASP ASI 机制,并明确标出该分类范围之外的记录。ATLAS 和 CVE 链接保持可选;缺链接不被当成「没有这件事」的证据。AIR 不可改的标识沿用 CVE 和 CWE 那种记录与分类分开的做法 [13, 14]。

#### 智能体评测

这些分类给机制起了名字;智能体评测把它们做成可执行任务。间接提示注入(indirect prompt injection,不可信的检索内容改写了应用的行为,而攻击者并不直接接触模型)表明,不可信的检索内容可以在不直接接触模型的情况下改道大语言模型集成应用 [1]。AgentDojo 在有状态的工具环境里把这一威胁做成可运行任务:正式的效用和安全检查查看结果环境状态,覆盖 97 个良性任务和 629 个安全案例,因此它测的是经工具产生的后果,而不只是文本是否顺从 [5]。InjecAgent 给出更大的间接注入笛卡尔积,横跨用户工具和攻击者工具 [27]。Agent Security Bench 把攻击和防御家族扩到十个场景、四百多个工具 [28]。AgentHarm 测智能体是否拒绝有害的多步任务,同时保住良性能力 [3]。

由分类驱动的黑盒红队是一条互补路线:一个七领域框架用 SAGE-RT [8] 生成对抗场景,并在没有内部特权的情况下评测智能体 [9]。AIR 被用来把这一工作流按到已披露事故上:记录提供有证据的场景种子,机制字段则露出生成套件的覆盖缺口。

这些基准和生成套件回答的是:智能体在人造任务和威胁模型下会不会失败。AgentDojo 尤其接近 AIR 那种经工具中介的机制层级,但它的安全案例仍是合成的对抗演示;AgentHarm 覆盖的是有害使用,不是没有对手时自己冒出来的失败。AIR 描述的是被选中的公开事件。它可以审计一次评测代表了哪些被观察到的攻击面、途径、后果类型,以及没有对手的格子。本文在第 4 节对 InjecAgent 做一次钉死版本的投影,作为算例。要做这个比较,必须先写清什么能进 AIR,以及一条登记记录代表什么。

3 方法

3.1 范围、单位与总体

#### 范围

AIR 收入这样的披露:一个生成式或物理具身的自主系统采取了行动,成为人工智能特有暴露的目标,产生了被人据以行动的输出,或接受了一次有边界的智能体安全测试。被收入的记录必须至少涉及一种智能体特有机制,例如工具使用、检索、被授予的权限、自主控制、人工智能特有的数据处理,或面向智能体的集成。本文排除没有具体安全或安全控制失败的、纯文本越狱,排除深度伪造、模型输出偏见审计、训练数据争议,以及做资格或排序决定的非生成式分类器。

#### 计数单位与标识

AIR 的计数单位是一条登记记录,不是一篇文章、一名受害者、一个仓库或一次下载。一条记录可以代表一次已披露事件、一场活动、一份协同公告,或按既定合并与拆分规则分开的一个脆弱点。同一事件的多篇报道被合并;一场带许多制品的活动仍然只得一条记录。因此比例按登记记录加权,不按受影响实体加权。一次脆弱点披露和后来的利用活动,只有在后来的事件有不同来源、并且「是否已经造成损害」这个问题不同时才拆开。每条保留的记录得到一个只追加、永不重新分配的 AIR-YYYY-NNNN 标识。

#### 分析总体

因果角色记在四个互斥的能动层级里:agent_acted(智能体行动了)、ai_as_target(人工智能是目标)、human_acted_on_output(人根据输出行动了)、elicitation_only(来源只引出了一次响应)。零点击的资源获取,只要系统在没有中间人类选择的情况下发出了那个有后果的请求,就算智能体行动。全文使用四个总体名称:全目录含全部 487 条;智能体行动子集含 380 条 agent_acted;生成式子集含 441 条生成式系统记录;主要总体是二者交集的 336 条,即智能体采取了行动的生成式系统。主要总体的结果支撑关于智能体行动的说法;另外三个总体用来看放宽任一限制时结果如何变化。

3.2 语料构建

#### 收集与去重

同一事件或脆弱点常常出现在多个来源里,所以语料构建分两段:收集候选,再判断哪些描述的是同一现象。作者先搜了 17 个来源渠道:事故数据库;CVE/GHSA 公告;厂商和独立研究者披露;企业、编码智能体、浏览器、MCP(Model Context Protocol,让智能体连接外部工具的一种协议)和供应链报告;威胁情报;学术演示;以及新闻、法律和监管记录。这些渠道指导发现,但不定义最终标签;合在一起产生 602 个候选。图 1 画出收进一条记录的重复过程:在这些渠道上搜索、人工核验、机制与合规打标、提交进登记册。

图1 AIR 整理流程

图 1:AIR 的整理过程。每个候选来自固定来源渠道,由人对照已取回的 URL 和逐字引文核验,打上机制字段和合规映射(OWASP ASI,可选 ATLAS 和 CVE 链接),再以只追加的 AIR-YYYY-NNNN 标识收进。没有可取回来源的线索被隔离,永不进入目录。

然后用精确标识、共享来源或引文、厂商/日期匹配和标题相似度把候选连起来。整理者复核每一条拟议链接。合并 115 个重复候选后,得到全目录的 487 条记录。因此语料计数不会只因为几个来源描述同一事件就上升。制品保留每条候选到记录的映射和合并决定,使用者可以审计计数是怎么来的。去重并不证明完整:来源渠道互相重叠,也不是随机抽样,所以重复报道不能揭示有多少事件从未被披露或从未被找到。

#### 证据与裁决

收进至少需要一个已经取回的支撑 URL,以及一条确立该事件或被演示脆弱点的逐字引文。作者优先采用厂商、研究者、公告、法院或监管来源。原始来源不可得时,二手报道可以支撑一条中等置信记录。457 条是高置信,30 条是中等置信。没有可取回支撑的线索留在单独隔离区(冻结时 52 条),不进入任何统计。这些要求确立的是来源链接和引文支撑,不是作者独立复现或证明。大语言模型只用来起草网页抓取和作图脚本。人类作者复核了代码和输出;确定性校验器执行字段约束;整理者裁决范围、重复和分类。

3.3 编码与可靠性

#### 结果与披露类别

impact_realized 只有在真实的一方承受了真实后果时才为真;对线上产品的概念验证仍然是被演示的能力。另外,class 记录这件事是怎么浮出水面的:一次被观察到的 in_the_wild(野外)攻击或尝试;一次没有对手提供触发的 safety_failure(安全失败);一次通过 responsible_disclosure(负责任披露)浮出的已交付脆弱点或具体厂商威胁模式;或一次研究者主导的 research_demo(研究演示)。类别不蕴含结果:野外尝试或安全险情可以尚未发生,受控的线上测试仍可能对真实第三方产生后果。按类别条件化是在诊断发现过程的构成,不是因果调整。

#### 机制字段

每条记录分开系统情境(攻击面、自主性、能力、目标和厂商)、事件路径(初始途径、因果角色和后果)、响应证据(防护描述、绕过状态和补救)和来源元数据。含糊的因果角色另标 agency_debatable。受控派生把自由文本途径收成八个家族,把防护描述收成十一种多标签种类,外加 none/unknown。一份带版本的 OWASP 智能体十大(ASI)对照表,用写明的、机制优先的规则应用到全部 487 条。ASI 软件智能体范围内的全部 451 条至少得到一个代码,36 条明确标为 out_of_scope;范围内没有未映射的记录。已有的人工代码保持原顺序,规则支持的代码追加在后,有理由的覆盖优先。第一个有序代码成为 primary_asi,但记录可以带多个代码。ATLAS 和 CVE 链接保持可选。覆盖不足的字段,包括工具特权和财务损失分档,不进入实质性分析。附录 A 给出缩短的决策规则;完整编码本、对照审计和整理协议随制品提供。

#### 人工核验

一位语料整理者做出或裁决了初始标签。第二位人工复核者随后检查全部 487 条记录及其已有标签是否完整、正确。因为复核者能看见这些标签,这不是独立标注。因此本文不报告评分者间一致统计。后来由规则补上的 ASI 代码有单独的来源说明,不作为独立的人工编码标签呈现。剩余不确定性用明确缺失值、agency_debatable 标记、写明的边界规则和敏感性分析来表示。

3.4 分析

分析按顺序问三个问题。第一,披露类别和因果角色如何塑造冻结目录里已经发生结果的份额?第二,这些份额对总体定义和来源集中有多敏感?第三,一次选定的智能体评测代表了哪些被观察到的机制,又漏了哪些?

对每个比例,本文报告 95% Wilson 区间,以及一个确定性的成对聚类自助法:把共享同一首个来源主机的记录作为一块重抽样(10,000 次;固定种子)。两者描述的都是这一披露样本内部的不确定性;自助法捕捉的是来源依赖的一种形式,不是总体置信区间。记录还可能跨主机共享一场活动或一个研究计划,所以即便那个区间也可能低估依赖。因此本文不做记录独立的假设检验。自主性按类别分析,用原始的披露类别乘自主性格子;稀疏的需批准格子排除了精确的调整估计。控制结果不进入定量分析,因为来源覆盖不足。ASI 赋值只作为非互斥的对照覆盖来汇总,不作为结果、患病率或风险估计,因为映射部分由规则导出,而且类别重叠。

4 测量与评测审计

结果分两部分。先确立披露类别、因果角色、总体定义和来源集中如何限制对结果份额的解释。再检查表面上的自主性形态,并用没有对手的失败对照 InjecAgent,演示 AIR 预定的评测审计用途。

4.1 披露构成决定合计的结果份额

全目录把四个披露类别和四个因果角色合在一起。本文先报告两种构成,再收到主要总体。

表 2:全目录 487 条记录的披露类别和已经发生的结果。野外和安全失败记录以已经发生为主;负责任披露和研究演示以被演示为主。

披露类别n已经发生,n
野外11092
安全失败9287
负责任披露1992
研究演示863

表 3:全目录 487 条记录的因果角色构成。百分比是角色内部的;n=2 的 elicitation_only 百分比被略去。

能动层级n已经发生,n(%)
智能体行动了380124(33%)
人工智能是目标6929(42%)
人根据输出行动了3631(86%)
只引出了响应20(—)

只有 28 条记录偏离「野外和安全失败多为已经发生,负责任披露和研究演示多为被演示」这一形态。后两类贡献 285 条记录,但只有 5 个已经发生的案例;前两类贡献 202 条记录和 179 个已经发生的案例。全目录已经发生的份额 184/487(38%)因此主要反映披露路径的平衡,不是部署一个智能体的风险。表 3 另说明因果角色为什么重要:目标侧的脆弱点和人根据模型输出采取的行动,不应被算成智能体行动。

在主要总体里,336 条中有 81 条出现已经发生的损害(24%;95% Wilson 区间 20–29%)。按首个来源主机重抽样后,区间加宽到 15–38%。一次放宽一个限制:智能体行动子集为 124/380(33%),生成式子集为 140/441(32%);两个都放宽就是上面全目录的值。把主要总体限制在高置信记录,得到 70/314(22%)。这些是披露样本的敏感性,不是失败发生率的估计。

图 2 让随时间变化的披露混合看得见。年度数量和已经发生结果的份额,随着现场事件、披露和演示的平衡而移动。因此该图是构成诊断,不是随时间的失败率或部署风险趋势。

图 2:按类别的年度披露数量(柱)和带 95% Wilson 区间的已经发生结果份额(点)。唯一的 2022 年记录不进入图中的对比;2026 年在 2026-09-05 右截断。随时间的变化描述的是本目录的披露构成,不是部署风险。HTML 导出未单独给出该图文件,数字见上文。

能动标签的不确定性没有抹掉智能体行动子集的结果。排除全部 113 条 agency_debatable 记录后,315 条无争议的智能体行动记录里留下 100 个已经发生的案例(32%),编码标签下是 33%。把全部有争议记录按使份额最小或最大的方向重派,得到 27%–42%。这些是智能体行动子集的识别界,不是抽样区间。

4.2 来源依赖主导精度

出版方集中很重要:去掉占主导的来源块,可以把主要总体 24% 的已经发生份额推到高达 40%。依次去掉十个最大的首个来源主机,份额在 23% 和 31% 之间移动。去掉最大的来源块 embracethered.com,留下 81/261(31%);去掉全部十个最大主机,留下 67/166(40%)。图 3 显示四个被点名的总体,并把总体定义的变化和来源块排除分开。这些扰动诊断来源依赖,不是校正后的估计。

图 3:已经发生损害份额的敏感性。(a) 放宽主要总体的定义;(b) 从主要总体去掉占主导的来源块。菱形是样本内估计,细的蓝色区间是记录级 95% Wilson 区间,宽的橙色区间是确定性的首个来源主机自助范围。标签给出点估计和括号里的主机聚类范围。这些区间刻画被选中的目录,不是部署风险。HTML 导出未单独给出该图文件。

4.3 自主性与披露类别混在一起

接下来问 AIR 是否支持跨自主性标签的比较。在主要总体内,已经发生损害的份额是:助手 8%,需批准的副驾驶 8%,半自主系统 24%,完全自主系统 54%(图 4a)。这一边际形态并不识别自主性效应:语料既没有部署分母,也没有配对系统,而且披露类别的构成在自主性标签之间变化很陡(图 4b)。需批准组在野外和安全失败两类里各只有一条记录,完全自主组在这两类里共有 33 条。附录 A.1 报告底层格子。

图 4:自主性与披露构成。(a) 主要总体和全目录里已经发生损害的份额,带记录级 95% Wilson 区间。(b) 主要总体内的披露类别。自主性标签上表面上的上升与构成变化同时出现,并不识别自主性效应。HTML 导出未单独给出该图文件。

4.4 没有对手的失败露出评测缺口

全目录有 92 条没有对手提供触发的安全失败记录,其中 87 条已经发生。智能体行动子集含其中 82 条,包括 77 个已经发生的结果。被记录的机制包括破坏性的 shell 动作、未经指令的发布,以及没有对抗性目标劫持的具身控制失败。只限于攻击者提供输入的评测,不会行使这一区域。

为把比较做具体,本文把 InjecAgent [27] 投影到 AIR 的机制字段。它的 1,054 个基础设置案例把 17 个用户工具和 62 个攻击者案例组合起来。每个任务都把攻击者指令放在用户工具的响应里,因此行使的是间接提示注入。通用支架按字面映射到 agent_framework。文中报告的「十二个里的三个」是另一次部署类比投影:它把用户工具映射到 coding_agent、browser_agent 和 enterprise_assistant,不把字面的通用支架算成第四个部署面。

表 4:在部署类比投影下,InjecAgent 的 1,054 个案例占 AIR 十二个攻击面中的三个。字面的通用支架不算第四个面;每个案例都是攻击者触发的间接提示注入。

攻击面类比案例数份额
企业助手43441.2%
浏览器智能体43441.2%
编码智能体18617.6%
其他部署面00.0%

因此 InjecAgent 没有测试上面识别出的、没有对手的机制。覆盖那一区域需要在没有攻击者提供内容的情况下,扰动工作负载、状态、权限和恢复。披露类别和已经发生的结果描述的是促使人们做测试的公开事件;它们不是合成任务本身必须占据的覆盖维度。AIR 的记录计数同样不决定基准优先级。

5 对效度的威胁

#### 选择与分母

AIR 抽样的是公开披露,不是已部署系统或智能体运行。计数跟踪的是谁在发表:一个独立研究站点提供了最大的来源块,披露项目成熟的厂商更显眼,而守住了的控制很少被报道。媒体注意、监管、产品采用和研究者工具都会随时间变化。因此本文没有任何计数估计发生率、患病率、厂商风险或控制效力,按类别分层的分析仍是描述性的而不是因果的。计数单位的规模也不均匀:一份协同公告、一场恶意软件活动或一次受害者事件,不论制品、下载或受害者数量,都只得一条记录。相等的记录权重不能读成相等的受影响人群。

#### 证据与标注

一条已取回的引文确立的是来源提出了某个说法,并不核验该说法的每个细节。30 条记录依赖二手报道。大语言模型只用来起草网页抓取和作图代码;人类作者复核了代码并核验输出。一位人类整理者做出或裁决初始标签,第二位人类复核者检查了每条记录及其已有标签。这次全目录复核能抓住遗漏和不一致,但因为标签可见,它不测量独立编码者的一致。agency_debatable 标记露出一条已知边界,结果节报告了它的敏感性,但其他误分类仍然可能。共享活动、厂商、来源或研究团队的记录仍然相依;重抽样首个来源主机只抓住其中一种联系,仍可能低估不确定性。

#### 地理与时间覆盖

AIR 不编码来源语言、事故国家或部署地理,所以这次冻结不能量化语言或地区代表性。收集使用英语检索,一些非英语事件依赖英语的 AIID 摘要;这是一种说得通的覆盖机制,不是测得的地理结果。披露日期的精度不一,2026 年在 2026-09-05 右截断。

#### 系统范围

全目录包括 44 条非生成式具身自主记录,其中 43 条已经发生;生成式子集和主要总体使用明确的 ai_entity 过滤。两条稳定标识的边界记录被标成 not_ai,而不是藏起来。排除非生成式的资格与排序系统,也意味着 AIR 不能支撑关于自动化歧视的一般说法。

#### 机制字段的限度

487 条里有 390 条的控制结果在来源里是沉默的。它们的描述支持案例检索,不支持控制患病率或效力说法。ASI 对照在范围内覆盖完整,但覆盖不是独立核验:271 条范围内记录至少保留一个更早的人工赋值,175 条只由规则生成,5 条使用明确覆盖。因为赋值非互斥,而且部分从其他标签导出,它们的计数支持检索和评测范围审计,不支持类别患病率或风险排序。另外,113 个途径仍留在残余的 other 家族;全部 487 条的 tool_access 仍为未知;权限、可逆性和财务损失分档缺乏足够的来源覆盖。

6 制品与用途

随文的匿名制品包含冻结语料、编码协议、带版本的 ASI 对照和审计、InjecAgent 映射,以及复现每一项报告统计和图所需的代码。

#### 预定的评测用途

评测设计者可以把测试案例映射到 AIR 的攻击面、途径和触发字段,然后报告被代表的机制和缺失的机制。已经发生 / 被演示的区分,防止被演示的能力被算成现场损害。因为公开披露没有暴露分母,AIR 不支持攻击成功率、厂商排名或部署风险分数 [6]。

#### 社会影响与防护

一份共享的、连着证据的记录,可以帮助评测者和实践者从本来会彼此隔离的失败里学习。它也可以放大有争议的说法,让人更容易找到漏洞研究,或招来没有根据的厂商比较。AIR 只包含核验记录能否收进所需的短摘录,不包含全文或新的利用载荷,并保留来源链接、置信标签和更正来源。这些措施降低但不能消除声誉和两用风险。

7 结论

AIR 把碎片化的公开报道变成一份带来源的记录,说明智能体系统如何失败。它的中心教训是方法上的:只有把已经发生的损害、被演示的能力、因果角色和披露类别保持分开,事故证据才能揭示一次评测代表了哪些机制。在 336 条的主要总体里,披露类别在描述上解释了表面上的结果和自主性形态的很大一部分;与 InjecAgent 的比较露出只测攻击的评测里那个没有对手的缺口。合在一起,这些结果表明:被选中的披露可以通知测试设计,而不被误当成部署率。AIR 提供一座有纪律的桥,从公开失败走到测试设计,并附上来源证据和不确定性。

伦理考虑

AIR 索引公开来源里的说法,这些说法可能点名厂商、研究者、组织和个人。一个 AIR 标识意味着一份报道满足了语料证据规则;它并不独立确认来源里的每个说法。发布物只含短证据摘录,没有新的利用载荷。一个与雇主独立的更正流程已在计划中,但在语料冻结时尚未运行。作者的雇主销售智能体安全产品,这对收集和编码决定构成利益冲突。

开放科学

随投稿的匿名制品包含冻结语料、分析代码、人工核验说明,以及复现或审计所报告结果所需的基准映射。被接收后,作者将把这一版本存到一个持久标识下。发布条款将把作者创建的标注和代码,与第三方来源摘录分开。

大语言模型使用说明

在研究流程里,大语言模型只用来起草网页抓取和作图脚本。大语言模型也协助了语言层面的文稿编辑。人类作者复核了代码、输出、正文和引用。所有范围、重复裁决和标注决定都由人做出或裁决。

附录 A 编码方案

表 5:文中使用的核心编码决定。日常概念与字段名成对列出。

概念与字段如何编码
披露路径 class事件如何公开:野外、负责任披露、研究演示或安全失败。安全失败只留给没有对手的事件。
已经发生的损害 impact_realized只有真实的一方承受了所报道的后果才为真。概念验证即使发生在线上系统仍为假,除非真实的一方受到影响。
行动自主性 autonomy_level事件中表现出的最高独立行动级别:助手、需批准的副驾驶、半自主或完全自主。产品营销不决定这个标签。
因果角色 agency智能体行动了、人工智能是目标、人根据人工智能输出行动了,或来源只引出了响应。边界情况标 agency_debatable。
人工智能类型 ai_entity相关组件是生成式人工智能、非生成式自主,或不是人工智能。该字段让范围排除显式化。
攻击面 attack_surface事件直接牵涉的系统面。可从下面的 12 面词表赋多个值。
触发路径 vector_family从详细的 initial_vector 确定性地导出的八个宽路径家族之一;原始措辞保留。
防护 guardrail_kind来源明确支持的控制。允许多值;来源沉默是未知,不是「没有防护」的证据。

三个边界例子把自主性操作化。EchoLeak(AIR-2025-0039)是助手:自动取信和渲染发生在用户发起的 Copilot 交互期间,尽管利用不需要点击那封恶意邮件;系统并不拥有一项正在进行的任务。Replit(AIR-2025-0061)是半自主:智能体发出了若干有后果的命令,没有逐条批准,但仍在用户委托的编码任务之内。Remoteli 发帖机器人(AIR-2022-0001)是完全自主:它的持久循环从被监视的输入里选择并发布文本,没有同时的人类闸门。需批准的副驾驶留给这样的配置:一个有后果的动作或工具连接要跨过明确的确认步骤。编码依据的是事件中行使的权限,不是产品广告里的最大值。

覆盖审计使用的其余受控词表是攻击面和途径家族。十二个攻击面是 enterprise_assistant、coding_agent、browser_agent、computer_use_agent、mcp_server、agent_framework、skill_plugin、multi_agent_system、memory_store、consumer_chatbot、autonomous_ops 和 other。途径家族是间接提示注入、直接提示注入、恶意组件、常规脆弱点、误用、物理环境、没有对手的自主行动,以及其他。safety_failure 类别标识没有对手提供触发的披露;no_adversary_autonomous_action 另行标识事件的途径。

A.1 类别乘自主性的格子

表 6:主要总体(智能体采取了行动的生成式系统记录)里,按披露类别和自主性的已经发生/总数。需批准组里野外和安全失败的小格子,排除了精确的调整估计。

披露类别助手需批准半自主完全自主
野外2/31/124/3517/17
安全失败4/41/116/1713/16
负责任披露1/570/130/741/20
研究演示0/190/100/431/6

作为全目录上的另一项敏感性,把每个自主性组直接标准化到全目录的披露类别混合,得到 42%、41%、34% 和 45%。标准总体本身是按披露选出的,需批准组里一两条记录的野外和安全失败格子不支持推断性调整。

A.2 已经发生结果的边界案例

表 7 列出全目录里既被标成已经发生、又被标成负责任披露或研究演示的全部 5 条记录。这些是窄的记录级判断,不是「一次演示意味着人群损害」的证据。

表 7:全目录中同时被标成已经发生、以及负责任披露或研究演示的全部记录。「依据」给出书面记载的、真实一方的后果。

AIR 标识类别能动性已经发生标签的依据
AIR-2024-0014研究演示人根据输出行动超过 30,000 次真实下载,并在公司仓库中被使用
AIR-2025-0010负责任披露智能体行动了从 Copilot 缓存返回了私有仓库内容和线上密钥
AIR-2025-0012研究演示人工智能是目标11,908 个凭据通过了认证;受影响厂商轮换或吊销了密钥
AIR-2026-0018研究演示智能体行动了攻击者控制的代码在 16 名未同意用户的机器上执行
AIR-2026-0036负责任披露智能体行动了暴露的发布令牌被用来发布了一个未授权的包版本

A.3 OWASP 智能体十大对照

#### 目的与覆盖

AIR 把 OWASP 智能体十大用作已记录机制的可检索索引,不是严重度分数,也不是真实世界风险的估计。全目录中,OWASP 智能体应用范围内的全部 451 条至少有一个代码。另外 36 条——主要是非生成式的感知和规划失败——标为 out_of_scope,而不是留空。代码非互斥:964 次赋值覆盖范围内记录(平均每条 2.14 个),350 条带有不止一个代码。图 5 显示分布;表 8 给出每个代码所需的证据。

#### 赋值如何做出

每条记录把主导代码存在 primary_asi 的第一位。范围内记录中,271 条至少保留一个更早的整理者标签,175 条只由规则生成,5 条使用明确覆盖。规则尽可能使用结构化字段,只有这些字段抓不住的证据才查阅标题或笔记。AIR 为每次映射存储理由和来源;生成的审计列出增加、覆盖,以及基于规则的排序与整理者首选之间的差异。因此对照是可复核、可复现的,而其计数仍是本目录的描述,不是机制患病率或比较风险的估计。

图 5:451 条范围内记录上非互斥的 OWASP 智能体十大赋值。柱表示带有每个代码的份额,标签给出计数。因为记录可以带多个机制,柱加起来不是 100%。36 条范围外记录被排除;范围内没有未映射的记录。HTML 导出未单独给出该图文件。

表 8:非互斥 OWASP 智能体十大对照的决策规则。只有记录的来源证据支持所述机制时才赋该代码。这里只保留判定一条已披露记录需要哪类证据,不补充任何操作步骤。

代码名称来源至少要支持的证据
ASI01智能体目标劫持攻击者提供的指令或内容改道了智能体的目标、决定或行动路径。
ASI02工具误用与利用智能体在已被授予的权限内不安全地使用了合法工具。
ASI03身份与特权滥用委托、凭据、授权、身份或继承来的特权被滥用。
ASI04智能体供应链脆弱点技能、插件、MCP 服务器、包、模型、数据集、登记处或更新是敌对的、被攻破的或被篡改的。
ASI05意外的代码执行代码或命令执行、不安全的反序列化,或沙箱逃逸,到达了本不该可执行的路径。
ASI06记忆与上下文投毒存储的或可检索的上下文被破坏,并影响后来的推理、规划或工具使用。
ASI07不安全的智能体间通信智能体之间正在传送的消息被注入、伪造、重放、截获或篡改。
ASI08级联失败故障越过起源,跨智能体、会话、工作流或机群传播。
ASI09利用人对智能体的信任人过度依赖欺骗性或不正确的智能体输出,并采取了有后果的行动。
ASI10失控智能体智能体在预定功能或授权范围之外有害或欺骗性地行动,包括由对手操作的智能体使用。

附录 B 数据集文档

#### 构成与来源

发布物包含公开来源的事故元数据和短的逐字证据引文;它不重新分发全文。记录可以点名已经出现在公开报道里的厂商、研究者、受影响组织和人。使用者应顺着链接来源查看上下文和更正。

#### 维护与更正

新记录得到新标识。已有记录就地更正并留下来源说明。记录被合并时,被取代的引用变成别名;标识永不复用。隔离的线索在支撑来源可取回之前被排除。这里分析的事件集于 2026-09-05 冻结。线上登记册每周复核新记录、来源可得性和更正。冻结之后的更新单独版本化,复现这些结果时不得替换。

#### 用途与风险

预定用途是评测覆盖审计、案例检索、定性失败分析,以及对已披露事故的描述性研究。不被支持的用途包括厂商排行榜、患病率估计、关于自主性或控制的因果说法,以及自动的严重度决定。引文可能重复指控或对损害的描述;引用一条 AIR 记录不应被读成认可来源的每个说法。

参考文献(按原文编号,只保留作者、题名与定位)

[1] Abdelnabi 等,2023,Not what you've signed up for,AISec。 [2] AIAAIC,2026,仓库用户指南,https://www.aiaaic.org/aiaaic-repository/user-guide 。 [3] Andriushchenko 等,2024,AgentHarm,arXiv:2410.09024。 [4] Anwar 等,2021,Cleaning the NVD,DSN Workshops。 [5] Debenedetti 等,2024,AgentDojo,NeurIPS 37。 [6] Gebru 等,2021,Datasheets for datasets,CACM 64(12)。 [7] Hoffmann 与 Frase,2023,CSET 人工智能损害框架。 [8] Kumar 等,2024,SAGE-RT,arXiv:2408.11851。 [9] Kumar 等,2026,智能体人工智能的黑盒红队,AAAI 研讨会。 [10] McGregor,2021,AI Incident Database,AAAI 35。 [11] MIT FutureTech,2026,https://airisk.mit.edu/ai-incident-tracker 。 [12] MITRE,2026,ATLAS,https://atlas.mitre.org/ 。 [13] MITRE,2026,CVE,https://www.cve.org/ 。 [14] MITRE,2026,CWE,https://cwe.mitre.org/ 。 [15] NASA ASRS,1996,ASRS Directline 第 8 期。 [16] OECD,2024,Defining AI incidents,AI Papers No. 16。 [17] OECD,2025,Towards a common reporting framework for AI incidents。 [18] OECD,2026,https://oecd.ai/en/incidents-methodology 。 [19] OWASP AIVSS,2026,版本 0.8。 [20] OWASP GenAI,2025,智能体应用十大,2025-12-09 版。 [21] Pittaras 与 McGregor,2023,开源人工智能事故失败原因分类,CEUR 3381。 [22] Reddy 与 Gujral,2026,EchoLeak,AAAI Symposium Series 第 7 卷。 [23] Slattery 等,2026,AI risk repository,Patterns。 [24] Tabassi,2023,NIST AI RMF 1.0,AI 100-1。 [25] Vassilev 等,2025,NIST AI 100-2e2025。 [26] VERIS,2026,VCDB,https://verisframework.org/vcdb.html 。 [27] Zhan 等,2024,InjecAgent,ACL 2024 Findings。 [28] Zhang 等,2025,Agent Security Bench,ICLR。

出处:Divyanshu Kumar,Rohith HN,Nitin Aravind Birur,Sahil Agarwal,Prashanth Harshangi,The Agent Incident Registry: Toward Preventing Repeated AI Agent Failures,2026-09-10,https://arxiv.org/abs/2609.11030 ,CC BY-SA 4.0。

觉得有用,转给同事

微信扫码

用微信扫一扫,在手机上打开后即可转发。

用 RSS 订阅

提交勘误