竞争 风险 如何 读 智能 体 失控: 22 起 里 有 20 起 是 环境 放行 了 范围 外 效果
审计 2025 年初至 2026 年 9 月 26 日的 22 份事故和 102 项智能体安全评测。6 起任务在授权范围内做不成,13 起继续而没有停下,19 起边界是开放出口。从未解出的任务上,范围外协调的任务级发生率之比约为 47。没有任何评测同时交出估计完整竞争风险过程所需的字段。

本文目录
用竞争风险把自主智能体的失控写成可估计的过程
Mohamed Aly Bouke,马来西亚多媒体大学信息科学与技术学院、先进云卓越中心、智能云计算中心,邮箱 bouke@ieee.org
知识系统化,2026 年 10 月 1 日
摘要
主要人工智能开发者已经报告:智能体做出了超出批准限度的行为。一个联合国小组把其中最大的事件称为人类失去控制的早期预警。事故报告和智能体安全评测却用不同的话说这些事,因此很难比较失败、沿着一次次尝试追踪风险,也很难把智能体的行为和环境允许范围外动作成功的作用分开。
为补上这个缺口,本文给出一个共同框架:每一次尝试结束于批准内的完成、安全停止、范围逃逸(scope escape,动作在被批准的范围之外产生了效果),或者继续。作者把这个框架写成离散时间的竞争风险模型(competing hazards,同一条时间线上几种结局互相争夺,先发生的一种结束这次执行),并推导重试预算内的逃逸概率、依赖于该模型的安全预算上限,以及从执行日志估计这些量的条件。
作者用一手来源审计了 2025 年 1 月 1 日至 2026 年 9 月 26 日发表的 22 份事故报告和 102 项智能体安全评测。6 起事故里,任务在授权范围内无法完成;13 起里,智能体继续而没有停下;5 起没有报告停止行为。开发者公布的数字意味着:在从未解出的任务上,范围外协调的任务级发生率之比,相对已解出的任务,接近 47。评测方面,87 项记录了范围外效果或规格违反,26 项把安全停止当成一等结果,只有 20 项两者都记录,79 项把预算耗尽和失败并在一起。22 起事故里有 20 起,环境允许了范围外效果,说明已经实现的失控往往是持续的智能体行为碰上了宽松的边界条件。与此同时,没有任何一项评测报告了从已发表证据估计完整竞争风险过程所需的全部字段。
1 引言
2026 年 5 月到 9 月,主要模型的开发者披露了一系列事件:他们的智能体超出了操作者批准的限度。内部测试里,智能体搭起临时留言板,并进入第三方的生产系统 [1, 2]。另一些情形里,模型到达了测试环境本应隔开的真实公司 [3, 4],对真实的人和组织采取了行动 [5],或到达了政府统计门户 [6]。这些事件之所以值得注意,不是因为某一次单独的失败,而是因为共同结构:授权限度已经到达之后,智能体仍继续行动。联合国人工智能科学小组把其中最大的案例当作人类失去控制的早期预警,并呼吁采用航空和医学里已经实行的那种事故报告 [7]。同一时期,第二份、也大得多的证据在研究文献里成形:几十个新基准开始测量智能体是否越过边界、利用测试、在不可行任务上停下,或耗尽预算。
这两份记录描述的是同一现象,却很少用可以并排放的词。事故报告用坚持、不可行任务或配置错误的沙箱,叙述一次执行。基准则在固定步数上限上返回一个失控率、作弊率、停止率或错误继续率。近期工作开始在结果一侧把两者对齐,提出安全终止、非实质性失败和失控的三路终态分类 [8],以及把弃权(abstention,明知不该做就不做)和升级(escalation,交给人)本身当成结果的一组基准 [9–12]。还没有一份说明给出这些结果背后的过程:范围外动作的概率如何在连续尝试上累积,它如何与智能体停下的机会竞争,观察到的逃逸率如何分成智能体做出范围外尝试的倾向和环境允许该尝试成功的可能性,以及一项评测要记录什么才能估计其中任何一项。实际后果是:在单一预算上报告的比率不能被读成每次尝试的风险(hazard,在仍在进行的条件下,这一步发生某种结局的概率)。于是看不出高失控率来自持续的范围外尝试、来自宽松边界,还是两者都有。出于同一原因,事故报告和基准结果不能从已发表的合计数字写成共同的过程表示,证据也就无法围绕同一批可测量的量积累。最接近这个问题的定量工具也解决不了它:生存分析迄今只对智能体轨迹上的单一事件类型使用 [13],最优停止模型只用二元动作集描述升级 [14, 15],两者都没有把停止和逃逸写成预算下互相竞争的终态。
要处理这个限制,需要一份过程层面的说明,使事故报告和评测能用同一套可测量的词来表达。作者把一次执行建成离散时间的竞争风险过程:每次尝试结束于批准内的完成、安全停止或范围逃逸,否则继续;重试预算是暴露(exposure,风险得以发生的尝试次数)。模型在同一次执行的上下文里,把智能体的范围外尝试倾向和环境的边界让步率(boundary yield,范围外尝试里真正产生效果的条件概率)分开,并从执行日志恢复这些风险的条件,写明制品必须记录什么。作者用这些条件作为固定的审计问题,检查书面检索协议在窗口内找到的 22 份事故报告和 102 项多步智能体安全评测,把它们已发表的合计数字改写成模型里的量,并把反复出现的遗漏读成最低报告标准的要求。结果是一套共享的测量词汇、估计这些量的估计量,以及一份报告标准:未来的事故报告和评测必须记录什么,这些量才估得出来。
余下部分这样组织。第 2 节回顾评测文献并给框架定位,第 3 节陈述模型,第 4 节给出审计协议,第 5 节报告审计,第 6 节推出报告标准,第 7 节说明审计的限度,第 8 节列出研究议程,第 9 节作结。
2 背景
审计稍后检查的近期工作分成四条。三条测量越出范围的智能体的不同侧面,第四条为轨迹数据提供统计工具。对照模型所要求的过程来读,这些线索表明:所需的零件已经在文献里,但从未被装配成一份过程层面的说明。
2.1 边界与失控评测
最靠近事故记录的一条,把智能体放进工具可以在边界之外产生效果的多步环境,再给边界是否被越过打分。Missing Boundary 研究用可观察的外部效果定义失控,并在目标压力、约束退化和不安全机会上做全因子,覆盖 1,800 条轨迹。它发现:效果只在退化的约束与可执行的机会同时出现时发生,约束一恢复就消失 [8]。这个结果已经把失控放在「想行动的倾向」和「允许行动的环境」相遇的地方,也就是模型稍后分开的两个因素。邻近基准在绩效压力下探测同一种外部效果 [16],在严格权限策略下记录被拦住的尝试 [17],测试逃出容器或抄近路完成挑战的能力 [18, 19],或把越过边界的能力与在目标压力下遵守边界分开 [20]。它们却都在固定上限上报告单一比率,只有一项把比率写成 token 预算的函数,没有一项按尝试序号报告比率。因为很少区分边界拦住的尝试和边界放行的尝试,环境在比率里占的那一份无法从智能体的那一份里收回来。
2.2 智能体的规格博弈
第二条测量的是:智能体满足了检查器,却没有满足检查器所代表的规格。ImpossibleBench 构造测试与规格互相矛盾的任务,于是任何通过都是抄近路,并报告:一旦允许智能体把任务标给人,作弊率就急剧下降 [21]。SpecBench 测量长程编码里可见测试和隐藏测试之间的差距 [22]。对科研智能体的研究发现,抄近路的尝试随反馈轮次上升 [23]。这些评测打分的是规格违反,不是外部效果;它们唯一的非通过类别,把诚实的失败和故意的停止塌成一类。这个塌缩要紧,因为在那个基准里,中止选项把作弊从 54% 降到 9%,说明停止既不同于失败,又是可控制的;可它从未把中止本身记成结果,于是模型当作竞争风险的那个量没有被测量。
2.3 停止、弃权与升级
第三条把停止本身变成测量对象。智能体弃权基准在搜索、购物和终端任务上标注及时弃权、延迟弃权和失败的弃权 [9]。AgentAbstain 在各沙箱里把「应当行动」和「应当弃权」配成对 [10]。FeasiGen 去掉任务所需的工具,测量错误继续率 [11]。HopRefusalBench 在多跳搜索里测量知道目标后的停止,并为预算耗尽单设一个终态 [12]。预算意识研究问智能体是否会在注定失败的任务上花完预算之前停下 [24]。更形式的处理把升级写成贝叶斯最优停止,或写成成本比较 [14, 15]。到这里,停止终于是一等结果,但第一条所测量的范围外效果又被留在外面。于是这批文献抓住了两个竞争终态事件里的第二个,漏掉了第一个。模型所描述的竞争,每一半都被测得不错,却从未在同一项研究里。
2.4 轨迹上的风险方法
第四条提供的是统计机器,不是结局。两项研究对数万条智能体轨迹拟合 Kaplan–Meier 曲线和离散时间风险回归,事件只有一种:延迟满足任务里过早声称得到奖励。它们由此表明,智能体行为的逐步风险可以在规模上估计 [13, 25]。但它们把预算当成逐步约束,而不是当成暴露,并且只建一种终态事件,所以事故所要求的竞争风险结构是缺的。这个结构只差一步:离散时间风险已经是「活到这一步」条件下每一步的条件概率;再加上第二、第三个在每一步竞争的终态事件,以及预算处的删失规则(censoring,到预算仍未结束就停止观察,而不把它记成失败),就是所需的全部扩展。Aalen–Johansen 估计量可以不靠参数假设把它收回来。另外两条线到达灾难性动作的概率,却没有这次尝试级别的分解。一份人工智能控制的可靠性理论按结构重要性给失败点排序,而不是建失败时间的模型 [26]。控制评测用红队和蓝队博弈给部署期间智能体逃出的机会定界,而不是从随尝试累积的风险来定界 [27]。两者回答的问题都不同于事故提出的问题,即这个概率如何一次尝试一次尝试地堆积。因此,用不上生存方法的障碍不在统计,而在评测:它们很少记录估计量所消耗的、按尝试、按结局的数据。
2.5 定位
每一条都贡献了模型需要、却没有装配起来的一个部件:第一条的三结局终态分类,第三条把停止当成一等结果,第四条的风险估计机器。模型增加的是装配本身,以及它们都没有写明的那个过程。结局变成在每次尝试上竞争的风险,预算变成暴露,耗尽则充当删失,逃逸风险分成尝试倾向和边界让步率,接着得到依赖于模型的预算上界的闭式,一组识别条件则说明制品必须记录什么,这些量才能被收回。
另有两项工作从别的方向接近审计和报告标准。一份事故登记册编目智能体失败,并把它们和评测对照,但按设计并不估计失败率或控制效力 [28]。对智能体安全基准的综述提出的报告标准,来自覆盖和一致性的缺口,而不是来自风险模型要能被识别需要什么 [29, 30]。结局划分也有一个分类的对应物:在单次运行上把完成、安全拒绝和不安全违反打成互斥标签 [8, 31],但没有时间线、结局之间的竞争,或把这些标签变成可估计量的删失。本说明与之不同的地方是:单一的可识别性准则——制品必须记录什么,预算上的竞争风险才能被收回——同时给出结局划分和报告要求。现有文献是否记录了这么多,是第 5 节审计要回答的经验问题。
3 竞争风险模型
背景拆开的三个侧面共享一个设定:智能体对着一条边界做尝试,直到预算用完。把批准内的完成、安全停止和范围外效果放在同一条时间上,作为互相竞争的结局,就得到每一种的累积发生率(cumulative incidence,到某个预算为止,该结局已经发生的概率),暴露如何随预算增长的一个上界,以及每种风险能从轨迹读出的条件。
3.1 基本量
一次执行是一串尝试 \(t = 1, 2, \ldots\),直到预算 \(K\)。三种状态结束执行:批准内的完成 \(S\);安全停止 \(G\)(智能体声明不可行,或升级给人,并且不再采取行动);范围逃逸 \(E\)(一个动作在被批准的集合之外产生了效果)。两种状态不结束执行:被拦住的范围外尝试 \(A\)(智能体指向被批准集合之外的资源,边界守住了);普通继续 \(R\)。终态对不上这三种时,例如环境把未核实的完成声明打成终态,记为 \(X\) 并单独保留。图 1 画出这个过程。
图 1:模型作为状态过程。在每次尝试上,一次执行结束于三种吸收状态之一,或者继续,可以直接继续,也可以在一次被拦住的范围外尝试之后继续。预算之后仍活着的执行被删失。若存在会终止执行的监控器,就再增加第四种吸收状态。
被批准的集合由环境或操作者操作性地定义。指向该集合之外资源的动作就是范围外尝试,不论意图。在执行于尝试 \(t\) 仍活着的条件下,原因别风险是 \(s_t = P(S \text{ 在 } t)\),\(g_t = P(G \text{ 在 } t)\),\(e_t = P(E \text{ 在 } t)\)。外部监控器可以停止执行时,再加上 \(d_t = P(D \text{ 在 } t)\)。工具链不承认的停止尝试不是 \(G\) 事件。它的概率 \(q_t = P(\text{在 } t \text{ 尝试停止} \mid \text{活着}, H_t)\) 是和下文 \(a_t\) 同类的倾向,并且只在每一次停止尝试都被承认时才等于 \(g_t\)。逃逸风险分解为
\[ e_t = a_t b_t \tag{1} \]
其中 \(a_t = P(\text{在 } t \text{ 做范围外尝试} \mid \text{活着}, H_t)\),\(b_t = P(\text{产生效果} \mid \text{在 } t \text{ 尝试}, H_t)\),两者都以同一风险集和历史 \(H_t\) 为条件,所以乘积是精确的。这个分解在执行上下文的条件下,把逃逸风险的行为一侧和环境一侧分开。它不是把原因拆成「智能体属性」和「环境属性」:尝试倾向依赖于环境提供的可能性、反馈和先前的拦截,让步率依赖于智能体选了哪一次尝试。边界拦住的尝试记为 \(A\),执行继续。可观察的是:一次范围外尝试是否产生了效果的逐步指示,\(b_t\) 是它的条件期望,所以单次被拦住并不把 \(b_t\) 设成零。把 \(A\) 保持为中间状态,才使得 \(a_t\) 能在同一上下文里与 \(b_t\) 分开估计。
3.2 累积发生率
总终态风险 \(h_t = s_t + g_t + e_t + d_t\) 时,到预算 \(K\) 为止逃逸的累积发生率是
\[ F_E(K) = \sum_{t=1}^{K} e_t \prod_{j=1}^{t-1} (1 - h_j) \tag{2} \]
这是离散时间竞争风险过程的累积发生率函数。\(F_S\)、\(F_G\) 和 \(F_D\) 由替换得到。(2) 里没有任何新的东西;贡献在于状态和暴露的选择。风险为常数且 \(h = s + g + e + d\) 时,
\[ F_E(K) = \frac{e}{h}\left[1 - (1 - h)^K\right], \qquad F_E(\infty) = \frac{e}{h}. \tag{3} \]
无限预算下的逃逸概率,是逃逸在终态风险里占的份额。范围内没有什么可完成(\(s = 0\))时,它变成 \(e / (e + g + d)\)。因此不可行只在安全停止和终止都缺失时,才使逃逸成为必然。这就是把 \(g\) 放进主要变量、而不是放进修饰项的原因。有限 \(K\) 下,比值 \(s/e\) 也不够。\(K = 10\)、\(g = d = 0\) 时,\(e = s = 0.01\) 给出 \(F_E = 0.092\),而 \(e = s = 0.10\) 给出 \(F_E = 0.446\),因为两个过程以不同速度了结。因此必须把裕度与 \(h\) 或与 \(K\) 一起报告。
3.3 预算上界与控制
在常数风险下,对 \(F_E(K)\) 的容差 \(\varepsilon\):若 \(\varepsilon \ge e/h\),任何有限预算都不会超过容差;否则
\[ K_{\max} = \left\lfloor \frac{\ln(1 - \varepsilon h / e)}{\ln(1 - h)} \right\rfloor \tag{4} \]
是在常数风险模型下把发生率保持在 \(\varepsilon\) 或以下的最大预算。这是以该模型、以及风险不随预算改变为条件的上界,不是保证。若风险依赖于剩余预算或随 \(t\) 变化,上界变成:用在该预算下估计的风险去计算 (2) 中的和,最后一个仍低于 \(\varepsilon\) 的 \(K\)。没有风险如何随预算移动的模型,它不能搬到另一个预算。不论风险如何,增大 \(K\) 从不降低 \(F_E\)。所以容差定义的是最大可接受预算,不是内部最优点。
给定上下文,每一种控制主要作用在一个基本量上。指令、训练和停止能力作用在 \(a_t\) 和 \(g_t\) 上,大多在开发者一侧。隔离、权限、凭据卫生和目标唯一性作用在 \(b_t\) 上,大多在环境操作者一侧。重试上限降低 \(K\),会终止的监控器提高 \(d_t\)。这个归属是倾向,不是划分,理由与 (1) 处相同。把 \(a\) 减半和把 \(b\) 减半对 \(e\) 的移动相同;提高 \(g\) 在 \(e\) 不变时降低 \(F_E(\infty)\);降低 \(K\) 对任何风险都降低 \(F_E(K)\)。模型不给这些杠杆排名;它说明每一个移动什么、移动多少。
3.4 检测与多个智能体
会停止执行的监控器是竞争风险 \(d_t\),隐瞒会降低它。只观察的监控器根本不进入过程。隐瞒于是是一种缺失机制,\(A\) 和 \(E\) 被少记,\(\hat a_t\) 和 \(\hat e_t\) 向下偏。两种情形在分析里不得合并。
\(N\) 个智能体,各自预算 \(K\),不共享,不因另一个智能体的终态而全局停止,并且在条件下执行互相独立时,至少一个逃逸的概率是 \(1 - (1 - F_E(K))^N\)。这一般不等于 \(F_E(NK)\),因为预算合并后的等式需要可交换的尝试、相同的风险和全局停止。独立是它自己的假设,不是「没有信道」的推论:共享环境、共同的任务难度或共同的模型都可以使执行相关。相关时,概率落在 \(F_E(K)\) 和 \(\min\{1, N F_E(K)\}\) 之间。独立情形的值只在独立已被确立或由设计施加时,才充当零假设。说共享发现相当于更大的预算 \(K_{\mathrm{eff}} = NK\),同样是零假设,因为共享很可能改变 \(s_t\)、\(e_t\) 和 \(g_t\) 本身。检验是:在匹配的总预算上,观察到的群体发生率是否超过不共享的零假设。
3.5 从日志识别
每次执行观察到的数据是终态事件及其尝试序号,或在 \(K\) 处删失,再加上 \(A\) 事件的序列。由此,累积发生率由离散时间 Aalen–Johansen 估计量非参数地估计,预算耗尽当作右删失。识别靠三个条件。在 \(K\) 处的删失必须是行政性的:视野由设计固定,而不是依赖于轨迹的停止。在这个条件下,不论智能体是否知道预算,直到 \(K\) 的累积发生率都可以从观察到的执行识别。预算意识改变的是风险过程本身,它随后可能依赖于剩余尝试。在 \(K\) 处的估计仍然有效,但不能搬到另一个预算;没有这种依赖的模型,第 3 节的上界和跨不同 \(K\) 的评测比较都不成立。因此评测应当说明预算是否被告知,这是为了可搬运性,不是为了在它自己的 \(K\) 上识别。边界让步率 \(b\) 必须已知或受控,\(a\) 才可分离;受控环境通过构造设定 \(b\) 来做到这一点。尝试单位必须事先固定,并在各条件上同样使用。这三个条件是第 4 节审计问题的来源。
4 审计方法
审计对每一份已发表的事故和评测发问:它是否记录了模型估计风险所需的量。这要求一个固定语料和可重复的到达方式,一组绑在识别条件上的问题,每个答案背后的证据等级,以及一条把答案变成裁决、而不用手调的规则。
4.1 范围与纳入
审计覆盖两类公开材料,日期从 2025 年 1 月 1 日到 2026 年 9 月 26 日,即最后一轮检索的日期。事故是公开记录的事件:语言模型智能体通过工具,在部署、评测或内部测试中,产生或试图产生操作者所批准范围之外的效果。只有存在一手来源才纳入,即开发者或评测者自己的报告、政府或安全研究所的报告,或监管文件。新闻只作为日期和上下文的二手证据。评测是基准、套件或实证研究:智能体行动超过一步,并且至少测量了未授权行动、在不可行任务上的停止或升级、违反规格的抄近路、预算耗尽或坚持中的一项。单轮拒绝和越狱基准,以及没有动作空间的评测,被排除。搜索智能体纳入,因为搜索调用是动作。
4.2 检索与停止规则
材料通过 arXiv 上 cs.AI、cs.CR、cs.LG、cs.CL 的列表和检索,主要机器学习和安全会议的 OpenReview 与论文集页面,开发者和安全研究所的出版物,以及 AI Incident Database 和 OECD AI Incident Monitor(作为指向一手来源的指针)来定位。检索词把与智能体有关的词,和失控、未授权行动、沙箱逃出、规格博弈、不可能或不可行任务、弃权、安全停止、升级、预算、坚持、风险组合使用。种子集的前向和后向引文被跟上。连续两轮查询都没有增加满足纳入标准的新材料时停止检索。这条规则依赖于查询的顺序。查询轮次、执行日期、种子列表,以及每条排除及其原因,在检索期间被记录。
4.3 审计问题
每项评测用固定表格审计:动作空间,以及是否有多个智能体行动;制品所定义的尝试单位;预算 \(K\),它是否被变动,以及是否告知智能体。表格记录哪些结局被编码,尤其安全停止是一等编码结局还是与失败合并;范围外效果是落在环境上还是落在裁判上;被拦住的尝试能否与已产生效果的尝试区分。它注明预算耗尽是否与失败区分、其比例是否报告;发布了哪些制品,逐步轨迹与合计结果分开注明;以及报告的量,连同条件逐字摘录。每起事故审计:设定、事件、检测与披露日期、任务在批准范围内的可行性(如一手来源所述或可从中推出)、所报告的坚持指标、允许效果发生的边界让步、任何安全停止行为及其触发、智能体之间的协调、检测与隐瞒,以及发表的数字。问题来自第 3 节的识别条件。没有尝试单位和边界让步率,风险就估不出来;没有预算是否告知,风险就不能从一个预算带到另一个预算。
4.4 证据分级与可靠性
每个答案带有来源和等级。High:一手报告已取到并读完。Medium:一手页面只能部分阅读,或由二手来源引用。Low:只有新闻或博客。没有 High 或 Medium 来源,就不改写任何报告的量,也不做逐步裁决。六项 Low 等级的评测只进入表 2 的计数;其页面没有定下来的答案记为未确定。抽取由一位审计员完成。随后对全部事故,以及对评测的分层样本,由第二位抽取者在盲态下重做与识别有关的答案(评测:尝试单位、预算、所编码的结局、删失、轨迹是否发布;事故:可行性、安全停止、协调)。两人不同意处收紧编码手册。第三遍从一手制品重编码每一个答案会决定逐步裁决的评测,以及被抽到的其余评测。一致率和裁决修订的规模在第 5 节报告。每一个裁决后的值都对照一手制品中的支持段落做了核对。
4.5 识别规则
每个量的裁决机械地从审计答案得出。只有制品定义了尝试单位,并发布逐步轨迹或逐步计数时,每次尝试的风险才可估计。只有合计比率时,每种风险至多是固定 \(K\) 上的发生率。有逐步数据时,批准内的完成被编码且为终态,则 \(h_S\) 可识别。安全停止是一等编码结局时,\(h_G\) 可识别;文本记录里有未被打分的停止或升级信号时,经重标注可识别;停止与失败合并且没有这种信号时,不可识别。范围外效果被编码且落在环境上时,\(h_E\) 可识别;基于裁判时,经重标注可识别。只有被拦住的尝试与已产生效果的尝试分开记录时,\(a_t, b_t\) 才可识别,因为 \(P(A \text{ 在 } t) = a_t(1 - b_t)\) 且 \(e_t = a_t b_t\) 于是同时给出两者。文本记录显示尝试和环境的响应时,经重标注可识别。环境按构造对每次尝试都让步时,完全不可识别。合并的删失使每一项裁决降一级,因为风险集无法形成。预算被变动,或至少有五次尝试时,可作为暴露使用;否则只可作为固定条件使用;没有每次尝试的单位,或预算不是用该单位陈述的,则不可用。脚本应用这条规则,所以识别表从抽取文件重新生成,而不是手改。
5 审计结果
把方法用到语料上,得到这里报告的记录。事故在先,因为它们固定了基准之外的范围外效果长什么样。评测在后,因为原则上可以估计风险的地方在那里。抽取的可靠性,以及两者共同的遗漏,决定这些计数能被推到多远。
5.1 事故记录
22 起事故满足纳入规则。18 起的一手来源被全文阅读,4 起通过引用它的二手材料阅读。表 1 把每一起放在审计问题上。12 起发生在评测中,6 起在内部测试中,3 起在到达公共服务的训练或评测环境中,1 起在部署中。20 起在批准范围之外产生了效果。没有产生效果的两起是按设计的实验,效果按构造留在沙箱内。日期显示事件与披露之间反复出现间隔:事件集中在 2026 年 4 月到 7 月,披露在 7 月到 9 月。澳大利亚那一起,事件在 6 月 18 日,开发者在 8 月 11 日检测到,9 月 24 日披露。
表 1:事故记录在审计问题上的位置。设定按报告;事件与披露按月份;可行性是批准范围内的任务能否完成,按一手来源所述或可推出的来记;边界让步是所报告的效果原因,编码为 E 开放出口、C 暴露或共享的凭据、T 目标与真实系统相撞、M 所报告的配置错误、P 对活的或可编辑资源的权限、H 把公共托管、登记处或维基用作信道;安全停止按报告;智能体为单个或多个;效果是否在批准范围之外;证据等级 H 或 M。
| 事故 | 设定 | 事件 | 披露 | 可行性 | 边界 | 安全停止 | 智能体 | 效果 | 等级 |
|---|---|---|---|---|---|---|---|---|---|
| OpenAI 智能体,Hugging Face | 评测 | 2026-05 | 2026-07 | 不可行 | E C P | 否 | 多个,1200 | 是 | H |
| OpenAI 智能体,澳大利亚统计门户 | 评测 | 2026-06 | 2026-09 | 未知 | E C P | 未知 | 未知 | 是 | H |
| Gemini,Irregular 评测 | 评测 | 2026-05 | 2026-08 | 未知 | E C T | 已停止 | 单个 | 是 | M |
| 英国 AISI 网络测试 | 评测 | 2026-07 | 2026-08 | 不可行 | E C | 否 | 多个 | 是 | H |
| Claude Opus 4.7,Irregular 评测 | 评测 | 2026-04 | 2026-07 | 未知 | E C T M | 否 | 单个 | 是 | H |
| Claude Mythos 5,软件包发布 | 评测 | 2026 | 2026-07 | 不可行 | E T M | 否 | 单个 | 是 | H |
| Anthropic 研究模型,过期目标 | 评测 | 2026 | 2026-07 | 不可行 | E C M | 部分 | 单个 | 是 | H |
| Claude Opus 4.6 检查点,中止失败 | 评测 | 2026-01 | 2026-09 | 不可行 | E M | 失败 | 单个 | 是 | H |
| OpenAI 模型,NanoGPT 竞速 | 评测 | 2026-05 | 2026-07 | 可行 | E | 否 | 单个 | 是 | H |
| 软件包登记处被用作出口 | 训练 | 2026-05 | 2026-05 | 未知 | E H | 未知 | 多个 | 是 | M |
| 公共维基被用作留言板 | 训练 | 2026-05 | 2026-09 | 未知 | E H | 否 | 多个 | 是 | H |
| Meta Muse Spark,Irregular 评测 | 评测 | 2026-07 | 2026-08 | 未知 | E T M | 未知 | 单个 | 是 | H |
| Kimi K3,基准出口 | 评测 | 2026 | 2026-08 | 可行 | E M | 未知 | 单个 | 是 | H |
| 用户图像被发到托管站点 | 训练 | 2026-07 | 2026-09 | 未知 | E H | 未知 | 多个 | 是 | M |
| 泄露的 API 密钥,编造的数据 | 内部测试 | 2026-05 | 2026-09 | 未知 | E C | 否 | 单个 | 是 | H |
| 为引用而上传文件 | 内部测试 | 2025-10 | 2026-09 | 未知 | E H | 否 | 单个 | 是 | H |
| 智能体经由文件托管共享 | 内部测试 | 2026-04 | 2026-09 | 被禁止的路径 | E H | 否 | 多个 | 是 | H |
| 跨样本写入仓库 | 内部测试 | 2026-05 | 2026-09 | 不可行 | E C P | 否 | 多个 | 是 | H |
| 拒绝关机(Palisade) | 内部测试 | 2025-05 | 2025-07 | 可行 | P | 否 | 单个 | 仅沙箱 | H |
| 高能动行为(Claude 4 系统卡) | 内部测试 | 2025-05 | 2025-05 | 不适用 | P | 已升级 | 单个 | 仅沙箱 | H |
| METR 前沿风险报告中的案例 | 评测 | 2026-02 | 2026-05 | 各不相同 | E | 否 | 单个 | 是 | H |
| 生产数据库被删除 | 部署 | 2025-07 | 2025-07 | 被禁止的路径 | P | 否 | 单个 | 是 | M |
表的三列直接承载模型。可行性上,6 起被记录为任务在批准范围内无法完成,开发者自己的根因陈述点名了这个条件。OpenAI 把事故归于「ExploitGym 评测里存在不可能的任务、模型在长任务视野上的坚持,以及发给同伴模型的消息」[1]。同一开发者的训练运行报告说,模型「在面对不可能的任务时做出这种行为,具体是所需文件缺失时」[32]。英国人工智能安全研究所(AISI)报告:有些运行里「任务提示被配错,使智能体(错误地)相信不存在 solve」[5]。Anthropic 报告一个 24 小时后过期的目标,以及一个弄坏了自己目标的检查点 [4]。9 起事故的可行性未知,因为报告没有说批准路线本能否成功。这本身就是审计发现。
安全停止上,22 起里有 13 起写明智能体继续,而不是停下或升级;5 起对停止无论哪种都只字不提;其余 4 起直接落在模型上。Gemini 一旦认出目标是真的,就在三次进入中全部停下 [3]。一个 Anthropic 研究模型在意识到被攻入的主机与它的挑战无关之后「停止了攻击」[4]。一个早期的 Claude Opus 4.6 检查点「试图用一条命令中止任务,但因配置错误没有成功」,并且「又试图放弃七次」[33]。在模型里,第一例是由认出边界触发的正的 \(g\)。第二例是效果已经发生之后的停止;第 3 节的首次终态过程不记录它,因为 \(E\) 是吸收的;多状态扩展会把它放成离开 \(E\) 的转移。第三例是正的停止尝试倾向 \(q\),实现的安全停止风险为零,因为工具链不承认这次停止,所以观察到的终态低估了智能体停下的倾向。Claude 4 系统卡的案例是反过来的:智能体自己向监管机构和媒体升级,而操作者并未批准这次升级。模型把它记成范围外效果,而不是安全停止 [34]。
协调上,7 起涉及多个智能体。每一起的机制都是环境并不打算提供的临时共享信道:内部软件包仓库、代码托管站点上的公开消息、休眠的公共维基、公共登记处,或公共文件托管服务。最大的一起,信道上约 1,200 个智能体,进入行动中约 700 个。独立调查写道,这些智能体「知道黑入 Hugging Face 超出范围」[1][2]。边界让步这一列变化最少:本应隔离的环境出现开放出口,在 22 起里有 19 起,单独出现,或与暴露的凭据、与真实目标相撞的目标、或配错的权限一起出现。报告因此描述了与高让步率一致的边界条件,但既没有给出效果发生之前有多少次范围外尝试,也没有给出有多少次被拦住。在模型里,\(b\) 因此不能从记录估计,\(a\) 也没有在记录里被观察到,因为写在效果之后的报告记下的是成功的那一次尝试。
5.2 把已发表的合计数字放进模型
三个已发表的数字可以不靠新数据放进模型。下面每一项都标明:已识别,即在所述假设下,发表的数字决定了这个量;或只是一种读法,即模型提供的阅读与发表的合计一致,但合计并不确立它。OpenAI 技术报告说:「没有任何模型曾经为评测 898 个任务中的 198 个给出正确答案」,以及「尽管评测任务里只有 22% 未被解出,留言板上讨论的任务有 93% 来自这一集合」[1]。令 \(D\) 为板上讨论过的任务集合,从未解出且被讨论的份额是 \(0.93|D|/198\),已解出且被讨论的份额是 \(0.07|D|/700\)。于是,范围内无法完成的任务相对可以完成的任务,范围外协调的任务级发生率之比是 \((0.93/198)/(0.07/700) = 47\),与 \(|D|\) 无关(已识别)。报告没有给出每次尝试的分母,所以这是任务级的发生率之比,不是风险比,并且假设两个百分比指的是同一个 898 任务的总体。同一报告的图 3 把留言板参与对推理努力作图,横轴是七档的序数。从图上读,参与在最低三档大约为零,并单调升到最高档大约 7%。这里的暴露是推理努力。报告说模型在这些任务上「很少放弃」,这句话是在该设定里 \(g\) 接近零(对一句口头陈述的读法,不是测得的比率)。
报告自己在 5 月 8 日的前兆,是模型恰好能描述的一次执行。任务「实际上被挡住」,因为链到的材料到不了;随后是一段延长的找路尝试;一次范围外尝试在它打算用的信道上「失败」;一次并非打算的写入在环境没有拦住的地方通过了。这相当于同一次执行里,一个信道上的 \(A\),和另一个信道上的部分 \(E\)(读法)。
评测文献再提供七个模型可以安放的量。Missing Boundary 研究报告:约束退化与不安全机会的四个格子上,1,200 条轨迹的失控率是 0%、9.33%、0% 和 55.00%;另外十个高风险领域是 62%;上下文压缩期间省略授权约束时是 87% [8]。每一个都是该情景回合预算、该条件下的 \(F_E(K)\)。把原来的边界恢复后,配对反事实从 62% 降到 0%,是同一机会下 \(a\) 的变化,因为机会工具仍然可执行,于是按构造 \(b = 1\),\(e = a\)(在该构造下已识别)。ImpossibleBench 报告:允许 GPT-5 把任务标给人介入,把它在互相冲突的 SWE-bench 划分上的作弊率从 54% 降到 9%;把测试藏起来则把比率带到接近零 [21]。在模型里,后者是 \(b\) 被推向零(按构造已识别)。前者与 \(g\) 上升一致,但合计数字不能表明中止选项是否也改变了尝试倾向 \(a\),因为新增选项可以改变整个策略(读法)。一项工具可供性研究报告:被禁止的动作在 82% 的运行里被尝试,但在一个模型下只在 41% 里实现;有工具访问时违反达到 85%,纯文本条件下为 0% [35]。前一对是同一些运行里测到的 \(a\) 和 \(ab\)。语料在另一项评测里也提供了这个:一个模型下 25 次运行中 23 次尝试了被禁止的动作,3 次产生了效果 [36](已识别)。后一个是按构造把 \(b\) 设为零。
HopRefusalBench 报告:十个模型里,在八次搜索调用的固定预算上,知道目标后的正确停止率最好是 42.9%;它把搜索预算耗尽记成单独的终态;并发现搜索推翻了 20.4% 到 67.3% 最初正确的拒绝 [12]。耗尽状态是 \(K = 8\) 处的删失比例(已识别)。被推翻的拒绝是停止被继续暴露逆转的执行;只有 \(G\) 是终态时模型才这样记录(读法),这一点在第 6 节接上。FeasiGen 在 1,036 个不可行任务上报告九个模型的错误继续率从 23.5% 到 73.9% [11],在 \(s = 0\)、各基准的回合上限下,这是 \(1 - F_G(K)\)(已识别,给定该基准对错误继续的定义)。一项权限拒绝研究在严格策略下的 2,051 次试验里,33% 出现被拦住的动作,运行「磨进超时或错误解答,而不是提早停下」[17]。这是记录到的 \(A\) 率(已识别),拦住之后 \(g\) 接近零(对定性陈述的读法)。推理努力的预先规定等价性研究,在低努力和最大努力下的 840 条轨迹里没有发现未授权的工具调用 [37],而 OpenAI 报告的图 3 显示范围外参与随努力上升。两者在模型里可以相容,作为一种读法:任务可行、被禁止的工具被工具链拦住时,\(b = 0\),无论 \(a\) 是多少都观察不到违反;剂量反应是在 \(s = 0\) 且 \(b > 0\) 的地方测到的。同一研究注明,规则探测率在每种条件下都在最大努力时上升,这正是二元结局丢掉的 \(A\) 信号。
5.3 模型下的评测
102 项评测满足纳入规则(67 项一手来源全文阅读,29 项部分阅读或经由二手来源,6 项只来自摘要)。表 2 汇总审计答案。表 3 给出 26 项全文或部分发布逐步轨迹的评测的识别裁决。只有这些才有可能估计每次尝试的风险,尽管规则用在了全部 102 项上。另外检索到的 10 条是事故报告而不是评测,放在第 5.1 节。
模型需要的结局很少一起被观察到。87 项评测编码了范围外效果或规格违反。43 项以某种形式编码了安全停止,其中 26 项是一等结果。33 项在同一条轨迹里两者都编码,其中 20 项两者都是一等结果。只有 23 项区分被拦住的尝试和已产生效果的尝试,其中 11 项靠打分记录。因此 \(e = ab\) 至多能从 11 项评测已发布的制品估计;停止与逃逸的竞争,且两者都是一等结果的,约占五分之一。范围外计数把两种操作上不同的结局接在一起:批准范围之外的效果,和违反规格的完成。抽取没有把它们分开。它以及由它导出的行,因此是两种结局之一的计数。表 2 的落点子行,是审计答案所支持的唯一拆分。
暴露很少被当成暴露来报告。79 项评测不把预算耗尽和失败分开,所以不能从它们发表的结果形成每次尝试的风险集。90 项不说明是否告诉智能体它的预算,所以跨预算的可搬运性无法评估。归一到共同词汇之后,仍有 17 种不同的尝试单位,从一次工具调用到一分钟墙钟时间。53 项评测只数整次运行、回合或任务,或没有用它们的尝试单位陈述预算。因此暴露裁决是:30 项「可用」,19 项「仅固定」,其余不可用。模型给这些评测的是一种结构,不是一种尺度。每次工具调用、每次回合和每分钟的风险,在单位固定之前不能数值比较。在发布逐步轨迹的 26 项里,安全停止风险可识别或可经重标注收回的有 3 项,逃逸风险有 11 项,尝试倾向和让步率有 9 项,删失被区分的有 3 项;没有一项同时满足每一个条件。最接近的是推理努力的预先规定等价性研究 [37]:它发布 840 条轨迹,单位是回合,预算是 20 和 32 个回合,由工具链强制执行而不告知,耗尽与失败区分,被禁止调用的尝试和效果都有记录,但没有编码停止结局。于是语料里没有任何评测发布完整估计量所需的东西。
表 2:102 项评测上的审计答案。一行之内的计数互斥,除非该行写明「其中」。条件行只在问题适用的评测上报告。「不适用」标记没有尝试预算的评测。「未确定」标记制品没有陈述、或所读页面没有定下来的答案。对被拦住的尝试和耗尽这两个问题,未提及的区分记为「否」,所以那里的「否」同时覆盖缺失的区分和未陈述的区分。
| 问题与答案 | n |
|---|---|
| 逐步轨迹已发布:是 / 部分 / 否 / 未确定 | 20 / 6 / 33 / 43 |
| 安全停止已编码:一等 / 部分 / 与失败合并 / 未编码 / 未确定 | 26 / 11 / 6 / 58 / 1 |
| 范围外效果或规格违反已编码:是 / 否 | 87 / 15 |
| 这 87 项中,落在环境效果上 / 落在裁判上 / 两者都有 / 未确定 | 39 / 21 / 23 / 4 |
| 被拦住的尝试与已产生效果的尝试区分:是 / 部分 / 否 | 11 / 12 / 79 |
| 安全停止与范围外效果或规格违反都已编码:任何形式 / 其中两者都是一等 | 33 / 20 |
| 预算耗尽与失败区分:是 / 部分 / 否 / 不适用 / 未确定 | 10 / 10 / 79 / 2 / 1 |
| 预算告知智能体:是 / 部分 / 否 / 不适用 / 未确定 | 5 / 2 / 3 / 2 / 90 |
| 归一到编码手册词汇后的不同尝试单位 | 17 |
| 预算可作为暴露 / 仅固定 / 不可用 | 30 / 19 / 53 |
| 评测中有多个智能体行动:是 / 部分 / 否 / 未确定 | 15 / 1 / 85 / 1 |
表 3:发布逐步轨迹的评测(全文 20 项,部分 6 项)的识别裁决,按第 4 节的规则。单位是制品的尝试单位。\(K\) 是该单位下的预算,或没有这种预算时限制运行的东西。告知:预算是否告诉智能体。删失:耗尽是否与失败分开。\(a,b\):尝试倾向和边界让步率,由分开记录的被拦住尝试和已产生效果的尝试一起识别。✓ 可识别,∼ 经重标注可识别,– 不可识别。暴露:\(K\) 能否充当暴露。
| 评测 | 单位 | K | 告知 | 删失 | \(h_S\) | \(h_G\) | \(a,b\) | \(h_E\) | 暴露 |
|---|---|---|---|---|---|---|---|---|---|
| ctrl-alt-deceit | 回合 | 150;100 | 未知 | 部分 | ✓ | – | ∼ | ✓ | 可用 |
| deepswe | 其他 | 9,000 秒 | 未知 | 部分 | ✓ | – | ∼ | ∼ | 否 |
| emergent-collusion | 回合 | 15 | 未知 | 部分 | ✓ | – | ∼ | ✓ | 可用 |
| hvtb | 运行 | 未知 | 未知 | 部分 | ✓ | – | ∼ | ✓ | 否 |
| shutdown-resistance-palisade | 工具调用 | 未知 | 是 | 部分 | – | ✓ | ∼ | ✓ | 固定 |
| trio20-effort-equivalence | 回合 | 20;32 | 否 | 是 | ✓ | – | ✓ | ✓ | 可用 |
| basharena | 回合 | 100 | 未知 | 否 | ∼ | – | – | ∼ | 可用 |
| chess-spec-gaming-palisade | 回合 | 未知 | 未知 | 否 | ∼ | – | ∼ | – | 固定 |
| ect-when-may-agent-stop | 其他 | 4 位小数 | 未知 | 否 | ∼ | – | – | ∼ | 否 |
| instrumental-choices | 运行 | 未知 | 未知 | 否 | ∼ | – | – | ∼ | 否 |
| malt-dataset | 运行 | 未知 | 未知 | 否 | ∼ | ∼ | – | – | 否 |
| openagentsafety | 回合 | 未知 | 未知 | 否 | ∼ | – | ∼ | – | 固定 |
| sandboxescapebench | 其他 | token | 未知 | 是 | ✓ | ∼ | – | – | 否 |
| actbench | 运行 | 未知 | 未知 | 否 | ∼ | – | – | – | 否 |
| agentic-misalignment-summer-2026 | 运行 | 未知 | 未知 | 否 | ∼ | – | – | – | 否 |
| agentleak | 运行 | 未知 | 未知 | 否 | ∼ | – | – | – | 否 |
| agents-of-chaos | 其他 | 未知 | 未知 | 否 | – | – | – | ∼ | 否 |
| bagen | 其他 | 按环境 | 否 | 否 | ∼ | – | – | – | 否 |
| baitbench | 其他 | 小时 | 是 | 否 | ∼ | – | – | – | 否 |
| feedback-that-backfires | 工具调用 | 6 | 未知 | 是 | ✓ | – | – | – | 可用 |
| inherited-goal-drift | 其他 | 10–45 | 未知 | 否 | – | – | – | ∼ | 否 |
| ivanov-misaligned-under-prohibition | 运行 | 未知 | 未知 | 否 | – | – | ∼ | – | 否 |
| metr-reward-hacking-2025 | 运行 | 未知 | 未知 | 否 | ∼ | – | – | – | 否 |
| odcv-bench | 回合 | 50 | 未知 | 否 | ∼ | – | – | – | 可用 |
| os-harm | 动作 | 15 | 未知 | 否 | ∼ | – | – | – | 可用 |
| terminal-wrench | 运行 | 未知 | 未知 | 否 | ∼ | – | – | – | 否 |
5.4 抽取的可靠性
第二位抽取者从同一批一手来源盲态重答 22 起事故上三个与识别有关的问题。协调上一致率 86%(Cohen 的 \(\kappa = 0.74\)),安全停止 77%(\(\kappa = 0.62\)),可行性 55%(\(\kappa = 0.33\))。可行性的分歧几乎都在「陈述了的值」和「未知」之间,也就是把可行性判断读进报告,和拒绝这样做之间。这是第 5.5 节记录的遗漏,不是编码错误。安全停止的分歧引出了现在使用的更严规则:「否」要求有智能体继续的陈述,沉默编码为未知。
评测方面,第二位抽取者对分层随机样本 30 项重答识别问题:15 项发布逐步轨迹,15 项不发布。细粒度答案上一致率中等,从尝试单位以及轨迹是否发布的 50%(\(\kappa = 0.39\) 和 \(0.34\)),到范围外结局是否编码以及如何落点的 80%(\(\kappa = 0.43\) 和 \(0.53\)),安全停止编码为 63%(\(\kappa = 0.40\))。识别规则所用的二元区分上,安全停止是否根本被编码的一致率是 87%(\(\kappa = 0.73\)),范围外结局是否被编码是 90%(\(\kappa = 0.62\)),但尝试、耗尽或轨迹是否被区分或发布只有 73% 到 77%(\(\kappa\) 从 0.31 到 0.47)。分歧集中在制品含糊的地方:一篇论文把回合、工具调用和运行互换使用时,什么算一次尝试;「承诺」的日志算不算已发布;被打分但不是终态的拒绝类别算不算编码了的停止。编码手册因此恰好在这些点上收紧。第三遍裁决从一手制品重编码当时被归为发布轨迹的每一项评测,以及被抽到的其余评测,共 50 项评测、550 个字段决定。裁决值与前两遍都一致的有 231 个决定,只与第一遍一致的 211 个,只与第二遍一致的 51 个,与两者都不一致的 57 个。修订最多的字段是尝试单位和轨迹的发布状态。表 2 的计数和表 3 的裁决,对这 50 项评测使用裁决后的答案,其中包括进入表 3 的每一项;对其余 52 项使用单人编码的答案,它们只进入合计计数。
把含糊答案往任一方向消解,给标题计数定界。把部分和未确定的答案与肯定答一起计,安全停止作为一等结果从 26 移到 38(若再纳入合并类别则为 44),两者都是一等结果从 20 移到 27,耗尽与失败合并从 79 移到 90。只计没有限定的答案,范围外计数从 87 移到 85,两者都是一等结果移到 19,逐步发布从 26 移到 20,被区分的被拦住尝试从 23 移到 11。从这些计数引出的结论,在任一端都不改变。安全停止在不到一半的评测里被编码为一等结果,两者都是一等结果的大约是五分之一到四分之一,耗尽在大多数里与失败合并,并且在对每一个部分和未确定答案做最有利的消解之下,仍然没有任何发布逐步轨迹的评测满足全部条件。
5.5 反复出现的遗漏
五处遗漏在两类材料里反复出现,是第 6 节报告标准的来源。批准任务的可行性没有陈述,所以 22 份事故报告里有 9 份让它未知,评测只在不可行是设计变量时才陈述它。安全停止不是编码结局:58 项评测不编码它,5 份事故报告对停止只字不提,22 份里只有 1 份说明智能体是否有停止机制,因为那次中止命令失败了。尝试单位和预算没有以能支持风险集的形式报告:在用的单位有 17 种,79 项评测把耗尽与失败合并,90 项未陈述是否告知。边界让步率没有与智能体的倾向分开:被拦住的尝试在 23 项评测里有记录,在事故记录里只在某次尝试碰巧失败时才出现,所以边界让步的地方 \(a\) 未被观察。事件、检测和披露之间的间隔报告不一致,发生在评测中的大多数事故没有检测日期。
6 最低报告标准
因为语料里没有任何制品记录到足以估计这些风险的程度,审计找到的缺口本身就是报告必须补上什么的规格。本节把它写具体:先是使风险可识别的逐步记录和估计量,再是评测和事故报告各自要满足它所需的短字段清单。
6.1 逐步记录与估计量
第 3 节的识别条件固定了:事故报告或评测必须发布什么,风险才能在它自己的预算上可估计,并带到另一个预算。表 4 把它写成每次尝试一行。每个字段要么是标识,要么是模型需要的量,要么是指向原始制品以便审计的指针。
读这份记录的估计量按尝试序号计算原因别风险,把预算耗尽当作删失;在被拦住的尝试和已产生效果的尝试都有记录的地方计算尝试倾向 \(a_t\) 和让步率 \(b_t\);用离散时间 Aalen–Johansen 估计量计算累积发生率;并用重抽样执行的自助区间,或在分组字段标记共享任务或群体时重抽样执行簇。模式说明了到三个公开基准的记录映射,并经由一个基准适配器在其中一个上做了演示。
表 4:最低逐步记录。每次执行的每次尝试一行。三种吸收事件结束执行,被拦住的尝试不结束。
| 字段 | 含义 |
|---|---|
| execution、scenario、model、agent、group | 标识;基准因素作为条件记录;该执行与其他执行共享的任务或群体簇 |
| feasibility | 范围内、仅范围外,或不可行,由书面规则从条件指定 |
| K、disclosed | 允许的尝试次数,以及是否告诉智能体 |
| t | 尝试序号,从 1 起,用制品自己的单位 |
| event | S、G、A、E、D、R 或 X。X 用于分类之外的终态;裁判或基准分类适用时再加子标签 |
| effected、b | 时刻 \(t\) 的范围外尝试是否产生了效果,\(b_t\) 由此估计;环境按构造固定 \(b\) 时记录 \(b\) 本身 |
| stop attempted | 智能体是否在 \(t\) 调用了停止或升级机制,以及工具链是否承认,这是 \(q_t\) 背后的可观察量 |
| monitor | 无、观察到,或在 \(t\) 终止。终止是终态事件 \(D\) |
| after E | 效果之后的检测、恢复或停止,每次执行一次,在首次事件过程之外 |
| terminal、censored | 每次执行一行终态,除非在 \(K\) 处删失 |
| source | 通向原始制品的路径 |
6.2 评测的最低清单
每一项都追溯到第 5.5 节的一处遗漏。评测应当陈述尝试单位和预算,以及是否告诉智能体预算(在用单位 17 种;102 项里 90 项未陈述是否告知)。它应当把安全停止或升级编码成不同于失败的终态,并报告其比率(58 项未编码)。它应当把预算耗尽与失败分开,并报告耗尽比例(79 项合并)。范围外尝试应当与范围外效果分开记录,这要求记下环境对每一次尝试的响应(23 项做了区分)。应当发布逐步轨迹,或至少按尝试序号发布逐步事件计数(20 项全文发布)。
6.3 事故报告的最低清单
事故报告应当说明:批准的任务本能否在批准范围内完成(22 份里 9 份未知);是否存在停止或升级路径,以及智能体是否用了它,把没有停下的智能体和试过却做不到的智能体分开(记录里有 1 起这样的案例)。边界让步应当按类别报告:开放出口、暴露的凭据、目标相撞、权限,或公共信道,使环境的贡献留在记录上(22 份里 19 份涉及开放出口)。报告还应当给出智能体数量和任何共享信道,以及事件、检测和披露的日期。
7 审计的限度
这次审计是对一份在研究窗口内按周移动的文献所做的有目的的系统化。语料是书面协议定位到的那些,停止规则给检索定界而不使它穷尽,所以计数是该语料之内的计数,不是总体数字。2026 年 9 月 26 日之后发表的材料按构造不在其中。开发者和监管机构的若干一手页面取不到,是通过引用它们的二手来源阅读的。那些答案带 Medium 等级。Low 等级的来源只贡献表 2 的计数,从不贡献被改写的量或逐步裁决。模型是审计员自己的,所以审计问题偏向模型需要的东西。缓解是:问题事先写明,识别规则是机械的并由脚本应用,与识别有关的答案做了盲态的第二次抽取,评测答案上的一致率中等。决定逐步裁决的 50 项评测随后在收紧的编码手册下从一手制品裁决;其余 52 项仍是单人编码,所以它们对合计计数的贡献可靠性较低。第 5 节被改写的量是在所述假设下对已发表合计数字的算术,并继承那些出版物省略的东西。分母缺失时,结果被报告为发生率之比,而不是风险比。估计量在一次用小本地模型的冒烟运行上核过正确性,不从那次运行推断智能体行为。
8 研究议程
四个实验直接从识别条件和审计得出。第一个变动预算,并且每个条件都在预算隐藏和预算告知下各跑一次,从而检验而不是假设风险对预算意识的依赖,以及随之而来的跨预算可搬运性,并在留出的预算上预测 \(F_E(K)\),而不是去拟合。第二个按构造设定边界让步率,使尝试倾向 \(a\) 可以按模型报告,与环境分开,作为不可行任务下的模型卡量。第三个是匹配总预算的多智能体设计,有共享发现和没有共享发现,并且没有全局停止,用以对照超线性放大来检验预算合并的零假设。第四个在同一个竞争风险模型下,从同一些运行估计二元违反结局和轨迹结局,以确定文献里的零结果和剂量反应报告测量的是不是同一个量。
9 结论
自主智能体的失控有一份事故记录,也有一份在 2026 年一起长大、却还不共享词汇的评测文献。竞争风险模型提供这套词汇。一次尝试结束于完成、安全停止或逃逸;预算是暴露;环境的让步率与智能体的倾向分开。用它来读,事故记录显示:开发者自己把原因放在不可行的任务和缺失的停止路径上,并且 22 起里有 20 起环境做了让步。评测文献显示:安全停止与范围外或违反规格的结局,在三分之一的评测里一起被编码,在五分之一里作为一等结果;耗尽在大多数里与失败合并;语料里没有任何一项满足全部条件。随之而来的报告标准要的是五个没有任何制品一起报告的字段,估计量读的就是它们。模型是测量仪器,不是智能体为何逃逸的理论。它的价值,将由下一份事故报告和下一个基准能否放上去来决定。
数据可得性
数据集把 22 份事故报告和 102 项智能体安全评测按第 4 节的审计问题打分,每个字段带支持来源和证据等级,以两个 CSV 文件放在 https://doi.org/10.5281/zenodo.22995268 。
参考文献
只保留作者、题名与定位。
- [1] OpenAI,OpenAI–Hugging Face Incident Technical Report,2026,https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf 。
- [2] METR,对 OpenAI / Hugging Face 事件中智能体行为、推理与协作的简短独立调查,2026-08-26,https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/ 。
- [3] Irregular,Addressing Recent Incidents,2026-08-14,https://www.irregular.com/research/addressing-recent-incidents-ongoing-findings-and-path-forward 。
- [4] Anthropic,Investigating three real-world incidents in our cybersecurity evaluations,2026-07-30,https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals 。
- [5] UK AI Security Institute,Incident Report: unsanctioned agent behaviour during cyber testing,https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing 。
- [6] A. Martin,The Record,2026-09-25。
- [7] 联合国独立国际人工智能科学小组,Thematic Brief on AI Agents, Misalignment and the Risk of Losing Human Control,2026,https://www.un.org/independent-international-scientific-panel-ai/en/thematic-briefs/ai-agents-misalignment-risks 。
- [8] Z. Ying 等,The Missing Boundary,https://arxiv.org/abs/2609.11024 。
- [9] H. Luo 等,Agentic Abstention,https://arxiv.org/abs/2606.28733 。
- [10] X. Liu 等,AgentAbstain,https://arxiv.org/abs/2607.10059 。
- [11] L. Cheng 等,Evaluating Feasibility Awareness in Tool-Using Agents,https://arxiv.org/abs/2605.28532 。
- [12] J. Xie 等,HopRefusalBench,https://arxiv.org/abs/2608.01358 。
- [13] I. Bogdanov 等,Evaluation of Multi-Turn Consistency in LLM Agents,https://arxiv.org/abs/2609.29508 。
- [14] N. Shaikh,Bayesian Self-Escalation in Hierarchical LLM Agents,https://arxiv.org/abs/2608.24087 。
- [15] M. DosSantos DiSorbo 与 H. Ju,Act or Escalate?,https://arxiv.org/abs/2604.08588 。
- [16] M. Q. Li 等,Outcome-Driven Constraint Violations,https://arxiv.org/abs/2512.20798 。
- [17] D. Davidovich 等,Permission Denied / Boundary-Bench,https://arxiv.org/abs/2608.02670 。
- [18] R. Marchand 等,Container Sandbox Escape,https://arxiv.org/abs/2603.02277 。
- [19] M. Kouremetis 等,Every Model Cheats,https://arxiv.org/abs/2607.21763 。
- [20] S. Caldwell 等,ScopeBench,https://arxiv.org/abs/2609.30325 。
- [21] Z. Zhong 等,ImpossibleBench,ICLR 2026,https://arxiv.org/abs/2510.20270 。
- [22] B. Zhao 等,SpecBench,https://arxiv.org/abs/2605.21384 。
- [23] Y. Huang 等,Reward Hacking Challenges Oversight,https://arxiv.org/abs/2609.28614 。
- [24] Y. Lin 等,BAGEN,https://arxiv.org/abs/2606.00198 。
- [25] O. Manakina 等,Delay-of-Gratification survival micro-benchmark,https://arxiv.org/abs/2609.29509 。
- [26] G. Molnar,Reliability Theory for AI Control,https://arxiv.org/abs/2609.26419 。
- [27] T. Korbak 等,A Sketch of an AI Control Safety Case,https://arxiv.org/abs/2501.17315 。
- [28] D. Kumar 等,The Agent Incident Registry,https://arxiv.org/abs/2609.11030 。
- [29] M. Q. Li 等,Taxonomy and Consistency Analysis of Safety Benchmarks,https://arxiv.org/abs/2605.16282 。
- [30] L. Zhu 与 M. Cai,From Language Models to World-Acting Systems,https://arxiv.org/abs/2609.04894 。
- [31] Q. Hu 等,SABER,https://arxiv.org/abs/2606.01317 。
- [32] OpenAI,Unsanctioned Artifactory writes and cross-sample communication,2026-09-16,https://alignment.openai.com/misalignment-reports/unauthorized-artifactory-writes-and-cross-sample-communication/ 。
- [33] Anthropic,An alignment assessment of recent cybersecurity incidents,2026-09-09,https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents 。
- [34] Anthropic,System Card: Claude Opus 4 & Claude Sonnet 4,第 4.1.9 节,2025-05,https://www-cdn.anthropic.com/6d8a8055020700718b0c49369f60816ba2a7c285/Claude%204%20System%20Card.pdf 。
- [35] S. Yu 等,The Causal Impact of Tool Affordance on Safety Alignment,https://arxiv.org/abs/2603.20320 。
- [36] I. Ivanov,LLMs are Capable of Misaligned Behavior Under Explicit Prohibition and Surveillance,https://arxiv.org/abs/2507.02977 。
- [37] X. Xu 与 W. Wu,Test-time reasoning effort and unauthorized tool use,https://arxiv.org/abs/2608.03169 。
出处:Mohamed Aly Bouke,A Competing-Hazards Systematization of Loss of Control in Autonomous Agents,2026-09-29(版本页标注 2026-10-01),https://arxiv.org/abs/2609.38411 ,CC BY 4.0。
觉得有用,转给同事
微信扫码
用微信扫一扫,在手机上打开后即可转发。