可恢复性与验证器强度：无人值守自改进只在两件事同时成立时放行

AgenticOS：为智能体人工智能协同设计系统层与机器学习基础

可恢复性与验证器强度：无人值守智能体自改进的两个已测量前提

De Wang 所属单位：Uniphore 电子邮件：de.wang@uniphore.com  Peng Qi 所属单位：Uniphore 电子邮件：peng.qi@uniphore.com

摘要

智能体平台开始改进它们自己的智能体：它们读取一个已部署智能体的执行轨迹，推导出一项变更，让一个自动验证器批准它，然后在没有人类作者的情况下发布。这个循环有多少可以在没有人的情况下安全运行？我们提出平台可以测量的两个量。验证器强度 $\sigma$ 是现有验证器——常常是一个大语言模型评判——与一个受信任的参考验证器一致的程度；它限制一步能够把智能体改进多少。可恢复性是一项坏变更能以多低的代价被撤销：撤销它是否需要一次新的验证器批准，以及一次回滚能恢复多少旧行为。一步只有在两者都充分时才应当无人值守地运行。在我们的平台上，这条规则允许提示、工具和技能编辑无人值守地运行，并把权重更新留在人工签字之下。

我们的主要贡献是这两个定义，以及如何测量它们。我们搭建了一个应用这条规则的平台，并用两种方式检验它：在平台自己的批准门控上，以及在 $\tau^{2}$-bench 智能体基准上的受控实验中。关于验证器强度，平台的大语言模型评判有时无论给它看什么都给出同一个分数（37 个设置中的 9 个），并且不报告错误，因此一个验证器可以看起来健康，同时批准任何东西；它的强度必须被测量，而两项简单测试能抓住这一失败。关于可恢复性，恢复一份保存的副本把智能体带回了它原来的行为，但一次重新生成的撤销没有做到，因此只有保留了旧版本的变更才能在没有人的情况下被逆转；而且在一项变更部署期间，它改变了 $17\%$ 的任务的结局，超出了正常的逐次运行变异，没有任何撤销能修复这些结局。这些合在一起支持这条规则：一项变更只有在它的旧版本被保留、并且它的验证器强度已经被测量时，才能无人值守地运行。

1 引言

建立在语言模型上的智能体现在会进行对话、调用工具，并写入业务系统（Yao et al., 2025; Barres et al., 2026）。它们也经常失败。在我们研究的 $\tau^{2}$-bench 任务上，基线智能体只解决了略多于一半的任务，失败来自普通的错误：一次错误的工具调用、一次缺失的确认、步骤顺序不对（Cuadron et al., 2026）。修复这类失败意味着阅读轨迹、找到原因、修订智能体、检查修订并部署它。若由手工完成，这无法随平台所托管的智能体数量扩展，因此平台已经开始把它自动化（Wang et al., 2026; Li & Zhu, 2026）。

我们把这一自动修复的一次通过称为一个自改进步骤：平台读取它自己的智能体的轨迹，推导出一项变更，用一个验证器检查它并部署它，没有人来撰写这项变更。推理时的自我纠正（Shinn et al., 2023; Madaan et al., 2023）和人类撰写的修复不算在内。训练和服务很早以前就成了平台服务（Baylor et al., 2017; Moritz et al., 2018）；这个循环还没有，但它需要同样的东西：一份预算、对已部署智能体的受控访问、一个变更被准入的点，以及一条审计轨迹（§4）。

本文问这个循环有多少可以在没有人的情况下运行。我们的答案依托两个可测量的量（§2）。验证器强度衡量验证器的批准可以在多大程度上被信任：它与一个参考验证器的一致性，标度从 $-1$ 到 $1$，其中 $1$ 是完全一致，而一个永远给出同一个答案的验证器得分为 $0$。可恢复性衡量一项坏变更被撤销有多便宜。它记录撤销一项变更是否需要一次新的验证器批准，以及有多少旧行为真正回来。如果没有保留旧版本的副本（例如就地微调一个模型之后），撤销必须通过刚刚批准了这个错误的同一个验证器。每一个量防的是一种不同的失败，因此一个循环的自主程度只能达到较弱的那个量所允许的程度（图 1）。我们推导这条规则（§3），搭建一个强制执行它的平台（§4），并检验它所依据的假设（§5），先是对我们平台自己的准入门控做案例研究，然后在 $\tau^{2}$-bench 上做受控实验。我们不处理对抗性或未对齐的智能体，只处理把本应被拒绝的变更准入进来这一普通失败。

#### 贡献。

我们的主要贡献是一种方法：这两个定义、如何测量它们，以及它们所支持的规则。（i）无人值守变更的两个可测量前提，以及一条只要其中任一未被测量就拒绝的规则（§2，§3）。（ii）一个强制执行该规则的平台：按可恢复性给变更分型，把验证器声明为资源，并把拒绝记录为它自己的一种结局（§4）。（iii）对规则假设的检验：对我们平台自己的准入门控中静默门控崩塌的案例研究，以及两项抓住它的测试（§5.1）；还有在两个 $\tau^{2}$-bench 领域上、对提示编辑分别变动每一个量的实验（§5.2）。我们对工具、技能和权重变更的判定来自定义，并没有单独检验。

图 1：一次自改进步骤。验证器强度 $\sigma$ 管辖准入决定；可恢复性管辖一项已准入的变更变坏时的代价。如果旧值被保留，回滚就是一次普通写入（$g{=}0$）；否则撤销必须被重新生成，并由同一个门控批准（$g{=}1$）。

2 定义

我们把一个智能体写成 $A=(\theta,p,T,K)$：模型权重、系统提示、工具模式和技能。

#### 自改进步骤。

一项变更 $A\mapsto A^{\prime}$，由平台从 $A$ 自己的轨迹推导出来，其精神与自我教学式训练相同（Zelikman et al., 2022），并通过一个验证器准入，没有人来撰写它。贯穿全文的例子：航空轨迹显示智能体在没有询问用户的情况下取消预订；循环把「任何取消之前先确认」加进 $p$，一个大语言模型评判批准这次编辑，然后它上线。我们用 $\Delta_{k}$ 测量一步，即留出任务中在全部 $k$ 次重复试验里都被解决的份额的变化，因为平台关心的是可靠性，而不是最好情况。

#### 可恢复性。

对一项变更 $\iota$ 和它的撤销 $\iota^{-1}$，我们测量三件事。重新批准 $g(\iota)\in\{0,1\}$ 记录从 $A^{\prime}$ 回到 $A$ 的路径是否需要一次新的验证器批准。如果旧值被保留，撤销就是一次普通写入，并且 $g{=}0$；这对提示和模式编辑以及一个被保留的模型检查点成立。如果没有保留旧值，例如从当前检查点微调之后，撤销本身必须被生成并被批准，因此 $g{=}1$。另外两个测量使用一组固定的探针任务 $P$，按通过或失败打分。恢复保真度 $\rho(\iota)$ 问撤销是否把旧行为带回来：它是 $P$ 中在变更被撤销之后与变更被做出之前结局相同的任务所占的份额。爆炸半径 $\beta(\iota)$ 是 $P$ 中在 $\iota$ 部署期间结局相对未变更智能体发生了变化的任务所占的份额：即便一次完美的回滚也无法挽回的东西，因为那些结局已经被交付。在我们的实验中（§5.2），对 $\rho$ 而言 $P$ 是 20 个留出的测试任务（对重新生成的撤销而言是 30 个训练任务），对 $\beta$ 而言是全部 50 个航空任务。智能体和被模拟的用户都是随机的，因此我们也运行一次空变更（完全不变更），它给出噪声底 $\rho_{0}<1$ 和 $\beta_{0}>0$；只有超出这些底的值才算数。因为 $\beta$ 只覆盖探针任务，它是一个下界：真实的副作用，例如一笔已经发出的退款，必须在工具边界上被跟踪，近期工作正是在那里定位智能体的可恢复性（Yang et al., 2026; Zheng et al., 2026）。

#### 验证器强度。

一个验证器把一条轨迹打分为通过或失败；它可以是一段程序，也可以是一个大语言模型评判（Zheng et al., 2023）。给定一个受信任的参考验证器 $v^{\star}$ 和一组轨迹 $C$，强度是马修斯相关 $\sigma(v)=\mathrm{MCC}(v,v^{\star})\big|_{C}\in[-1,1]$。我们用马修斯相关而不是准确率，因为一个永远给出同一个答案的验证器恰好得到 $\sigma{=}0$，而它的准确率等于更常见那个裁决所占的份额，看起来可以相当体面。

3 自主规则

#### 规则。

一项变更只有在 $g(\iota){=}0$ 且 $\sigma(v)\geq\sigma_{\min}$ 时，才可以在没有人工签字的情况下上线，其中 $\sigma_{\min}$ 反映错误地准入一项坏变更的代价。如果任一量未被测量，平台就拒绝。我们的数据并不固定 $\sigma_{\min}$：弱验证器开始造成伤害的那个强度，会随门控所平均的模拟次数移动 $\pm 0.15$，因此来自一个基准的阈值不会迁移（附录 E 给出数字和一套校准程序）。在贯穿全文的例子里，旧提示被保留，因此 $g{=}0$，而 $\sigma$ 是评判与 $\tau^{2}$-bench 数据库检查的一致性；这次编辑只有在该 $\sigma$ 已被测量并超过 $\sigma_{\min}$ 时才上线。一次没有保留检查点的微调有 $g{=}1$，无论评判有多好都会被拒绝。

#### 为什么两个条件都要。

一个自改进步骤做两件事：它决定是否准入 $A\to A^{\prime}$，然后它改变一个正在运行的系统。每一个量给这些失败中的一个加上界限。验证器强度给决定加上界限，因为裁决是循环仅有的证据，表明 $A^{\prime}$ 好于 $A$；在 $\sigma{=}0$ 时，裁决对质量什么也没说（Zheng et al., 2023）。可恢复性给变更加上界限。在 $g{=}0$ 时，平台写回旧值，只为变更部署期间所服务的流量付出代价，这正是 $\beta$ 所测量的。在 $g{=}1$ 时，旧值已经不在了，因此回去的路必须被重新生成，并由犯了这个错误的同一个门控批准。两个量都不能弥补另一个，因此自主性受较弱的那个限制，而不是在二者之间做交换。一个强验证器不能为一项不可逆的变更辩护，因为它的错误那时会成为永久的；容易的回滚也不能为一个弱验证器辩护，因为循环只会把智能体来回搅动。

#### 待检验的假设。

这条规则依托三个假设，§5 检验它们：（a）验证器的强度不能被视为理所当然，必须被测量；（b）更弱的验证器准入更差的变更；（c）保留旧值使回滚精确，失去旧值则不然，同时一项已准入的变更仍然影响回滚无法撤销的任务。

图 2：这条规则作为一个矩阵，并放入了我们平台的干预类型。一项变更只有在两个前提都成立时才无人值守地运行（阴影）；每一个其他格子都需要一个人。

4 平台：强制执行这条规则

#### 平台做什么。

我们的平台根据已部署智能体自己的生产轨迹来改进它们。对每一个智能体，它（1）收集执行轨迹并对失败分类，例如错误的工具序列、过时的知识或退化的提示；（2）把每一次失败映射到沿四个维度之一的一项变更：改写系统提示、修正一个工具定义、更新一项技能，或在蒸馏轨迹上微调一个小模型；（3）构建候选并评测它；（4）提升它或停止。每一次尝试都作为一次被记录的会话运行，因此每一项已部署的变更都可以追溯到准入它的证据，如同生产机器学习流水线（Baylor et al., 2017）。我们搭建这个循环是为了强制执行这条规则；三项设计选择把规则放进了它。

#### 变更按可恢复性分型。

一个智能体可以用四种方式被改变——权重、系统提示、工具定义和技能——每一种都是单独的资源类型，记录它如何被撤销，因而记录它的 $g$（附录 C）。这使「这件事可以在没有人的情况下进行吗？」对每一种类型有不同的答案（图 2）。提示、工具模式和技能编辑由一次写入撤销，并可以自动提升。权重更新可以通过重新钉住先前的适配器来撤销，但它们的验证器是 §5.1 所表明会静默失败的那种学习得来的评判，因此它们需要人工签字。一个没有可用验证器的训练数据过滤器以禁用状态交付。

#### 评测决定什么可以上线。

一项提议的变更在评测批准之前不会被部署，因此评测像其他平台中的准入检查那样工作（Kubernetes, 2026）：如果它失败或无法运行，就什么也不部署；每一个决定都被记录；并且没有任何调用方可以跳过它。每一个智能体声明它使用哪些验证器，以及每个验证器已测量的 $\sigma$，因此在提升一项变更之前，平台可以检查是否存在一个充分的验证器。

#### 拒绝是一条被记录的决定。

这条规则有三种结局，而不是两种：准入、拒绝（变更更差），以及拒绝受理（平台不能无人值守地决定，因为 $\sigma$ 未被测量，或旧值已经不在）。我们的系统把每一次拒绝受理连同缺失的前提一起记录下来，因此人看到的是什么在等待以及为什么，而不是一项静静永远等待的变更。

5 实验与结果

我们在两种设置里检验这三个假设：对我们平台自己的准入门控的案例研究（§5.1），以及在 $\tau^{2}$-bench 上的受控实验（§5.2）。表 3 概括每一项结果意味着什么。

5.1 案例研究：我们平台上的静默门控崩塌

这项案例研究检验假设（a），即验证器的强度必须被测量，而不是被假定。在我们的平台微调一个模型之前，它把智能体轨迹收集进一个训练集，并由一个大语言模型评判门控给该集合的多样性打分；得分过低的集合不被用于训练。这个门控是 §2 意义上的验证器：它决定一项变更，这里是一次权重更新，是否可以继续。它曾被视为在工作，因为它总是返回一个分数。（第二个门控过滤单条训练行，以禁用状态交付；附录 A。）

#### 一个忽略一半指令的多样性门控。

该门控的大语言模型评判（Zheng et al., 2023）把训练集从 0 到 1 打分。它的提示要求两件事：奖励广度（许多不同的种子任务），并惩罚不平衡（少数种子占主导）；输入把不平衡作为一个数字给出。我们测试了 3 个评判模型、4 种提示变体、4 个不平衡水平、广度 3–12，以及两种智能体配置：172 个设置，每个 10 次运行。在已部署的设置里，门控完全忽略不平衡。它在全部 40 次运行中返回 0.250，散布为零，恰好是从提示中去掉每一处不平衡提及时它所返回的值。这不是贪心解码的人为现象，因为 172 个设置中有 98 个会变化。完全崩塌，即在全部四个不平衡水平上给出同一个分数，发生在 37 个配置中的 9 个，全部落在已部署的评判上，也就是三个里最小的那个。那个评判也运行了大多数配置（37 个中的 33 个），因此单凭计数并不能归咎于它；一次匹配比较可以：在相同输入上，已部署的评判保持平坦，而两个更大的评判都跟踪不平衡（各自 $p<10^{-11}$；附录 A）。

含义。我们把这称为静默门控崩塌：一个门控在一种配置里健全，在另一种配置里空转，没有错误来显示这一差别。一个常数分数看起来像一个自信的答案；这就是 §2 的 $\sigma{=}0$ 点，并且它支持假设（a）。

两项便宜的测试能抓住这一点，每一项只花费少量调用，并且两者都属于这个平台。删掉信号：去掉门控声称要测量的那个属性，并检查它的分数是否改变。检查保证：核实门控所依赖的请求级设置确实生效了；我们的设置里有三项没有，其中包括强制工具调用（附录 B）。真正起作用的，是把标准说成一个可检查的界限：「如果最大的种子超过 50%，分数至多为 0.10」，这在高于 50% 的全部 16 个设置中成立，而原来的措辞从未打到那么低（在匹配的输入上，30 次运行中的 30 次对 30 次中的 0 次，Fisher $p<10^{-16}$；表 4）。

5.2 在 $\tau^{2}$-bench 上的受控实验

假设（b）和（c）需要受控条件，因为在一个正在运行的平台上这两个量一起变化。我们固定一个、变动另一个：实验 A 检验（b），实验 B 检验（c）。两者都使用 $\tau^{2}$-bench，它的智能体与我们的相匹配（多轮、使用工具、有数据库支持、带一个被模拟的用户），并且它的任务分数是五项检查中一个可配置子集的乘积（Barres et al., 2026）。改变这个子集就改变验证器 $v$，同时让任务、智能体和环境保持固定，而且打分与运行是分开的，因此同一组轨迹可以在每一个验证器下被重新打分。

#### 设置。

我们使用航空领域：50 个任务分成 30 个用于训练、20 个用于测试，每个任务上都有自然语言断言，因此一个程序验证器和一个大语言模型评判给同一批轨迹打分，这是 §5.1 在生产中无法做的比较。参考验证器把数据库状态相等与沟通检查结合起来；后者只适用于 80 条测试轨迹中的 4 条，因此在另外 76 条上，参考就是单独的数据库相等。循环是我们的，被缩成一个配方：阅读失败的训练轨迹，提议一次系统提示修订，如果被测验证器更偏好它就准入它，并用参考验证器在测试划分上测量结果。我们报告平均通过率，而不是 $\mathrm{pass}^{k}$，后者在四次试验时丢掉部分分数。A1 为真实验证器测量 $\sigma$；A2 检验更低的 $\sigma$ 是否选出更差的变更；B 把验证器固定在参考上，并比较恢复一份存储的副本（$g{=}0$）与重新生成撤销（$g{=}1$）。权重更新没有被测试。每个智能体在每个训练任务上运行两次，在每个测试任务上运行四次。区间是 $95\%$ 的任务重抽样自助区间（附录 D），对差值做配对（Miller, 2024）。在假设固定了方向的地方，我们报告单侧 $p$ 值，并用 Holm 方法在候选之间做校正。

#### 真实验证器（A1）。

表 2 给出每一个验证器在同一组 80 条测试轨迹上的 $\sigma$（20 个任务，每个 4 次试验）。大语言模型评判相对程序检查、在同一批轨迹上达到 $\sigma{=}0.70$，远高于零（Fisher $p<10^{-9}$），但远非完美。它的错误是成簇的：全部 4 次假准入来自一个任务，8 次假拒绝来自两个任务，并跨试验重复，因此对整个任务做重抽样把它的区间加宽到 $[0.36,1.00]$。一个批准一切的验证器恰好得分为 $0$，同时放过全部 42 条失败轨迹。

表 1：航空测试划分上的验证器强度：同一组轨迹由每一个验证器 $v$ 重新打分；$n$ 是它适用的轨迹条数。$\alpha$ 和 $\varphi$ 是相对参考的假准入率和假拒绝率（$\uparrow$/$\downarrow$：越高/越低越好）。错误按任务成簇（附录 E）。$\dagger$ 按定义即为 1.00。$\ddagger$ 之所以为 1.00，是因为沟通检查在它们所适用的全部 4 条轨迹上都通过，因此数据库相等在全部 80 条上与参考一致。不适用：$\sigma$ 没有定义，因为参考在这项检查所适用的全部 4 条轨迹上都通过，没有东西可以相关。

表 2：实验 A2（航空，八个候选）；$\sigma$ 通过以概率 $\varepsilon$ 翻转参考裁决来设定。遗憾：用被破坏的验证器做挑选所造成的留出损失。校准差距：被选中候选所报告的训练分数减去它的留出分数；0 意味着循环准确地报告了它的增益。$\downarrow$：越低越好。

#### 更弱的验证器选出更差的变更，但不显著（A2）。

为了便宜地得到一个细粒度的 $\sigma$ 标度，我们以概率 $\varepsilon$ 翻转每一个参考裁决，这给出一个强度已知的验证器；对同一组轨迹重新打分就得到每一个点，每个点在 400 次随机抽取上取平均。遗憾，即被选中的变更比一个完美验证器会选中的那一个差多少，从 $\sigma{=}1$ 时的 $0.000$ 上升到 $\sigma{\approx}0$ 时的 $0.067$（表 2），与预测一致，但拟合斜率（$-0.065$，置信区间 $[-0.234,0.120]$）包含零（单侧 $p{=}0.23$）；要把它分辨出来大约需要 220 个留出任务，是我们这 20 个的十一倍。瓶颈是候选，而不是 $\sigma$：一个完美验证器会选中的候选只比平均候选高出 $0.069$，因此即便随机挑选也损失很少，而观测到的 $0.067$ 已经是那个最大值的 $98\%$（附录 D）。零售没有趋势（斜率 $+0.008$，置信区间 $[-0.115,0.109]$），但它的候选如此相似，以至于复现是未经检验，而不是失败。

#### 两个次要观察（A）。

即便有一个完美的验证器，循环仍然夸大了它自己的增益（$0.20$；单侧 $p{=}0.08$，零售中没有），并且两个 $\sigma$ 几乎相等的验证器在相反的方向上出错（表 2；附录 D、E）。

#### 只有存下来的副本能恢复行为（B）。

把验证器固定在参考上，一次空变更设定噪声底（$\rho_{0}{=}0.95$，置信区间 $[0.89,1.00]$；$\beta_{0}{=}0.08$，置信区间 $[0.02,0.16]$）。从一份存储的副本恢复一次提示编辑（$g{=}0$）把行为带回噪声底：$\rho-\rho_{0}{=}0.000$（置信区间 $[-0.038,0.038]$），在 $\pm 0.05$ 之内等价于零（TOST $p{=}0.007$）。没有存储的副本（$g{=}1$）时，撤销必须被重新生成，而三次重新生成的撤销使行为与基线有可测量的不同：$\rho-\rho_{0}{=}{-}0.16$（置信区间 $[-0.27,-0.07]$，单侧 $p{=}0.0001$；每一次撤销在 Holm 校正后仍然显著），在训练划分上、相对 $0.98$ 的噪声底测量。门控拒绝了全部三次，正如规则所要求的（附录 C）。

#### 已准入的变更触及回滚无法撤销的任务（B）。

部署在全部 50 个探针任务上时，三项数据完整的已准入变更使 $17\%$ 的任务的结局超出噪声底而改变（$\beta-\beta_{0}{=}0.17$，置信区间 $[0.08,0.27]$，单侧 $p{=}0.0002$），并且每一项变更在 Holm 校正后各自都如此。任务在两个方向上翻转的数量几乎相等（18 个上升，20 个下降），因此平均效应接近零，而触及范围不是，触及范围正是回滚无法撤销的东西（Garcia-Molina & Salem, 1987）。

表 3：每一项结果、它所检验的前提，以及它对无人值守自改进意味着什么。

6 相关工作与讨论

生产机器学习平台把训练和服务做成了平台服务（Baylor et al., 2017; Breck et al., 2019; Moritz et al., 2018; Sculley et al., 2015），但没有把「决定对一个已部署智能体改什么」做成平台服务。自改进和提示优化方法（Shinn et al., 2023; Madaan et al., 2023; Zelikman et al., 2022; Khattab et al., 2024）提供我们要调度的变更，但假定一个值得信任的验证器；关于奖励博弈和大语言模型评判的工作质疑这一假定（Skalse et al., 2022; Gao et al., 2023; Zheng et al., 2023），而可验证奖励的方法避开它（Lambert et al., 2025; Pezeshkpour & Hruschka, 2026）。部署工程根据已测量的证据给变更加门（Humble & Farley, 2010; Beyer et al., 2016; Kubernetes, 2026），但假定有一个人类作者。最接近的是离策略评测，它只在一个置信下界胜过在任者时才提升（Thomas et al., 2015; Thomas & Brunskill, 2016; Sakhi et al., 2024）；在不存在无偏价值估计的地方，$\sigma$ 扮演那个角色。

#### 局限性。

这条规则来自一个平台，并且是事后应用的；只有提示编辑被端到端测试过，测试在 $\tau^{2}$-bench 的航空和零售上，而不是在生产中；并且实验 A 太小，不足以确认 $\sigma$ 效应（附录 D）。

#### 结论。

一个自改进循环只有在旧版本被保留、并且验证器强度已被测量的地方，才可以在没有人的情况下运行；只要其中任一缺失，平台就应当拒绝。

致谢

我们感谢 Will Lu 和 Frank Petterson 对这项工作的高管赞助。

参考文献

• 作者与年份 Garcia-Molina 与 Salem（1987）H. Garcia-Molina 与 K. Salem。Sagas。期刊 SIGMOD，第 249–259 页，1987 年。出处、页码与年份均按原文著录。

• 作者与年份 Zöllner 与 Pritchard（2007）S. Zöllner 与 J. K. Pritchard。克服赢家的诅咒：从病例对照数据估计外显率参数。期刊《美国人类遗传学杂志》The American Journal of Human Genetics，第 80 卷第 4 期，第 605–615 页，2007 年。出处、页码与年份均按原文著录。

• 作者与年份 Humble 与 Farley（2010）J. Humble 与 D. Farley。《持续交付：通过构建、测试和部署自动化实现可靠的软件发布》。Addison-Wesley，2010 年。出处、页码与年份均按原文著录。

• 作者与年份 Efron（2011）B. Efron。Tweedie 公式与选择偏差。期刊《美国统计协会会刊》Journal of the American Statistical Association，第 106 卷第 496 期，第 1602–1614 页，2011 年。出处、页码与年份均按原文著录。

• 作者与年份 Sculley 等人（2015）D. Sculley、G. Holt、D. Golovin、E. Davydov、T. Phillips、D. Ebner、V. Chaudhary、M. Young、J.-F. Crespo 与 D. Dennison。机器学习系统中隐藏的技术债。会议 NIPS，第 2503–2511 页，2015 年。出处、页码与年份均按原文著录。

• 作者与年份 Thomas 等人（2015）P. S. Thomas、G. Theocharous 与 M. Ghavamzadeh。高置信度的策略改进。会议 ICML，第 2380–2388 页，2015 年。出处、页码与年份均按原文著录。

• 作者与年份 Beyer 等人（2016）B. Beyer、C. Jones、J. Petoff 与 N. R. Murphy 编。《站点可靠性工程：谷歌如何运行生产系统》。O’Reilly，2016 年。出处、页码与年份均按原文著录。

• 作者与年份 Thomas 与 Brunskill（2016）P. S. Thomas 与 E. Brunskill。用于强化学习的数据高效离策略策略评测。会议 ICML，第 2139–2148 页，2016 年。出处、页码与年份均按原文著录。

• 作者与年份 Baylor 等人（2017）D. Baylor、E. Breck、H.-T. Cheng、N. Fiedel、C. Y. Foo、Z. Haque、S. Haykal、M. Ispir、V. Jain、L. Koc、C. Y. Koo、L. Lew、C. Mewald、A. N. Modi、N. Polyzotis、S. Ramesh、S. Roy、S. E. Whang、M. Wicke、J. Wilkiewicz、X. Zhang 与 M. Zinkevich。TFX：一个基于 TensorFlow 的生产规模机器学习平台。会议 KDD，第 1387–1395 页，2017 年。出处、页码与年份均按原文著录。

• 作者与年份 Moritz 等人（2018）P. Moritz、R. Nishihara、S. Wang、A. Tumanov、R. Liaw、E. Liang、M. Elibol、Z. Yang、W. Paul、M. I. Jordan 与 I. Stoica。Ray：面向新兴人工智能应用的分布式框架。会议 OSDI，第 561–577 页，2018 年。出处、页码与年份均按原文著录。

• 作者与年份 Breck 等人（2019）E. Breck、N. Polyzotis、S. Roy、S. E. Whang 与 M. Zinkevich。面向机器学习的数据验证。会议 MLSys，2019 年。出处、页码与年份均按原文著录。

• 作者与年份 Skalse 等人（2022）J. Skalse、N. H. R. Howe、D. Krasheninnikov 与 D. Krueger。定义并刻画奖励博弈。会议 NeurIPS，2022 年。出处、页码与年份均按原文著录。

• 作者与年份 Zelikman 等人（2022）E. Zelikman、Y. Wu、J. Mu 与 N. Goodman。STaR：用推理来引导推理。会议 NeurIPS，2022 年。出处、页码与年份均按原文著录。

• 作者与年份 Gao 等人（2023）L. Gao、J. Schulman 与 J. Hilton。奖励模型过度优化的缩放定律。会议 ICML，第 10835–10866 页，2023 年。出处、页码与年份均按原文著录。

• 作者与年份 Madaan 等人（2023）A. Madaan、N. Tandon、P. Gupta、S. Hallinan、L. Gao、S. Wiegreffe、U. Alon、N. Dziri、S. Prabhumoye、Y. Yang、S. Gupta、B. P. Majumder、K. Hermann、S. Welleck、A. Yazdanbakhsh 与 P. Clark。Self-Refine：带自我反馈的迭代改进。会议 NeurIPS，2023 年。出处、页码与年份均按原文著录。

• 作者与年份 Shinn 等人（2023）N. Shinn、F. Cassano、A. Gopinath、K. Narasimhan 与 S. Yao。Reflexion：带言语强化学习的语言智能体。会议 NeurIPS，2023 年。出处、页码与年份均按原文著录。

• 作者与年份 Zheng 等人（2023）L. Zheng、W.-L. Chiang、Y. Sheng、S. Zhuang、Z. Wu、Y. Zhuang、Z. Lin、Z. Li、D. Li、E. P. Xing、H. Zhang、J. E. Gonzalez 与 I. Stoica。用 MT-Bench 和 Chatbot Arena 评判作为评判者的大语言模型。NeurIPS 数据集与基准分轨，2023 年。出处、页码与年份均按原文著录。

• 作者与年份 Andrews 等人（2024）I. Andrews、T. Kitagawa 与 A. McCloskey。关于赢家的推断。期刊《经济学季刊》Quarterly Journal of Economics，第 139 卷第 1 期，第 305–358 页，2024 年。出处、页码与年份均按原文著录。

• 作者与年份 Khattab 等人（2024）O. Khattab、A. Singhvi、P. Maheshwari、Z. Zhang、K. Santhanam、S. Vardhamanan、S. Haq、A. Sharma、T. T. Joshi、H. Moazam、H. Miller、M. Zaharia 与 C. Potts。DSPy：把声明式语言模型调用编译成最新的流水线。会议 ICLR，2024 年。出处、页码与年份均按原文著录。

• 作者与年份 Miller（2024）E. Miller。给评测加上误差条：语言模型评测的一种统计方法。CoRR，2024 年。arXiv:2411.00640。出处、页码与年份均按原文著录。

• 作者与年份 Sakhi 等人（2024）O. Sakhi、I. Aouali、P. Alquier 与 N. Chopin。用于悲观离策略评测、选择和学习的对数平滑。会议 NeurIPS，2024 年。出处、页码与年份均按原文著录。

• 作者与年份 Lambert 等人（2025）N. Lambert、J. Morrison、V. Pyatkin、S. Huang、H. Ivison、F. Brahman、L. J. V. Miranda、A. Liu、N. Dziri、S. Lyu、Y. Gu、S. Malik、V. Graf、J. D. Hwang、J. Yang、R. Le Bras、O. Tafjord、C. Wilhelm、L. Soldaini、N. A. Smith、Y. Wang、P. Dasigi 与 H. Hajishirzi。Tülu 3：推进开放语言模型后训练的前沿。会议 COLM，2025 年。出处、页码与年份均按原文著录。

• 作者与年份 Yao 等人（2025）S. Yao、N. Shinn、P. Razavi 与 K. Narasimhan。$\tau$-bench：真实世界领域中工具–智能体–用户交互的基准。会议 ICLR，2025 年。出处、页码与年份均按原文著录。

• 作者与年份 Barres 等人（2026）V. Barres、H. Dong、S. Ray、X. Si 与 K. Narasimhan。$\tau^{2}$-Bench：在双控制环境中评测对话智能体。会议 ICML，第 6736–6782 页，2026 年。出处、页码与年份均按原文著录。

• 作者与年份 Cuadron 等人（2026）A. Cuadron、P. Yu、Y. Liu 与 A. Gupta。SABER：小动作，大错误——保护大语言模型智能体中会改变状态的步骤。ICLR 基于大语言模型的智能体系统记忆研讨会，2026 年。https://openreview.net/forum?id=En2z9dckgP。出处、页码与年份均按原文著录。

• 作者与年份 Kubernetes（2026）Kubernetes 文档。动态准入控制：校验型与变更型准入网络钩子，以及 failurePolicy 字段。https://kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/，访问于 2026-08-17。出处、页码与年份均按原文著录。

• 作者与年份 Li 与 Zhu（2026）J. Li 与 J. Zhu。审计金融智能体中的自我演化：能力增益、安全漂移，以及执行接口不匹配。CoRR，2026 年。arXiv:2608.17684。出处、页码与年份均按原文著录。

• 作者与年份 Pezeshkpour 与 Hruschka（2026）P. Pezeshkpour 与 E. Hruschka。AutoPyVerifier：为大语言模型输出学习紧凑的可执行验证器。CoRR，2026 年。arXiv:2604.22937。出处、页码与年份均按原文著录。

• 作者与年份 Wang 等人（2026）C. H. Wang、M. Tu、Q. Zhang、W. Wu、L. Zhou、M. Shen 与 C. Wei。LinkedIn 上自我演化的智能体客户支持系统。CoRR，2026 年。arXiv:2608.10224。出处、页码与年份均按原文著录。

• 作者与年份 Yang 等人（2026）K. Yang、P. Li、Z. Wu、K. Xu、H. Huang 与 X. Huang。DART：结构化工具智能体的语义可恢复性。CoRR，2026 年。arXiv:2605.23311。出处、页码与年份均按原文著录。

• 作者与年份 Zheng 等人（2026）Y. Zheng、Y. Yang、W. Zhang 与 A. Quinn。ACRFence：防止智能体检查点恢复中的语义回滚攻击。CoDAIM 研讨会，2026 年。arXiv:2603.20625。出处、页码与年份均按原文著录。

附录 A 门控案例研究的细节

#### 设置。

一个训练集由少数种子任务建成；不同种子任务的个数是它的广度，来自最常见种子任务的例子所占份额是它的不平衡。我们把生产用的多样性门控连同它的生产提示，发给不平衡由我们手工设定的训练集，其余一切保持固定（例子的数量和质量、智能体、任务列表）。每个设置运行 10 次。这些运行分成五个批次（表 5）：172 个设置和 1,720 次调用，其中 1,718 次返回了分数（另外两次在打分工具被提供但不是必需时用纯文本作答）。脚本和数据可向作者索取，原文写明是应要求提供，而不是随文公开。

表 4：四工具智能体上多样性门控的分数。每一列是一个不平衡水平：训练例子中来自最常见种子任务的份额（3 个种子任务时最低可能份额是 .33，6 个时是 .17）。每个单元格是 10 次运行的平均，而不是单次运行。no-signal 从提示中去掉全部不平衡信息，因此它无法对不平衡作出反应；threshold 把规则说成一个数字。$r_{s}$ 是分数与不平衡之间的秩相关（分数从不变化时为 —）。

表 5：五个批次的运行。评判模型是 claude-haiku-4-5（生产中实际使用的那个）、claude-sonnet-5 和 claude-opus-5。提示变体是 shipped（也就是生产提示）、stat-only（不平衡那句指令被删掉，不平衡的数字仍然保留）、threshold 和 no-signal。

#### 崩塌是真实的。

评判模型不允许我们设定采样温度，因此每一次调用都使用提供方的默认值。分数在 172 个设置中的 98 个里逐次运行而变化，因此一个从不变化的分数不能用确定性解码来解释。当一个配置在全部四个不平衡水平上给出同一个分数时，我们称它崩塌了。37 个配置中有 9 个崩塌，全部用的是生产评判。那个评判也被用于 37 个配置中的 33 个，因此这个计数本身并不显著（Fisher 精确检验，$p{=}0.55$）。更强的证据是批次 A，它给三个评判完全相同的输入：在广度 3 时，生产评判在每一个不平衡水平上都返回同一个分数，而两个更大的评判都随不平衡改变分数（各自 $p<10^{-11}$）。崩塌也取决于智能体：六工具智能体在广度 3 时完美跟踪不平衡，但在广度 4、5 和 8 时崩塌。

#### 修复有效。

用 threshold 措辞时，在最常见种子任务提供了超过一半例子的全部 16 个设置中，门控的分数至多为 0.10。在相同输入上，这在 30 次运行中的 30 次发生，而原来的措辞是 30 次中的 0 次（Fisher 精确检验，$p<10^{-16}$）。

#### 第二个门控。

第二个门控从训练数据中去掉低分的行。它以关闭状态交付，因为一个安全的阈值结果因智能体而异，而保留未打分的行可以阻止一个不可靠的评判悄悄缩小训练集。

附录 B 两项验收测试

#### 测试 1：删掉信号。

复制门控的真实输入，并去掉它应当评判的那个属性，是整个去掉，而不是把它设成一个中性值，因此无论该属性的值是什么，提示读起来都一样（上面的 no-signal 变体）。两个版本运行同样的次数。如果分数相同，门控就是在忽略该属性。我们的测试用了 40 次调用。每当模型、提示或请求格式改变时就重复这项测试，因为 §5.1 表明一个门控可以在一种设置里工作、在另一种设置里失败。

#### 测试 2：检查保证。

列出门控所依赖的请求设置，例如要求一次工具调用、要求固定的输出格式，或设定温度。对每一项，发送一个若该设置被忽略就会得到不同回答的输入，并检查回答是否改变。我们的设置里有三项失败了。要求一次工具调用不能与扩展推理结合：接口拒绝该请求。我们公司的网关在转发要求固定输出格式的请求时没有带上该格式，并且什么也没说。而评判模型拒绝温度设置。我们于 2026-08-13 通过一个网关、对一个提供方测量了这些；两者都会随时间变化，因此每一项设置都必须被测试，而不能从文档里直接取来。

附录 C 可恢复性的细节

表 6：在我们的平台上每一种变更如何被撤销。四种都保留旧版本，因此撤销是一次写入，并且 $g{=}0$（对权重而言，是切换回先前的适配器）。它们都不能收回变更已经对用户做下的事。

#### 噪声底。

智能体和被模拟的用户都是随机的，因此把同一个智能体运行两次已经会改变一些结局。我们通过把未变更的智能体运行两次来测量这一点（空变更）。它的恢复保真度在 20 个测试任务上是 $\rho_{0}{=}0.95$（置信区间 $[0.89,1.00]$），它的爆炸半径在全部 50 个航空任务上、每个任务四次运行时是 $\beta_{0}{=}0.08$（置信区间 $[0.02,0.16]$）。我们起初用 20 个任务测爆炸半径，但噪声底太吵，于是改到 50；更多任务有帮助，每个任务更多次运行则没有。

#### 恢复已保存的副本（$g{=}0$）。

写回保存的提示给出 $\rho{=}0.95$，因此 $\rho-\rho_{0}{=}0.000$（置信区间 $[-0.038,0.038]$）。一项边际为 $\pm 0.05$、即 20 个任务中的 1 个的等价性检验（TOST）确认，恢复后的智能体表现得像原来的那个（$p{=}0.007$）。原来的智能体三次分开的运行彼此一致的程度并不更高（$\rho$ 为 0.950、0.950 和 0.975）。这是预期的结果，因为恢复的提示是相同的，但它是其他比较所依赖的对照。

#### 重新生成撤销（$g{=}1$）。

这里我们藏起了旧提示，如同一个微调模型的先前版本已经不在，并要求优化器写一份撤销。它写了三份。我们在 30 个训练任务上把每一份与原来的智能体比较，对照用同样的每个任务两次运行测得的噪声底（$\rho_{0}{=}0.98$）。三份撤销达到的 $\rho$ 为 0.75、0.83 和 0.90，也就是低于噪声底 0.23、0.15 和 0.08（单侧 $p{=}0.0005$、0.004 和 0.04，在为检验三份而做的 Holm 校正之后仍然全部显著）；合在一起，低于噪声底 0.16（置信区间 $[0.07,0.27]$，$p{=}0.0001$）。因此一份重新生成的撤销并不能把原来的行为带回来，而一份保存的副本可以；二者相差大约 0.16。三点保留：这些运行用的是训练任务，而不是保存副本所用的测试任务；门控拒绝了全部三份撤销，因此这显示的是倘若其中一份被装上将会发生什么；并且这三份彼此是接近的改写，因此它们检验的是一种撤销，而不是许多种。门控拒绝它们，是因为它们的训练通过率（0.567、0.517、0.517）低于原来的（0.617），尽管那个差距太小，并不显著（$-0.05$，置信区间 $[-0.23,0.13]$）。

#### 爆炸半径。

我们一次一个地部署了四项已准入的变更，代替原来的智能体，并在 50 个任务上运行每一项。一项变更的测试运行丢失了，因此我们报告另外三项：爆炸半径 0.24、0.28 和 0.24，对照 0.08 的噪声底。合在一起它们超出噪声底 0.17（置信区间 $[0.08,0.27]$，单侧 $p{=}0.0002$；置换检验和 Wilcoxon 检验一致），并且每一项变更各自也如此（精确 McNemar 检验，$p{=}0.029$、0.003 和 0.019；Holm 校正后至多为 0.04）。任务从通过翻到失败的次数大约与从失败翻到通过一样多（20 和 18），因此平均通过率几乎没动，尽管大约六分之一的任务改变了结局。

附录 D 实验 A 的细节

#### 为什么 20 个测试任务太少。

一个任务的结局接近全有或全无：它的四次运行通常一致，并且同一个任务常常在一个候选和另一个候选之间完全翻转。因此候选之间的差异大多是整个任务，而有 20 个测试任务时，一个候选测试分数上的不确定性大约是 $\pm 0.24$。确认遗憾趋势大约需要 220 个测试任务，确认被夸大的增益大约需要 60 个。

#### 区间。

所有区间都来自对任务做有放回重抽样：实验 A 中 2,000 次重抽样，其他地方 20,000 次。

#### 遗憾斜率如何拟合。

对从 0 到 0.5、步长 0.05 的每一个破坏水平 $\varepsilon$（表 2 显示每隔一个水平），我们测量 $\sigma$ 和遗憾，各自在 400 次随机破坏上取平均。斜率是遗憾对 $\sigma$ 穿过这 11 个点的直线（最小二乘）拟合；负斜率意味着遗憾随验证器变弱而增长。为了它的区间，我们把训练和测试任务重抽样 2,000 次，每次重新拟合整条曲线；单侧 $p$ 值是重新拟合的斜率为零或为正的份额。

#### 候选池什么时候根本显示不出效应？

一个 $\sigma{=}0$ 的验证器随机挑选候选，因此它最多能损失的是平均候选与一个完美验证器会挑选的那个之间的差距。如果那个差距小于测量噪声，在这个池上就没有任何实验能显示该效应；我们称这样的池为场受限，并且我们事先固定了阈值（差距除以噪声低于 1）。航空的差距是 0.069，比值为 0.62，零售的是负的（$-0.009$），因此两个池都是场受限的。这项检查的第一版用了一个更粗的估计，把航空放在 1.39；我们在运行之后纠正了它。我们不把领域合并，因为散布最小的池也有最小的误差条，会支配一个合并估计。

#### 加宽候选池。

循环自己的四次修订给出的比值至多为 0.42，因此我们加入了通过删掉智能体指令中一节而做成的候选（no-cancel、no-book、no-modify，以及其中两两的组合），每一个都保留至少 60% 的指令，使它被削弱而不是被弄坏。一个候选的测试运行丢失了，剩下八个，测试通过率从 0.26 到 0.60。

#### 被夸大的增益。

$\varepsilon{=}0$ 时 0.20 的差距有两部分：训练任务与测试任务之间、影响每一个候选的差异（0.09，置信区间 $[-0.09,0.26]$，单侧 $p{=}0.17$），以及因为在训练上得分最好而被选中的那个候选的额外增益，即所谓赢家的诅咒（0.11，置信区间 $[-0.08,0.33]$，$p{=}0.13$）。两部分都不显著，合计也不显著（$p{=}0.08$）。在零售中差距是 $-0.02$（置信区间 $[-0.18,0.18]$），因此它没有复现。

#### 数据检查。

一次因基础设施错误而失败的模拟仍然在结果中占一个位置，带一份空转录并且没有分数，而基准运行器不报告错误。因此我们在打分之前检查每一组运行，并且只比较每个任务运行次数相同的那些运行。

附录 E 选择 $\sigma_{\min}$ 并限制假准入

#### 如何设定 $\sigma_{\min}$。

（i）根据准入一项坏变更的代价，决定该领域能容忍多少遗憾 $r$。（ii）建立一个不是场受限的候选池（附录 D）；如果做不到，就无法估计阈值。（iii）像表 2 那样测量遗憾相对 $\sigma$ 的关系，并把 $\sigma_{\min}$ 设成遗憾置信区间的上端至多为 $r$ 的最小 $\sigma$。（iv）每当门控所平均的运行次数改变时就重复：遗憾开始上升的那个强度，在每个候选 60 次运行时是 0.41，30 次时是 0.56，15 次时是 0.49。

#### 不只限制 $\sigma$，还要限制假准入。

令 $\alpha$ 为假准入率（验证器通过一条参考判为失败的轨迹的频率），$\varphi$ 为假拒绝率。我们的大语言模型评判有 $(\alpha,\varphi){=}(0.10,0.21)$，参考动作匹配有 $(0.21,0.12)$：$\sigma$ 几乎相同，但错误相反，尽管有 20 个任务时这一差别并不显著。只有假准入会放进一项更差的变更，因此在那些代价高的地方，规则还应当要求 $\alpha$ 的置信上界保持在一个限度 $\alpha_{\max}$ 之下，并用 $\sigma>0$ 来排除崩塌。因为错误会在一个任务的各次运行中重复，界限必须按任务而不是按运行计数：评判的 4 次假准入是同一个任务被看见四次，这把上界放在大约 0.37，而不是按运行计数所暗示的 0.20。要在完全没有假准入的情况下表明 $\alpha\leq 0.05$，大约需要 59 个参考判为失败的分开任务。

#### 让 $\sigma$ 保持最新。

$\sigma$ 属于一个验证器连同它的模型和设置，因为同一个门控在一些设置里崩塌、在另一些里没有。在这样一次改变之前测得的 $\sigma$ 算作未测量，因此规则拒绝。参考不必是一段程序，只需是固定的：把一组平衡的轨迹标注一次，并在每次对同一组重新打分。在不存在程序检查的地方，可以从标注例子中学得一个（Pezeshkpour & Hruschka, 2026），但它随后必须在它没有从中学习的例子上被测量。

#### 校正被夸大的增益。

赢家诅咒的那一部分，可以通过按置信区间的下端而不是按它最好的训练分数来提升一个候选而去掉（Thomas et al., 2015; Thomas & Brunskill, 2016; Sakhi et al., 2024），或用针对从若干个中选出最好者的统计校正来减小（Andrews et al., 2024; Efron, 2011; Zöllner & Pritchard, 2007）。影响每一个候选的那一部分，需要一组门控从不用于选择的测试任务。我们两者都建议；我们还没有在我们的数据上比较它们。