审计后幻象：13,600 条公开记录逐字节相同，离线规则无法分辨安全与有害

审计后幻象：离线智能体验证的可识别性限度

Aman Behera 隶属机构：印度理工学院鲁尔基分校（IIT Roorkee）

Payal Payal 隶属机构：印度理工学院鲁尔基分校（IIT Roorkee）

摘要

离线测试可能揭示不了一次智能体更新在部署之后是否仍然安全。我们用配对的安全生命周期与有害生命周期，把这种审计后幻象（post-audit mirage，同一份部署前记录可以同时兼容事后安全与事后有害）做成可执行对象：两边暴露完全相同的、验证器可见的证据，而一个隔离的评分器记下相反的部署真值。我们的定理把标准的观测等价（两个世界里，验证器被允许看到的记录分布相同）与两点不可区分想法用到这条可执行的审计边界上，并写出由此得到的错误–弃权权衡。弃权是指规则既不部署、也不拦截。Post-Audit Mirage 基准把这条边界做成可执行程序，覆盖授权、排程和共享容量三类环境。IdentifiedRangeMonitor 使用新采集的、带组别标签的伤害结果，返回部署、拦截、无法判定或不被支持。实验表明：监视在有利设定下可以补回缺失的区分，但在稀有组别、效应很小或观测缺失时可以一直无法判定。因此，对验证器–智能体的评测必须同时检验计算是否有效，以及手头证据是否支持那项部署决定。

1 引言

一个智能体提出一条新的授权规则，它通过了每一条已存储的请求和离线检查。在一种部署里它保持安全；在另一种部署里，谁会走到敏感路由这一未被观察到的变化，后来伤害了一个稀有组别。如果两种部署产生同一份批准记录，离线验证器在两个世界里收到的是同一份输入，无法知道哪一个动作才是正确的。

我们把这称为审计后幻象：一份固定的审计记录可以支持更多计算，却补不来缺失的部署信息。可复用留出集处理的是同一样本被适应性反复使用的问题 [6, 5, 1]，而在线检验和置信序列在所陈述的概率定律下控制重复推断 [13, 27, 36, 35, 8, 9]。当被允许的观测仍然与相反的答案相容时，这些工具无法识别那个性质。部署会改变后来的数据或结果时，这一区分就重要了 [25, 2, 21]。相关工作研究如何检测、刻画并基准化分布偏移 [26, 7, 18]。

本文给出下列可以独立检验的贡献。

1. 可执行的不可区分边界：我们把标准的观测等价和两点不可区分想法用到智能体审计接口上，再用字节相同的公开记录和隔离的受保护真值把这条边界做成可运行对象。
2. Post-Audit Mirage 基准：一个精确的匹配世界生命周期基准，在三个环境里把评分器真值与每一条离线规则隔离开。
3. IdentifiedRangeMonitor：一种失败关闭（fail-closed，证据不够就不放行）的方法。它用新采集的、带组别标签的结果来决定部署或拦截；证据不足时保持未决定；采集假设失败时返回不被支持。

已有的智能体基准和现实任务环境测量的是任务成功、交互和沙箱内风险 [22, 23, 30, 4, 42, 15, 40, 39]。运行时监视和最差组别评测提供的是互补工具 [19, 16, 11, 17, 32]。较新的系统则是在多次编辑之间预算证据（SGM）、顺序检验候选（PACE）、组合控制器（SEA）、加上外生审计（SEAL），或基准化演化轨迹（SEA-Eval）[38, 34, 33, 10, 14]。这里我们问一个正交的问题：验证器被允许的观测，能否识别那个部署性质？

2 为什么审计无法决定

设 \(O\) 为部署前可用的完整公开记录，\(Z\) 为只有评分器持有的部署真值。一条离线规则 \(A\) 把 \(O\) 和私有随机性 \(U\) 映射到部署、拦截或弃权。\(U\) 独立于 \(O\)，并且在两个世界里分布相同。下面的结果直接应用标准的识别论证和两点不可区分论证；贡献在于把它做成可执行的生命周期审计，而不是一条新的理论原理 [29, 41, 24]。

假设安全世界 \(P_{\mathrm{safe}}\) 和有害世界 \(P_{\mathrm{harm}}\) 对 \(O\) 诱导出相同的分布，但要求相反的、非弃权决定。那么每一条离线规则 \(A(O,U)\) 在两个世界里都有相同的决定分布。若它的弃权概率是 \(r\)，则

$$\max\left\{P_{\mathrm{harm}}(A=\text{deploy}),P_{\mathrm{safe}}(A=\text{hold})\right\}\geq\frac{1-r}{2}. \qquad (1)$$

\((O,U)\) 的定律相同，蕴含 \(A\) 的定律相同。若部署、拦截和弃权的共同概率是 \(p,q,r\)，两个错误动作的概率就是 \(p\) 和 \(q\)，并且 \(p+q=1-r\)。例如，若一条规则有 20% 的时间弃权，则至少有一个匹配世界的错误至少为 40%。公开记录识别的是一组相容答案，不是唯一答案。附录 A 给出完整证明。

图 1：匹配世界暴露同一份完整的离线证据，从而迫使验证器做出同一决定，而它们在更新之后的结果要求相反的动作。世界 A 和世界 B 上标出的 Safe 与 Harmful 是受保护的、只有评分器持有的真值，离线验证器永远得不到。

3 基准与监视

每个基准单元都作为一对安全–有害世界执行 50 轮更新。这一对共用一个序列化的公开生命周期对象，而精确评测器收到一个单独的、已实现的环境对象。除非公开轮次相同、受保护答案相反，并且每一个只看公开信息的方法都返回相同的成对决定序列，否则构造失败。我们生成 100 对 AuthGate、100 对 ConstraintPlan 和 72 对 BatchTriage。

表 1：精确基准家族及其证据边界。面向方法的是公开审计字段；部署效应仍只有评分器持有。

我们运行九条只看公开信息的诊断规则，从始终拦截和固定阈值，到适应性花费、在线 e-检验、复用留出集和转移证据。e-value 是一种非负统计量，用来把证据累加后再做允许随时停止的检验。这些局部抽象检验的是：当面向方法的信息被固定时，决定会不会改变；它们不是对完整外部系统的忠实复现，也不是排名。

监视从相容答案集合出发。如果安全和有害真值都仍然可能，它返回无法判定。更新被固定之后，它消耗一份公开名册上 \(G\) 个组别的二元伤害结果。对组别 \(g\) 及其第 \(n\) 个被保留的结果，它花费

$$\alpha_{g,n}=\frac{\alpha}{Gn(n+1)},\qquad r_{g,n}=\sqrt{\frac{\log(2/\alpha_{g,n})}{2n}}. \qquad (2)$$

只有当每一个组别的上界都不高于阈值时，它才针对组别伤害分量放行；任一组别的下界高于阈值时拦截；否则保持未决定。该保证假设：每个被要求的组别内，二元伤害结果独立且比率稳定；组别名单事先固定；缺失与伤害无关；目标结果的分布没有改变。一个看不见的被要求组别不能通过；一份被声明为有偏或已经偏移的采集设计返回不被支持。监视只为已声明的组别伤害出具证明，不为可行性、效用、未声明组别或完整的部署安全出具证明。我们用同样的保留计数，与每个事先单独指定的样本量上的逐点 Wilson 得分区间 [37, 3]，以及随时有效的 beta–二项混合置信序列 [28, 13] 比较。Wilson 得分区间只对固定样本量有效，对选择性停止无效。Hoeffding 区间这里指由 Hoeffding 不等式做成、在任意查看时刻仍然有效的置信序列。

图 2：失败关闭的监视器在更新被固定之后，使用新采集的、带组别标签的伤害结果。只有当每一个被要求组别的上界都安全时才部署；任一组别的下界有害时拦截；当仍然可信的伤害率区间跨过阈值时返回 Need More Evidence，也就是 cannot_determine；有偏或已偏移的监视则是 unsupported。

4 实验与结果

三项研究检验：相同的审计是否迫使相同的决定，新采集的结果能否恢复区分，以及监视在什么时候变得有信息。

匹配审计

在 272 对、每对 50 轮上，全部 13,600 个公开输入逐字节匹配，受保护真值相反，九个离线程序在拿到相同随机抽取时都返回相同的成对序列。这验证的是没有评分器泄漏的观测等价；它并不表明这些程序在一般情况下等价，或表现差。

固定面板上的恢复

对每个生命周期，我们从完整模拟器的精确组别频率和伤害率中，为每个世界抽取 20 条流。每个语义生命周期是一个统计单元；它的 20 条嵌套蒙特卡洛流只有在至少 16 条正确时才被汇总为正确，并且从不被计成独立的生命周期观测。在 20,000 次尝试观测处，全部 272 个安全生命周期和 272 个有害生命周期都满足事先指定的描述性正确规则，最终汇总里有 0/272 个有害生命周期被错误地当作安全而部署。这是固定合成面板上的描述性结果，不是总体错误率估计；观察到零个假安全生命周期不等于零风险。监视器观察的是组别伤害，而不是重放完整的部署轨迹。

受控难度扫描

我们把围绕 15% 阈值的间隙 0.025、0.05 和 0.10，稀有组别患病率 0.02、0.10 和 0.50，以及保留率（被观察到的结果所占比例）0.5 或 1.0 做交叉，每个世界、每个格子使用 500 条独立流。这里，事先指定的格子和世界之内生成的一条流，是一个独立统计单元。用主要的 Hoeffding 监视器，在被检查的范围内只有四个设定达标。更小的边际、更稀有的组别和缺失的观测，会让监视器更久地保持未决定。

图 3：要可靠分开，需要多少新的监视。每个格子给出安全流和有害流首次同时满足所陈述的正确性与有害批准要求时的尝试观测次数。“Not reached”表示到 20,000 次尝试观测为止，没有任何一次被检查的查看达标。更大的安全边际、更常见的受影响组别，以及更完整的观测，一般需要更少的数据。HTML 源没有给出这张图的独立图像文件，这里只保留图注。

一个设定是否达标，使用在每个样本量上分别计算的单侧精确二项界。已发布的表给出每一次查看上的全部四种状态比率，以及右删失的首次决定。右删失是指到最大观察次数仍未决定，就记为尚未决定，而不是记成通过。Wilson 的起始点是描述性的，没有任何一个首次达标的被检查计数是正式的样本复杂度估计。三项研究都没有把那九条离线规则排成通用方法。

范围

该基准构造的是精确的观测等价，并不估计它在生产中的流行程度，也不估计监视的成功率。监视器假设独立、固定比率的二元结果，缺失与结果无关，以及目标稳定；它不能检测未声明的选择偏差、非随机缺失的结果、组别遗漏或目标偏移 [31, 12, 17, 20]。随时有效的推断在其抽样假设下防止选择性停止，但并不修补这些信息失败。如果一个被要求的组别未被观察到，它返回 cannot_determine；如果被声明的采集设计有偏或目标已经偏移，它返回 unsupported。

结论

标准的不可区分论证表明，缺失的部署真值不能从一次审计中恢复；我们的定理把该论证实例化到这个基准的审计接口上。基准把这一失败做成可执行的，监视器则检验新证据如何恢复一项已声明的组别伤害决定，而不声称完整安全。对验证器–智能体的评测应当同时检验计算，以及它们的证据是否支持该决定。

参考文献

• [1] R. Bassily、K. Nissim、A. Smith、T. Steinke、U. Stemmer 与 J. Ullman（2016）。自适应数据分析的算法稳定性。Proceedings of the 48th Annual ACM Symposium on Theory of Computing，第 1046–1059 页。引自 §1。
• [2] G. Brown、S. Hod 与 I. Kalemaj（2022）。有状态世界中的表演性预测。Proceedings of the 25th International Conference on Artificial Intelligence and Statistics，Proceedings of Machine Learning Research，第 151 卷，第 6045–6061 页。引自 §1。
• [3] L. D. Brown、T. T. Cai 与 A. DasGupta（2001）。二项比例的区间估计。Statistical Science 16（2），第 101–133 页。引自 §3。
• [4] E. Debenedetti、J. Zhang、M. Balunović、L. Beurer-Kellner、M. Fischer 与 F. Tramèr（2024）。AgentDojo：评测 LLM 智能体提示注入攻击与防御的动态环境。Advances in Neural Information Processing Systems，第 37 卷。引自 §1。
• [5] C. Dwork、V. Feldman、M. Hardt、T. Pitassi、O. Reingold 与 A. Roth（2015）。在自适应数据分析中保持统计有效性。Proceedings of the 47th Annual ACM Symposium on Theory of Computing，第 117–126 页。引自 §1。
• [6] C. Dwork、V. Feldman、M. Hardt、T. Pitassi、O. Reingold 与 A. Roth（2015）。可复用留出集：在自适应数据分析中保持有效性。Science 349（6248），第 636–638 页。引自 §1。
• [7] Z. Fang、Y. Li、J. Lu、J. Dong、B. Han 与 F. Liu（2022）。分布外检测可学习吗？Advances in Neural Information Processing Systems，第 35 卷。引自 §1。
• [8] L. Fischer、M. Bofill Roig 与 W. Brannath（2024）。在线闭包原理。The Annals of Statistics 52（2），第 817–841 页。引自 §1。
• [9] L. Fischer 与 A. Ramdas（2024）。可容许的在线闭检验必须使用 e-value。arXiv 预印本 arXiv:2407.15733。引自 §1。
• [10] D. Guo、C. Cao、F. Yuan、Y. Wang、Y. Wang 与 D. Wang（2026）。启发式自我改进智能体中，自我撰写的验证不可靠。arXiv 预印本 arXiv:2607.24300。引自 §1。
• [11] T. Hashimoto、M. Srivastava、H. Namkoong 与 P. Liang（2018）。重复损失最小化中不使用人口统计的公平。Proceedings of the 35th International Conference on Machine Learning，Proceedings of Machine Learning Research，第 80 卷，第 1929–1938 页。引自 §1。
• [12] J. J. Heckman（1979）。作为设定误差的样本选择偏差。Econometrica 47（1），第 153–161 页。引自 §4。
• [13] S. R. Howard、A. Ramdas、J. McAuliffe 与 J. Sekhon（2021）。时间一致、非参数、非渐近的置信序列。The Annals of Statistics 49（2），第 1055–1080 页。引自 §1、§3。
• [14] S. Jiang、L. Ma、Z. Hong、K. Wang、Z. Lu、T. Wang、S. Chen、J. Zhang、T. Pan、W. Li、J. Liang 与 Y. Xiao（2026）。SEA-Eval：一个评测自我演化智能体、超出单次情节评估的基准。arXiv 预印本 arXiv:2604.08988。引自 §1。
• [15] C. E. Jimenez、J. Yang、A. Wettig、S. Yao、K. Pei、O. Press 与 K. Narasimhan（2024）。SWE-bench：语言模型能解决真实的 GitHub 问题吗？International Conference on Learning Representations。引自 §1。
• [16] D. Kang、D. Raghavan、P. Bailis 与 M. Zaharia（2020）。用于监视并改进机器学习模型的模型断言。Proceedings of Machine Learning and Systems，第 2 卷。引自 §1。
• [17] M. Kearns、S. Neel、A. Roth 与 Z. S. Wu（2018）。防止公平上的选区划分：子组公平的审计与学习。Proceedings of the 35th International Conference on Machine Learning，Proceedings of Machine Learning Research，第 80 卷，第 2564–2572 页。引自 §1、§4。
• [18] P. W. Koh、S. Sagawa、H. Marklund、S. M. Xie、M. Zhang、A. Balsubramani、W. Hu、M. Yasunaga、R. L. Phillips、I. Gao、T. Lee、E. David、I. Stavness、W. Guo、B. Earnshaw、I. Haque、S. M. Beery、J. Leskovec、A. Kundaje、E. Pierson、S. Levine、C. Finn 与 P. Liang（2021）。WILDS：野外分布偏移基准。Proceedings of the 38th International Conference on Machine Learning，Proceedings of Machine Learning Research，第 139 卷，第 5637–5664 页。引自 §1。
• [19] M. Leucker 与 C. Schallhart（2009）。运行时验证简述。The Journal of Logic and Algebraic Programming 78（5），第 293–303 页。引自 §1。
• [20] Z. C. Lipton、Y. Wang 与 A. Smola（2018）。用黑盒预测器检测并校正标签偏移。Proceedings of the 35th International Conference on Machine Learning，Proceedings of Machine Learning Research，第 80 卷，第 3122–3130 页。引自 §4。
• [21] L. T. Liu、S. Dean、E. Rolf、M. Simchowitz 与 M. Hardt（2018）。公平机器学习的延迟影响。Proceedings of the 35th International Conference on Machine Learning，Proceedings of Machine Learning Research，第 80 卷，第 3150–3158 页。引自 §1。
• [22] X. Liu、H. Yu、H. Zhang、Y. Xu、X. Lei、H. Lai、Y. Gu、H. Ding、K. Men、K. Yang、S. Zhang、X. Deng、A. Zeng、Z. Du、C. Zhang、S. Shen、T. Zhang、Y. Su、H. Sun、M. Huang、Y. Dong 与 J. Tang（2024）。AgentBench：把 LLM 当作智能体来评测。International Conference on Learning Representations。引自 §1。
• [23] C. Ma、J. Zhang、Z. Zhu、C. Yang、Y. Yang、Y. Jin、Z. Lan、L. Kong 与 J. He（2024）。AgentBoard：多轮 LLM 智能体的分析评测板。Advances in Neural Information Processing Systems，第 37 卷。引自 §1。
• [24] C. F. Manski（2003）。概率分布的部分识别。Springer。引自 §2。
• [25] J. C. Perdomo、T. Zrnic、C. Mendler-Dünner 与 M. Hardt（2020）。表演性预测。Proceedings of the 37th International Conference on Machine Learning，Proceedings of Machine Learning Research，第 119 卷，第 7599–7609 页。引自 §1。
• [26] S. Rabanser、S. Günnemann 与 Z. C. Lipton（2019）。大声失败：数据集偏移检测方法的实证研究。Advances in Neural Information Processing Systems，第 32 卷。引自 §1。
• [27] A. Ramdas、P. Grünwald、V. Vovk 与 G. Shafer（2023）。博弈论统计与安全的随时有效推断。Statistical Science 38（4），第 576–601 页。引自 §1。
• [28] H. Robbins（1970）。与重对数律有关的统计方法。The Annals of Mathematical Statistics 41（5），第 1397–1409 页。引自 §3。
• [29] T. J. Rothenberg（1971）。参数模型中的识别。Econometrica 39（3），第 577–591 页。引自 §2。
• [30] Y. Ruan、H. Dong、A. Wang、S. Pitis、Y. Zhou、J. Ba、Y. Dubois、C. J. Maddison 与 T. Hashimoto（2024）。用一个由 LM 仿真的沙箱识别 LM 智能体的风险。International Conference on Learning Representations。引自 §1。
• [31] D. B. Rubin（1976）。推断与缺失数据。Biometrika 63（3），第 581–592 页。引自 §4。
• [32] S. Sagawa、P. W. Koh、T. B. Hashimoto 与 P. Liang（2020）。面向组别偏移的分布鲁棒神经网络：正则化对最坏情况泛化的重要性。International Conference on Learning Representations。引自 §1。
• [33] B. Sengupta（2026）。带随时有效证书的自我演化智能体。arXiv 预印本 arXiv:2607.00871。引自 §1。
• [34] Z. Shawn（2026）。PACE：自我演化智能体的随时有效接受检验。arXiv 预印本 arXiv:2606.08106。引自 §1。
• [35] J. Tian 与 A. Ramdas（2019）。ADDIS：在保守零假设下在线控制 FDR 的自适应丢弃算法。Advances in Neural Information Processing Systems，第 32 卷。引自 §1。
• [36] J. Tian 与 A. Ramdas（2021）。族错误率的在线控制。Statistical Methods in Medical Research 30（4），第 976–993 页。引自 §1。
• [37] E. B. Wilson（1927）。或然推断、继替律与统计推断。Journal of the American Statistical Association 22（158），第 209–212 页。引自 §3。
• [38] X. Wu、S. Yin、Y. Kang、X. Zhang、Q. Xu、Z. Chen 与 W. Zhang（2025）。SGM：用于风险受控的递归自我修改的统计哥德尔机。arXiv 预印本 arXiv:2510.10232。引自 §1。
• [39] T. Xie、D. Zhang、J. Chen、X. Li、S. Zhao、R. Cao、T. J. Hua、Z. Cheng、D. Shin、F. Lei、Y. Liu、Y. Xu、S. Zhou、S. Savarese、C. Xiong、V. Zhong 与 T. Yu（2024）。OSWorld：在真实计算机环境中为开放式任务基准化多模态智能体。Advances in Neural Information Processing Systems，第 37 卷。引自 §1。
• [40] S. Yao、N. Shinn、P. Razavi 与 K. Narasimhan（2025）。\(\tau\)-bench：真实世界领域中工具–智能体–用户交互的基准。International Conference on Learning Representations。引自 §1。
• [41] B. Yu（1997）。Assouad、Fano 与 Le Cam。Festschrift for Lucien Le Cam，D. Pollard、E. Torgersen 与 G. L. Yang 编，第 423–435 页。引自 §2。
• [42] S. Zhou、F. F. Xu、H. Zhu、X. Zhou、R. Lo、A. Sridhar、X. Cheng、T. Ou、Y. Bisk、D. Fried、U. Alon 与 G. Neubig（2024）。WebArena：用于构建自主智能体的现实网页环境。International Conference on Learning Representations。引自 §1。

附录 A 完整证明

设 \(P_{\mathrm{safe}}^{O}=P_{\mathrm{harm}}^{O}\)，并且 \(U\) 在两个世界里分布相同、独立于 \(O\)。那么 \((O,U)\) 的联合定律相等。对每一个可测决定集 \(B\)，映射定理给出

$$P_{\mathrm{safe}}\{A(O,U)\in B\}=P_{\mathrm{harm}}\{A(O,U)\in B\}.$$

把部署、拦截和弃权的共同概率写成 \(p,q,r\)。部署在有害世界里是错误，拦截在安全世界里是错误，因此两个错误概率是 \(p\) 和 \(q\)。由于 \(p+q=1-r\)，\(\max(p,q)\geq(p+q)/2=(1-r)/2\)。对一条确定性的、不弃权的规则，共享的观测迫使两个世界都部署，或者两个世界都拦截，因此其中一个决定以概率一是错的。

附录 B 环境与完整性细节

公开记录只包含方法被允许看到的字段。精确评分器收到一个单独的、已实现的环境对象，其中含有受保护的更新后结果。成对构造器在写下见证之前，断言序列化的公开轮次相等，并且受保护答案相反。评测运行器随后只把公开记录传给九个诊断程序：始终拦截、贪心、固定阈值、收缩预算花费、ADDIS 式花费、在线闭 e-检验、按更新重置、复用留出集，以及跨更新转移的证据。

生成强制四条不变量。成对世界必须共享全部 50 个公开轮次；受保护答案必须相反；每一个只看公开信息的程序必须收到耦合的输入和随机性；受保护的评分器字段必须不出现在方法构造器里。任何一条不变量失败都会停止生成。

可操作的 AuthGate 情景。

一家医院测试一条规则：向已批准的值班临床人员发放有时限的导出令牌。在两个匹配世界里，存储的审计包含相同的已批准请求、即时的任务完成，以及零条即时违规。在安全世界里，部署网关在下一班开始之前使每个令牌过期。在有害世界里，一个另行配置的续期工人让一些令牌在三个步骤内保持活动，后来的路由变化把更多稀有组别的记录送进这些会话。两种配置都不在部署前审计里，因此从验证器被允许的记录看，两个世界在操作上都说得通，尽管它们延迟的组别伤害真值相反。这个情景只建立操作上的可信性，不是生产环境的经验证据。

附录 C 监视保证

对每个被要求的组别 \(g\)，监视器存储观测计数 \(n_g\) 和伤害和 \(s_g\)。在每一个被保留的结果上，它计算式 (2) 以及截断区间 \([\widehat{\mu}_{g,n}-r_{g,n},\widehat{\mu}_{g,n}+r_{g,n}]\)。在每个组别内部，被保留的结果被假设为独立的伯努利抽取，具有一个固定的部署均值。组别到达和与结果无关的保留可以改变计数，但不改变条件结果定律。

对固定的组别和计数，Hoeffding 不等式给出每一侧的失败概率至多为 \(\alpha_{g,n}/2\)。因此

$$\sum_{g=1}^{G}\sum_{n=1}^{\infty}\alpha_{g,n}=\frac{\alpha}{G}\sum_{g=1}^{G}\sum_{n=1}^{\infty}\frac{1}{n(n+1)}=\alpha.$$

在所陈述的模型下，联合界给出对全部组别和全部观测计数的同时覆盖。在这一事件上，部署蕴含每一个已声明组别的伤害均值至多为阈值，而拦截蕴含至少有一个更大。对可行性、效用、未声明组别或已偏移的目标，得不出结论。

作为比较，固定样本的 Wilson 得分区间在每一次事先指定的查看上使用标准的得分中心和半径。它被逐点报告，从不被当作随时有效的决定往前携带。beta–二项混合方法反演一个伯努利混合鞅，产生在同一独立、固定比率模型下对时间一致有效的置信序列。三种方法收到相同的组别标签、观测计数和伤害计数，并且都把生命周期的错误预算分配到被要求的组别上。

附录 D 实验细节

全部生成器使用种子 20260821。匹配面板有 272 个语义单元，每个单元 50 轮。它的 100 个 AuthGate、100 个 ConstraintPlan 和 72 个 BatchTriage 环境结构没有标识符并且彼此不同，但它们规范化之后、面向方法的签名数量分别是 1、100 和 72。AuthGate 故意把结构变异放在同一种审计模式后面。固定面板每个世界、每个单元使用 20 条流。受控面板每个世界、每个格子使用 500 条独立流。十二个被检查的样本量从 5 次到 20,000 次尝试观测。每条流上同时覆盖组别与时间的监视水平是 \(\alpha=0.05\)，组别伤害阈值是 0.15。四个达标的受控设定及其首次达标的被检查查看列在第 4 节；其余 14 个设定到 20,000 次尝试观测仍不达标。

一个受控格子达标，当且仅当安全和有害正确性的逐点单侧 95% 精确下界至少为 0.80，并且累积的有害假安全决定的逐点上界至多为 0.05。首次达标的被检查查看是描述性的决定起始诊断，不是样本复杂度估计，也不是跨查看和指标的同时 95% 置信陈述。评测只使用 CPU，没有模型训练，也没有外部数据集。在一台 Apple M5 arm64 CPU、10 核、16 GB 内存、Python 3.13.12、八个工人上，对中心结果做一次参考再生，墙钟时间 267.30 秒，用户 CPU 时间 1,894.38 秒，系统时间 8.43 秒。/usr/bin/time -lp 报告的最大驻留集为 1.55 GB，该命令写出 111.5 MB；它没有使用 GPU、网络或模型服务。这些针对机器的测量不是硬件要求。更早的开发和失败的探索运行使用了额外的、未记录的 CPU 时间，这些时间被排除在外。

可执行发布位于 https://github.com/beingamanforever/Post-Audit-Mirage ，包含全部源码、独立的 JavaScript 评分器、完整配置、冻结的合成记录、具名的完整性测试、生成的结果、一份 MIT 许可证、第三方声明，以及精确的复现命令。从仓库根目录用下列命令再生中心结果：python -m src run-identifiability-experiments --config configs/identifiability.json --data-dir data --output-dir reproduced/data --artifacts-dir reproduced/artifacts --workers 8。

附录 E 完整状态与决定时间报告

固定面板的表按世界汇总 272 个语义生命周期，并在每个生命周期内应用事先指定的 20 条嵌套流中至少 16 条正确这一规则。受控表汇总大小相等的 18 格网格，每个世界共计 9,000 条独立流；它们描述的是这个网格，不是生产总体。全部比率由 identifiability_summary.json 生成。在每一次被报告的查看上，Unsupported 都是 0.0%；被声明的假设违反被单独报告为 unsupported。

表 2：固定面板上 Hoeffding 监视器在每一次被评估查看处的状态比率。每个世界这 272 个异质的合成生命周期构成一个固定的描述性面板，不是支持总体错误率估计的独立抽取。

表 3：受控网格上 Hoeffding 监视器在每一次被评估查看处的状态比率。

表 4：固定面板的首次决定停止时间分布，包含 20,000 次观测之后的右删失。

表 5：受控网格的首次决定停止时间分布，包含 20,000 次观测之后的右删失。

表 6：固定面板在 20,000 次尝试观测处的末次查看状态比较。Wilson 只是逐点的；两行置信序列在所声明的模型下对停止有效。全程 Unsupported 为 0.0%。

表 7：受控网格的决定起始比较。括号中的计数是 18 个事先指定格子里，首次达标的被检查查看落在该值上的个数。Wilson 的起始点是描述性的，因为 Wilson 是逐点的。

三种方法按格子的完整状态行和时间行，以机器可读形式发布。

这个基准可以帮助部署团队拒绝不被支持的决定，并暴露缺失的组别。它保守的监视器也可以推迟有益的更新，一份已声明的组别名册也可能漏掉受影响的人。它应当为人类治理提供信息，而不是自主批准部署。

NeurIPS 论文清单

1. 主张。问题：摘要和引言中的主要主张是否准确反映论文的贡献和范围？回答：[Yes]。理由：摘要、引言和局限陈述了匹配世界的结果、有条件的监视结果、固定面板的范围，以及受控面板的功效局限。指南：回答 [N/A] 表示摘要和引言不包含论文中的主张。摘要和/或引言应当清楚陈述所做主张，包括论文贡献以及重要假设和局限。对这一问题回答 [No] 或 [N/A] 不会被审稿人看好。主张应当与理论和实验结果相配，并反映结果可以预期在多大程度上推广到其他设定。把抱负性目标当作动机是可以的，只要清楚这些目标并没有被论文达到。
2. 局限。问题：论文是否讨论作者所做工作的局限？回答：[Yes]。理由：范围一段说明基准是合成的，不对生产流行程度作主张，把固定面板当作描述性的，不把观察到的零个假安全案例等同于零风险，并把监视结论条件于所声明的抽样模型。指南：回答 [N/A] 表示论文没有局限，回答 [No] 表示论文有局限但文中没有讨论。鼓励作者单列 Limitations。论文应当指出强假设，以及结果对这些假设被违反时有多稳健（例如独立性、无噪声、模型设定正确、渐近近似只在局部成立）。作者应当反思这些假设在实践中如何被违反，以及含义是什么。作者应当反思主张的范围，例如方法是否只在少数数据集或少数次运行上测试过。经验结果常常依赖应当被说出来的隐含假设。作者应当反思影响方法表现的因素。作者应当讨论所提出算法的计算效率，以及它们如何随数据集规模伸缩。若适用，作者应当讨论方法在隐私和公平问题上的可能局限。作者可能担心对局限的完全诚实会被审稿人当作拒稿理由，但更坏的结果是审稿人发现论文没有承认的局限。作者应当运用判断，并认识到有利于透明的个人行动，在形成维护共同体完整性的规范上起着重要作用。审稿人会被明确指示，不要因关于局限的诚实而惩罚作者。
3. 理论假设与证明。问题：对每一项理论结果，论文是否提供全部假设和一份完整且正确的证明？回答：[Yes]。理由：定理 1 被明确放在标准识别和两点不可区分想法的应用这一位置，陈述了全部假设，给出证明概要，附录 A 提供完整证明。指南：回答 [N/A] 表示论文不包含理论结果。论文中的全部定理、公式和证明应当编号并交叉引用。任何定理的陈述中都应当清楚写出或引用全部假设。证明可以出现在正文或补充材料中；若在补充材料中，鼓励作者提供简短证明概要以给出直觉。反过来，正文中的任何非正式证明都应当由附录或补充材料中的正式证明补足。证明所依赖的定理和引理应当被恰当引用。
4. 实验结果可复现。问题：论文是否充分披露复现主要实验结果所需的全部信息，达到影响论文主要主张和/或结论的程度（不论代码和数据是否提供）？回答：[Yes]。理由：论文和公开源码发布报告了评分规则、统计单元、完整的生成器与实验配置、种子、流的数量、被检查的查看、阈值、假设、决定准则、精确命令、测试，以及已发布的结果记录。指南：回答 [N/A] 表示论文不包含实验。若论文包含实验，对这一问题回答 [No] 不会被审稿人看好：让论文可复现是重要的，不论代码和数据是否提供。若贡献是数据集和/或模型，作者应当描述为使结果可复现或可核验而采取的步骤。取决于贡献，可复现可以有多种做法。例如，若贡献是一种新架构，充分描述架构可能就够了；若贡献是一个具体模型和经验评测，也许需要让别人能用同一数据集复现该模型，或提供对该模型的访问。一般而言，发布代码和数据常常是做到这一点的好办法，但也可以通过详细的复现说明、对托管模型的访问（例如大语言模型）、发布模型检查点，或其他与所做研究相称的方式来提供可复现性。NeurIPS 不要求发布代码，但会议要求所有投稿提供某种合理的可复现途径，这可以取决于贡献的性质。例如：（a）若贡献主要是新算法，论文应当说清如何复现该算法。（b）若贡献主要是新的模型架构，论文应当清楚、完整地描述该架构。（c）若贡献是一个新模型（例如大语言模型），则要么有办法访问该模型以复现结果，要么有办法复现该模型（例如用开源数据集，或说明如何构造数据集）。（d）我们认识到可复现在某些情况下可能棘手，此时欢迎作者描述他们为可复现所提供的具体方式。对闭源模型，访问可能以某种方式受限（例如仅注册用户），但其他研究者应当有某条路径去复现或核验结果。
5. 数据与代码的开放获取。问题：论文是否按补充材料所述，开放获取数据与代码，并给出足以忠实复现主要实验结果的说明？回答：[Yes]。理由：公开的代码发布包含可执行源码、数据、配置、精确命令、测试、图、MIT 的项目与数据集许可证，以及复现主要结果所需保留的第三方声明。指南：回答 [N/A] 表示论文不包含需要代码的实验。更多细节见 NeurIPS 代码与数据投稿指南（https://neurips.cc/public/guides/CodeSubmissionPolicy）。我们鼓励发布代码和数据，但理解这未必可能，因此 [No] 是可接受的回答。不能仅仅因为没有代码就拒稿，除非代码对贡献是核心的（例如一个新的开源基准）。说明应当包含复现结果所需的精确命令和环境。作者应当提供数据访问和准备说明，包括如何访问原始数据、预处理数据、中间数据和生成数据。作者应当提供脚本，以复现新提出方法及基线的全部实验结果。若只有一部分实验可复现，应当说明哪些被省略以及为什么。投稿时为保持匿名，作者应当发布匿名版本（若适用）。建议在补充材料（附于论文）中尽可能提供信息，但允许包含指向数据和代码的 URL。
6. 实验设定与细节。问题：论文是否指明理解结果所必需的全部训练和测试细节（例如数据划分、超参数、它们如何被选择、优化器类型）？回答：[Yes]。理由：论文和已发布配置给出每一个生成器参数、种子、队列大小、嵌套流汇总规则、监视查看、阈值、区间方法和达标规则；没有训练或优化。指南：回答 [N/A] 表示论文不包含实验。实验设定应当在论文核心部分呈现到足以领会结果的详细程度。完整细节可以用代码、附录或补充材料提供。
7. 实验统计显著性。问题：论文是否合适且正确定义地报告误差条，或其他关于实验统计显著性的适当信息？回答：[Yes]。理由：固定的异质面板被明确标为描述性的；比较把逐点的 Wilson 固定样本区间和随时有效的序列界区分开；第 4 节和附录 D 说明，首次查看的选择不是正式的样本复杂度估计，也不是同时的逐点推断。指南：回答 [N/A] 表示论文不包含实验。若结果至少对支持论文主要主张的实验附有误差条、置信区间或统计显著性检验，作者应当回答 [Yes]。误差条捕捉的变异因素应当说清（例如训练/测试划分、初始化、某个参数的随机抽取，或在给定实验条件下的整体运行）。计算误差条的方法应当被解释（闭式公式、调用库函数、自助法等）。应当给出所做假设（例如误差正态分布）。应当清楚误差条是标准差还是均值的标准误。报告 1 倍标准差的误差条是可以的，但应当说明。若误差正态性未被核验，作者最好报告 2 倍标准差的误差条，而不是声称有 96% 置信区间。对不对称分布，作者应当小心，不要在表或图里画出会导致结果越界的对称误差条（例如负的错误率）。若表或图中报告了误差条，作者应当在正文中解释它们如何计算，并引用对应的图或表。
8. 实验计算资源。问题：对每个实验，论文是否提供复现实验所需计算机资源（计算工人类型、内存、执行时间）的充分信息？回答：[Yes]。理由：附录 D 报告了中心发布命令的 CPU 型号与架构、安装内存、Python 版本、工人数量、墙钟与 CPU 时间、最大驻留集、输出大小，以及没有使用 GPU、网络或模型服务；它也说明未记录的开发和失败的探索性 CPU 运行被排除。指南：回答 [N/A] 表示论文不包含实验。论文应当指出计算工人类型是 CPU 还是 GPU、内部集群或云提供商，包括相关内存和存储。论文应当提供每一次单独实验运行所需的计算量，并估计总计算量。论文应当披露整个研究项目是否需要比论文所报告实验更多的计算（例如没有进入论文的初步或失败实验）。
9. 伦理准则。问题：论文中进行的研究是否在每一方面都符合 NeurIPS 伦理准则 https://neurips.cc/public/EthicsGuidelines ？回答：[Yes]。理由：这项工作只使用合成环境，不含人类或个人数据，并遵循 NeurIPS 伦理准则。指南：回答 [N/A] 表示作者没有审阅 NeurIPS 伦理准则。若作者回答 [No]，应当解释需要偏离伦理准则的特殊情形。作者应当确保保持匿名（例如因其辖区法律或法规而有特殊考虑）。
10. 更广泛影响。问题：论文是否同时讨论所做工作潜在的正面社会影响和负面社会影响？回答：[Yes]。理由：附录 D 讨论了减少不被支持的部署、推迟有益更新、遗漏组别，以及适当的人类治理。指南：回答 [N/A] 表示所做工作没有社会影响。若作者回答 [N/A] 或 [No]，应当解释为什么工作没有社会影响，或为什么论文不处理社会影响。负面社会影响的例子包括潜在的恶意或非意图用途（例如虚假信息、生成假档案、监视）、公平方面的考虑（例如部署可能对特定群体做出不公平决定的技术）、隐私考虑和安全考虑。会议预期许多论文是基础研究，并不绑在特定应用上，更不必说部署。但如果存在通向任何负面应用的直接路径，作者应当指出来。例如，指出生成模型质量的改进可能被用来生成用于虚假信息的 Deepfake 是正当的。另一方面，不需要指出一个优化神经网络的通用算法可能让人更快地训练出生成 Deepfake 的模型。作者应当考虑技术按意图使用且正确工作时可能产生的伤害，按意图使用但给出错误结果时可能产生的伤害，以及（有意或无意）误用之后的伤害。若存在负面社会影响，作者也可以讨论可能的缓解策略（例如有门控地发布模型、在攻击之外提供防御、监视误用的机制、监视系统如何随时间从反馈中学习的机制、提高机器学习的效率与可及性）。
11. 保障措施。问题：对有高误用风险的数据或模型（例如预训练语言模型、图像生成器或抓取的数据集）的负责任发布，论文是否描述已经采取的保障措施？回答：[N/A]。理由：发布物包含小型合成记录和源码，不是训练好的模型、抓取的数据集、个人数据或高风险两用资产。指南：回答 [N/A] 表示论文不构成此类风险。有高误用或两用风险的已发布模型，应当带上必要保障以便受控使用，例如要求用户遵守使用指南或访问限制，或实现安全过滤器。从互联网抓取的数据集可能带来安全风险。作者应当描述如何避免发布不安全图像。我们认识到提供有效保障是困难的，许多论文并不需要，但我们鼓励作者把这一点考虑进去并尽诚信努力。
12. 既有资产的许可证。问题：论文所使用资产（例如代码、数据、模型）的创建者或原所有者是否被恰当署名，许可证和使用条款是否被明确提到并被恰当尊重？回答：[Yes]。理由：论文引用了每一种诊断方法；唯一纳入的第三方实现是 MIT 许可的 SeqE-Guard 逻辑，其许可声明随源码保留。指南：回答 [N/A] 表示论文不使用既有资产。作者应当引用产生该代码包或数据集的原始论文。作者应当说明使用的是哪一版本的资产，并在可能时给出 URL。每个资产都应当写上许可证名称（例如 CC-BY 4.0）。对从特定来源（例如网站）抓取的数据，应当提供该来源的版权和服务条款。若资产被发布，包中应当提供许可证、版权信息和使用条款。对流行数据集，paperswithcode.com/datasets 为部分数据集整理了许可证。若此信息不能在线获得，鼓励作者联系资产创建者。对被重新包装的既有数据集，应当同时提供原始许可证和派生资产的许可证（若已改变）。
13. 新资产。问题：论文引入的新资产是否有良好文档，并且文档是否与资产一起提供？回答：[Yes]。理由：文稿和 MIT 许可的公开发布，为这个新的合成基准记录了生成、评分、假设、工作负载大小和统计解释。指南：回答 [N/A] 表示论文不发布新资产。研究者应当通过结构化模板，把数据集/代码/模型的细节作为投稿的一部分传达。这包括关于训练、许可证、局限等的细节。论文应当讨论是否以及如何获得其资产被使用的人的同意。投稿时记住把资产匿名化（若适用）。可以创建匿名 URL，或附上匿名压缩包。
14. 众包与人类受试者研究。问题：对众包实验和人类受试者研究，论文是否包含给参与者的说明全文和截图（若适用），以及关于报酬的细节（若有）？回答：[N/A]。理由：这项工作不含众包或人类受试者研究。指南：回答 [N/A] 表示论文既不涉及众包，也不涉及人类受试者研究。把这些信息放在补充材料里是可以的；但如果主要贡献涉及人类受试者，则应当在正文中尽可能包含细节。按照 NeurIPS 伦理准则，参与数据收集、整理或其他劳动的工人，报酬至少应当达到数据收集者所在国家的最低工资。
15. 机构审查委员会（IRB）批准或同等程序。问题：论文是否描述研究参与者承担的潜在风险、这些风险是否向受试者披露，以及是否获得机构审查委员会（IRB）批准（或基于所在国家或机构要求的同等批准/审查）？回答：[N/A]。理由：这项工作不含众包或人类受试者研究，因此机构审查不适用。指南：回答 [N/A] 表示论文既不涉及众包，也不涉及人类受试者研究。取决于开展研究的国家，任何人类受试者研究都可能需要 IRB 批准（或同等程序）。若已获得 IRB 批准，应当在论文中清楚说明。我们认识到这一程序在机构和地点之间可能差异很大，并期望作者遵守 NeurIPS 伦理准则及其机构的指南。对初次投稿，不要包含会破坏匿名的信息（若适用），例如进行审查的机构。
16. LLM 使用声明。问题：若 LLM 是本研究核心方法中重要的、原创的或非标准的组成部分，论文是否描述了 LLM 的使用？注意：若 LLM 只用于写作、编辑或排版，并且不影响核心方法、科学严谨性或研究的原创性，则不要求声明。回答：[N/A]。理由：语言模型不是该基准、精确评测器、监视器或实验的原创或非标准组成部分；任何写作协助不影响方法、数据、评分或所报告的结果。指南：回答 [N/A] 表示本研究的核心方法开发不把 LLM 当作任何重要的、原创的或非标准的组成部分。关于应当或不应当描述什么，请参阅 NeurIPS 手册中的 LLM 政策。

Aman Behera，Payal Payal，Post-Audit Mirage: Identifiability Limits of Offline Agent Verification，2026-10-22，https://arxiv.org/abs/2610.31130，CC BY 4.0