AgentProofBench：评测可复用的网页智能体验证器

AgentProofBench：为网页智能体评测可复用验证器

Authors: Jingjie Ning; Xueqi Li; Yi Lu; Yibo Kong

© none

图 1. 一条指令、一个已改变的所需身份，以及一条冻结在旧身份上的接受规则。图示的 Linear45 机制把匹配的结果测试连接到一次在笼统拒绝之后观察到的回退。团队标签 A/B 与所展示的规则是示意；保存的代码与状态给出确切实例。示意性的团队身份 A 与 B 说明 Linear45 的绑定变化。冻结的程序、参照结果，以及笼统拒绝或中性分支，把状态变化连接到观察到的执行后果。

摘要。

可复用的网页智能体验证要求一条规则跟上变化中的需求，并支持后续执行。我们引入 AgentProofBench，它把对一条冻结接受规则的成对测试，连接到从相同已保存起点出发的执行。该资源覆盖 97 项任务、79 个家族和四种网页服务。使用 DeepSeek Flash/Pro 的实验建立了两项相互关联的测量。在 48 个家族上，完整面板测试与决策重放测试保留了 82/96 个 Flash 源程序和 79/96 个 Pro 源程序；成对的复用减重建 BA 区间为 $[-5.47,1.57]$ 与 $[-10.16,0.00]$ 个百分点。在 22 个执行家族上，部署状态面板正确性区分了那些两个已保存起点都被正确交付的程序指派：无错误面板的指派为 32/33，有面板错误的指派为 1/11。所有由参照定义的程序门控回退和被扣留的交付都发生在后一组。在所测试的笼统反馈下，中性继续取得最高的正确交付，为衡量一道门控所增加的价值提供了具体基线。发布的指令、状态、程序、参照规则和轨迹，把每一次测试失败连接到它的执行后果。AgentProofBench 使可复用验证在需求层面和策略层面都可被评估。

关键词：

网页智能体，可复用验证器，验证器生成，初始状态泛化，基于执行的评测

1. 引言

可复用的接受检查可以使网页智能体的操作既快又可检查。一段程序可以编码完成一项任务的条件，检查相关的业务状态，并在后续执行上发出同样的显式检查。核心挑战是：公开指令可以保持不变，而所需的工作却在变化。某个名字的当前所有者、属于某个集合的文件，或必须被保留的值，都来自每一次执行的初始状态。一个记住了更早答案的验证器，可能对错误的需求给出令人信服的判定。

这一判定也会成为智能体环境的一部分。拒绝可以触发进一步编辑，接受可以放行由此产生的状态。因此，评测一个可复用验证器，需要在其测试所施加的条件，与消费其判定的策略的结果之间建立联系。匹配的继续历史使这一联系可观察：同一份已完成的工作，可以在不同停止策略下被保留、被改变或被扣留。

现有网页智能体环境建立了可执行的任务评测（Zhou et al., 2023; Yao et al., 2024; Xie et al., 2024; Trivedi et al., 2024; Pyskło et al., 2026）。关于自动评估和生成式验证器的工作表明了证据以及接受合法替代方案的重要性（Lù et al., 2025; Rosset et al., 2026; Yin et al., 2026）。可复用的执行策略进一步表明，经验在工作流实例之间具有价值（Suh et al., 2026）。这些进展促使一种评测把接受规则的三种性质连接起来。它必须识别被允许的终态结果，恢复一个已改变初始状态的需求，并支持有效的继续与交付决策。

我们围绕这一连接引入 AgentProofBench。一段接受程序是可执行代码，通过普通的之前/之后 API 判断任务是否完成。一份复用契约固定公开指令和证据权限，同时初始业务数据可以变化。匹配的终态结果使这种变化的后果可观察。共享的行动者起点再把同一个验证器连接到它作出判定之后所采取的动作。每一项测量都链接到带版本的参照谓词、程序源码、API 证据，以及一个可重建的业务状态。

该基准提供三项贡献。

• • 一种成对复用测试：在改变其所要求的初始状态绑定的同时，保持公开指令和生成的程序固定。完整结果面板和被重放的决策衡量互补的义务。

• • 一种执行有效性测试：把部署状态面板正确性链接到匹配的策略结果。这项 22 个家族的研究保留 44 次程序指派、每次指派两个起点，以及 352 个策略结果。

• • 一份可执行资源：跨四种网页服务的 97 项任务，包括带版本的参照规则、合法替代方案、可重建状态、程序和动作历史。

核心经验结果是测试与执行之间的连接。部署状态面板无错误的程序，在 33 次指派中的 32 次正确交付了两个已保存起点，而面板含有错误的十一次指派中只有一次做到这一点。成对复用研究解释这些面板所施加的是哪些需求；重放见证在三个源程序中暴露出额外错误。固定实例的接受剖面与成本剖面随后描述同一验证接口的运行权衡。所报告的生成器、评判器和行动者结果使用关闭思考的 DeepSeek Flash/Pro。

2. 相关工作

#### 可执行评测与生成的验证器。

WebArena、OSWorld、$\tau$-bench 和 AppWorld 提供可执行的任务环境（Zhou et al., 2023; Xie et al., 2024; Yao et al., 2024; Trivedi et al., 2024）。Agent-Diff 提供本文所用的企业服务副本（Pyskło et al., 2026）；OpenComputer 和 WorkForge 发展了可验证的软件世界与工作区准则（Wei et al., 2026; Zhang et al., 2026b）。测试预言机文献确立了可信接受规则这一更广的问题（Barr et al., 2015）。CodeT 和 Eureka 生成可执行测试或奖励（Chen et al., 2022; Ma et al., 2023），而 SpecGuardBench 和 WebGrader 评测生成的验证代码（Zhong et al., 2026b; Chen et al., 2026）。Rules to Tools 为程序修复提供科学需求的可调用实现（Ning et al., 2026c）。VerifierBench 在六个智能体基准上测试可执行验证器的生成，包括合法替代方案、普通错误和攻击（Yin et al., 2026）。AgentProofBench 把测量目标扩展到匹配的初始状态需求，以及由验证器判定所控制的后续执行。

#### 基于证据的判断。

Agent-as-a-Judge、AJ-Bench 和 AgentRewardBench 研究根据环境证据与轨迹证据进行的评估（Zhuge et al., 2024; Shi et al., 2026; Lù et al., 2025）。Universal Verifier 发展了基于准则的计算机使用评估（Rosset et al., 2026）；Sauron 为其判断收集状态与轨迹证据（Sanayei et al., 2026）。VAGEN 和 VeriHarness 研究智能体式验证与结构化证据收集（Cui et al., 2026; Zhang et al., 2026a）。LLM-as-a-Verifier 考察连续分数、重复评测和准则分解（Kwok et al., 2026）。我们新做的 API 判断与可执行程序共享冻结状态和普通证据权限，从而可以直接比较有效接受、失败拒绝和重复使用成本。

#### 执行过程中的复用与验证。

SkillLearnBench 跨任务实例评测学到的制品（Zhong et al., 2026a）。ControlScope 研究工作流修订权限如何塑造后续执行（Ning et al., 2026a）。Revision or Re-Solving 使用匹配条件来分离第二遍增益的来源（Ning et al., 2026b）。CLIFT 复用一个冻结的自验证库，用于训练和轨迹选择（Zhang et al., 2026c）。Neuro-Symbolic Computer Use 在初始状态与参数变化下学习可复用的执行策略，并带有由验证引导的继续（Suh et al., 2026）。SPLIT 在采样与不完美验证之间分配计算，而验证器加固把对抗性改进与对有效解的保护结合起来（Iyengar, 2026; Zeng et al., 2026）。企业智能体研究把验证、模型角色和任务完成连接起来（Dastidar, 2026）。The Implementation Lottery 比较复用一个被选中的程序，与对其机制做全新实现（Ning et al., 2026d）。DCP 在科学研究审计中比较来自共享检查点的如实反馈与中性反馈（Ning et al., 2026e）。图 2 把成对的验证器测试与从共享历史出发的执行连接起来。

图 2. AgentProofBench 中的相关设定与测量单位。成对的初始需求测试一个冻结的接受程序；匹配的历史把它的判定连接到后续执行（Yin et al., 2026; Suh et al., 2026）。三条图示的工作流泳道区分可执行验证器测试、可复用的受守卫执行策略，以及带有匹配历史执行的成对验证器迁移。

3. 基准契约与设计

3.1. 一个可执行的接受接口

每项任务提供一条公开指令 $q_{i}$、API 文档 $D_{i}$，以及一个普通的已认证接口 $O_{i}$。宿主参照 $G_{i}$ 评估任务完成情况。对于初始状态 $S^{0}_{ik}$ 和终态 $S^{1}_{ikj}$，一个验证器产生

(1) $\widehat{y}_{ikj}=V_{i}\!\left(q_{i},O_{i}(S^{0}_{ik}),O_{i}(S^{1}_{ikj})\right),\qquad y_{ikj}=G_{i}(S^{0}_{ik},S^{1}_{ikj}).$

这里 $k$ 标识初始状态条件，$j$ 标识终态结果。提交的接口是 verify(task,before,after)。它返回 Pass、Fail 或 Unknown，并可附带检查与解释。异常、畸形输出以及耗尽执行限额都记为 Error。

构造提示明确陈述复用契约。程序必须从其运行时的之前状态推导出依赖于状态的需求。每次评估都在一个新的只读沙箱中运行冻结源码，并使用该任务行动者的 API 权限。宿主谓词和终态控制保留在评分工具链中。一次执行允许一个 CPU、1 GB 内存、60 秒，以及在两个快照上合计 80 次业务操作。展开的 GraphQL 根查询单独计数。

3.2. 结果覆盖与参照语义

三项相互关联的研究分别处理接受、复用和执行。接受资源包含来自 79 个家族的 97 项任务，其中有 20 项家族不相交的开发任务。它的 556 状态自然面板包括 452 个成功和 104 个失败，按参照类别采样，每项任务至多六个状态。复用研究在来自 48 个家族的 558 个终态上评估 576 个程序。执行研究在来自 22 个家族的 88 个已保存起点上比较策略。附录 A 记录自然状态的选择流程，以及检查之后排除的三项任务。

四种结果面板分开常见的接受要求（图 7）。自然结果衡量普通的智能体结尾。原生前缀配对使用服务动作，把一次完整执行连接到一个更早的未完成状态。有类型的故障通过服务 API 改动一个成功锚点，从而可以识别被违反的需求。合法替代方案改变公开指令所允许的行为。成功锚点与失败状态共同测试有效接受和失败拒绝。

参照谓词覆盖身份、值、集合和关系。带版本的选择器从每个之前状态恢复所需对象。原生状态评估与普通 API 评估共享这些谓词，并检查恢复情况与证据可访问性。分数衡量对这一显式参照契约的符合程度。附录 A 保留原始标签视图和显式保留标签视图。

一次单独的 GPT-6 Astra LLM-as-a-judge 审计审阅了跨 62 项任务的 195 个状态，初次判断期间扣留参照裁决。它与 192 个已解决标签中的 191 个一致（99.5%）；三个案例不确定。该审计印证了全部 48 次需求变化，拒绝了全部 48 次失败重放，并确认了两对已交付的回退（附录 A）。

保留任务 linear_52 说明这一契约。它的指令把 Plot B3 指派给 Rashida，并要求其初始状态得以存续。源状态的状态是 Active；相关状态是 Dormant。参照从当前的之前状态解析 Plot B3，检查所请求的受派人，并比较其之前/之后的状态标识符。因此，一个正确的相关结果应保持 Dormant。该指令的其他条款创建一个跟踪事项，并更新 Plots A7 和 C1。它们提供额外的匹配结果，而 B3 的变化则隔离出依赖于状态的保留需求。完整指令和谓词见附录 A。

3.3. 匹配的初始状态复用

匹配研究 P1 从 48 个原始家族中各选一项任务，包括 18 个 Linear、10 个 Slack、19 个 Box 和一项 Calendar 任务。每个家族贡献一次相关的初始状态变换。每条公开指令有三种初始条件。Source 是构造状态。Background 改变所请求工作之外的数据。Related 改变一个必需的实体绑定、初始值、集合或保留条件。实体绑定标识一个公开名字所指称的对象；保留条件要求一个初始值在执行后仍然存在。

资格认定在预测之前确立四项性质。被改变的需求遵循公开指令，服务动作构造这些状态，原生参照与 API 参照在匹配结果上一致，并且重放一个在源条件下有效的决策，在相关条件下变为无效。最后这一次执行是源决策见证。它针对一项更早的、有效的业务决策来测试接受规则，而该项决策所要求的目标或值已经改变。

这一见证给初始状态变化一个直接的语义测试。如果同一个更早的决策仍然有效，程序就可以靠保留其源答案而成功。一个合格的见证要求验证器从当前的之前状态解析出一个新条件。这就把依赖于状态的接受，与快照中的附带差异分开，并使被改变的义务在参照和 API 轨迹中可检查。

每种初始条件包含一个完整结果、一个在可用时不同的合法替代方案，以及两个被改变的失败。故障配方及其角色在各条件之间保持匹配；当前的之前状态提供标识符和所需的值。四十二项任务在每种条件下有两个有效结果，六项任务有一个。这 144 个初始状态支持 558 个主要终态，其中包括 270 个有效条目和 288 个失败条目。见证配对为每项任务增加一个源有效决策和一个相关无效决策，并带有各自的评分支持。

DeepSeek Flash 和 Pro 都关闭思考，各自在每个目标条件生成两个源程序和两个重建程序，产生 576 个冻结制品。构造以及记为 API12 的新鲜在线 API 评估允许十二轮模型交互。程序可以针对其构造状态进行读取和调试。源程序在全部三种条件上运行，而目标重建则在其自身的构造目标上进行比较。每个模型和每个终态有两次独立的 API12 判断，给出 2,232 次在线观察。完整的三构造乘三评估矩阵还额外测量反向迁移。

3.4. 继续执行期间的验证

执行研究 P2 使用 22 个家族，其原生完成轨迹至少包含两次变更操作。每项任务各有一个 Flash 行动者和一个 Pro 行动者，从相关初始状态生成 44 条轨迹。每条轨迹提供一个自然结尾和一个闭合检查点，检查点保存在包含变更请求的第一个完整工具回合之后。88 个起点中的每一个都保留原始初始状态、当前业务状态和完整交互历史。

四种策略从每个起点分出。行动者停止在行动者的最终回复时交付。其非最终检查点结果是一个机械的不交付参照。固定继续允许两个中性继续阶段，并在第二阶段之后的最终回复时交付。程序门控使用一个由源状态构建的 Pro 程序，按每项任务和每个行动者独立的固定奇偶规则指派，与源质量无关。在线门控使用新鲜的 Pro API12 判断。两种门控都在 Pass 时交付，否则至多允许两次继续。两个队列保留同一个被指派的程序。

中性消息要求行动者完成原始请求，同时保留已经完成的有效工作。门控反馈在前面加上一段未接受的陈述，并且不携带程序检查或实体标识符。因此每个分支评估的是一套完整的反馈与停止策略；附录 C 给出确切消息。一项八个家族的开发研究在正式行动者预测之前选定了这一设计。每个行动者阶段允许 20 轮模型交互和 100 次业务操作，并设有 1 美元的观察成本停止线和 900 秒截止时间。未解决的用量会停止进一步工作。当交付被扣留时，已执行的写入仍然持久存在。

3.5. 测量与比较单位

平衡准确率（BA）在每个初始状态面板内对有效接受和失败状态拒绝赋予相等权重，

(2) $\mathrm{BA}_{ik}=\frac{1}{2}\!\left[\frac{\sum_{j\in J^{+}_{ik}}\mathbf{1}[\widehat{y}_{ikj}=\textsc{Pass}]}{|J^{+}_{ik}|}+\frac{\sum_{j\in J^{-}_{ik}}\mathbf{1}[\widehat{y}_{ikj}=\textsc{Fail}]}{|J^{-}_{ik}|}\right].$

$J^{+}_{ik}$ 与 $J^{-}_{ik}$ 包含有效结果和失败结果。重复先在任务内平均，再做任务平均。Unknown 和 Error 获得零正确性得分。错误接受（FA）、有效接受，以及两种非决策结果，都保留单独计数。

一个源合格程序把每一个源面板结果都分类正确。完整的相关面板正确性测试这一性质是否迁移。一次联合通过还额外要求一个正确的见证裁决：接受源见证，或拒绝其相关重放。主面板正确性与联合正确性展示满足全部被测条件的程序数量，并与由 BA 衡量的平均区分度并列。对于预先规定的成对比较，

(3) $\Delta_{m}=\frac{1}{N}\sum_{i}\left(\overline{\mathrm{BA}}^{\rm reuse}_{i,r,m}-\overline{\mathrm{BA}}^{\rm rebuild}_{i,r,m}\right).$

无条件结果为每个模型保留 96 个程序；每个条件比率都标明其所选支持集。

P2 为每一个排定的起点记录正确、不正确、被扣留和未解决的交付。一次修复把参照失败变为成功；一次回退把成功变为失败。请求成功、实际业务变化和交付是分开的观察。面板—交付诊断按完整的相关面板正确性对指派分组，并记录两个起点是否都正确交付。自然结尾和检查点是一条轨迹的相互依赖视图。一万次家族自助样本保留来自同一原始家族的观察；附录 B 规定主要检验。

4. 结果

4.1. 初始状态复用的联合测试

成对研究测量一条接受规则在其指令和代码保持固定时，是否跟上一个已改变的需求。源程序在相关状态上的 BA，Flash 为 93.23%，Pro 为 90.36%（表 1）。复用减重建的估计为 -1.56 个点，区间 [-5.47, 1.57]，以及 -4.95，区间 [-10.16, 0.00]。两个预先规定的区间都包含相等的平均 BA；Pro 的范围延伸到 $-10.16$ 个点。背景对照在所测试的无关编辑下产生相同裁决。

表 1. 48 个家族上的匹配 P1 结果。数值是任务平均的百分比，带有两个程序副本或在线判断。相关的复用减重建区间，Flash 为 [-5.47, 1.57]，Pro 为 [-10.16, 0.00]。

完整主面板正确性对 Flash 从 89/96 变为 83/96 个源程序，对 Pro 从 83/96 变为 81/96。在源面板完全正确的条件下，保留的计数为 83/89 和 80/83，覆盖 45 个和 46 个源合格家族。六个 Flash 程序和三个 Pro 程序在每个模型的三个家族上获得一处错误；一个最初不正确的 Pro 程序在相关面板上变为正确。图 3 保持完整的 96 程序分母可见。

图 3. 同一批 96 个源程序通过源面板、相关面板和联合测试。蓝色表示完全正确，灰色表示其余程序。分开的环比较相关重建。下方面板保留成对 BA 对比以及原始的 95% 家族自助区间。相关主面板正确性为 96 个 Flash 源程序中的 83 个、96 个 Pro 源程序中的 81 个，相对的重建为 85 和 87。联合正确性对源程序为 82 和 79，对重建为 82 和 86。

增加的见证在其已改变的需求上探测一个更早的有效决策。源程序对 Flash 接受 92/96 个有效源见证，对 Pro 接受 89/96 个。在相关变化之后，它们错误地接受 6/96 和 5/96 次重放，而相关重建接受 5/96 和 2/96 次。Pro 源程序还在相关见证上给出两次 Unknown 和两次 Error 裁决。联合正确性要求在主面板及其见证上都有一个已解决且正确的裁决。由此得到的计数是 82/96 个 Flash 源程序和 79/96 个 Pro 源程序，相比之下重建为 82/96 和 86/96（图 3）。重建的主面板对 85/96 个 Flash 程序和 87/96 个 Pro 程序完全正确。在源联合合格子集内，相关联合正确性为 82/89 和 78/83。

#### 可以从当前状态恢复的绑定。

在 linear_44 中，两个 Flash 源程序都保留旧的 Elena 标识符。每一个都把全部四个源结果分类正确，并在公开名字改指另一名在世用户之后拒绝两个有效的相关结果。两个相关重建都把目标面板分类正确；其中一个通过 users API 解析当前名字。因此，被改变的绑定在之前状态记录、生成的源码和返回的 API 证据中都有直接见证。

在 linear_52 中，Pro 副本 1 保留源常量 Active。它拒绝正确保留相关状态的 Dormant 值，并接受一次无效地改回 Active 的变化。副本 2 读取运行时之前状态，并在两种条件下把全部四个结果都分类正确。差别在于接受关系本身：是把终态状态与当前初始状态比较，还是与一个被记住的字面量比较。复用契约使这一区分可测试，而不必改写用户的指令。

#### 超出局部故障的集合依赖。

box_141 指令通过顶层数组或 results 数组之一定义合格的 JSON。Pro 源副本 1 把全部十二个主要结果分类正确，但接受了一个遗漏新要求的 JSON 文件的见证。它的 API 读取到达了该文件，然而它的谓词检查包装器的根字段，并错过 results[0] 内部的记录。计算出的必需集合有九个合格项中的八个。副本 2 提取内部记录并拒绝这一遗漏。

这一案例解释联合评分的作用。通过匹配的局部故障，确立的是在那些结果上的正确性。源决策重放随后测试：在一项新义务出现之后，对一个更早选择的接受。二者的合取暴露出主面板未加练习的一条集合分支。发布的分数、被遗漏的记录和生成的谓词，把这一差异暴露出来，供评测新的构造方法使用。

4.2. 面板正确性与执行结果

部署状态测试与所记录的执行结果强烈相关。在 33 个相关面板无错误的被指派程序中，有 32 个正确交付了它们的自然结尾和检查点。在十一个有面板错误的指派中，有一个正确交付了两个起点（图 4）。在起点层面上，对应计数为 64/66 和 2/22。指派是汇总单位：它的两个起点共享一条轨迹，并且在本研究中具有相同的正确相对不正确/被扣留处置。这 44 次指派来自 22 个任务家族。相关联的正确交付差异为 87.9 个百分点，逐点家族聚类区间为 $[68.8,100.0]$。

图 4. 部署状态面板正确性与执行结果。每次程序指派提供一个自然结尾和一个检查点；上方面板按相关面板正确性对全部 44 次指派分组。不正确交付和被扣留交付与状态回退分开。下方策略泳道从每个行动者和每个队列的 22 个共享起点重新开始。面板完美的程序在 33 次指派中的 32 次正确交付两个起点，而含有面板错误的 11 次指派中只有 1 次如此。策略流在每个起点保留正确、不正确和被扣留的交付。

全部十七次程序门控扣留，以及全部三次由参照定义的回退，都属于面板错误组。十三个被扣留的终态满足参照，因此扣留与参照失败仍然是不同的结果。无错误组中的两次不正确交付，是同一个 Flash Linear27 指派在其两个起点上的结果；两者都以失败开始并以失败结束。相反，带有面板错误的 Flash Box130 指派正确交付了两个起点。在通过每一项源面板测试的 36 次指派中，三次带有相关面板错误的指派都有不正确或被扣留的交付；其余 33 次指派中的 32 次正确交付两个起点。部署状态标签使这成为对该基准在面板与执行之间连接的直接测试；运行资格认定使用可比较的、带标签的目标状态面板。

#### 中性继续作为策略基线。

在检查点上，中性继续修复了 14/16 个 Flash 失败和 16/16 个 Pro 失败，正确交付 20/22 和 22/22 个起点。程序门控交付 17/22 和 16/22；在线门控交付 20/22 和 21/22。自然结尾包含 20/22 个 Flash 成功和 22/22 个 Pro 成功。中性继续在不发出变更请求的情况下保留它们，并再次正确交付 20/22 和 22/22。中性继续在这些笼统反馈策略中设定了最高的正确交付水平。中性继续相对程序门控的成对正确交付增益，在每个队列中 Flash 为 13.64 个点 $[0.00,27.27]$，Pro 为 27.27 $[9.09,45.45]$。

#### 追踪一个观察到的策略后果（附录 C）。

在 Linear45 案例研究中，一个程序拒绝了一次对当前 Backend 团队的正确指派。在笼统拒绝之后，行动者把两个事项移到旧团队；程序接受并放行了由此产生的失败。中性继续保留了正确状态。Linear41 在通过源面板之后提供了第二次已交付的回退；Linear44 在标签唯一性规则下提供了一个被扣留的案例。这些轨迹把拒绝、编辑和交付暴露为分开的事件。分析单位是完整的门控策略，它把接受决策、笼统反馈和停止结合在一起。

4.3. 共享结果上的接受剖面

固定实例测试描述伴随复用与执行的运行剖面。限制性接受模式与 VerifierBench 一致（Yin et al., 2026）：生成的程序拒绝无效结果，比接受有效替代方案更可靠。这里 B4/B12 表示四次/十二次调用的程序构造，API12/JSON12 表示带有普通/结构化输出的十二次调用在线判断。以下比较使用 Flash。

图 5. 任务级错误接受分布。淡色曲线是对至少有十项任务的组的归一化形状引导。大点和误差条保留发布的均值和 95% 家族自助区间。程序接受与在线接受在身份、集合完整性、关系方向、保留和值故障上进行比较。每种方法和每个类别都同时出现失败状态拒绝和有效锚点接受。

图 6. 重复检查成本。上：80/83 个匹配的 Flash/Pro 单元。下：摊销的 $c+C/k$ 与四分位带，包括行动者前缀成本。Flash 自然在线使用 21 条完整记录；其余每个 P2 单元格使用 22 条。经验盈亏平衡分布和四条摊销曲线暴露构造、热运行和所记录的比较成本。

集合比较使用相同的之前/之后状态，以及同一套显式条件参照标签：跨 36 项任务和 29 个家族的 99 个失败状态和 36 个成功锚点，每种方法两次观察。B12 的错误接受为 3.5%，API12 为 31.7%，成对任务均值差异为 $-28.2$ 个点（95% 家族自助区间 $[-40.7,-16.7]$）。有效锚点接受为 77.8% 对 98.6%。图 5 同时保留两种结果以及每个均值背后的分布。

在共享的自然面板上，B12 的 BA 为 92.1 [87.7, 95.9]%，API12 的 BA 为 99.0 [97.7, 99.9]%；锚定的困难套件给出 87.1 [80.6, 93.6]% 和 96.2 [93.8, 98.1]%。在 24 状态计时面板上，独立评估的中位数对 B12 为 0.58 秒，对 API12 为 20.69 秒。这些剖面量化选择性、有效解覆盖和重复检查延迟。它们补充成对复用测量和执行测量。

4.4. 构造成本与复用期限

重复使用把创建程序的固定成本与调用它的成本分开。匹配的 P1 费用比较包含来自 43 个家族的 80 个 Flash 单元，以及来自 44 个家族的 83 个 Pro 单元，三种构造及其在线判断的费用均已知。源构造成本的中位数为 0.0173/0.0765 美元。对相应 9 状态或 12 状态面板做一次新鲜在线遍历的成本为 0.0188/0.0980 美元。把每个构造相对平均在线费用的比率向上取整，得到 API 费用盈亏平衡期限的中位数：Flash 为十二次评估，Pro 为十次，范围分别为 2–29 和 2–36。

对于 P2，令 $C$ 为被指派的构造费用，$c$ 为观察到的行动者前缀与分支成本。在使用 $k$ 次时的摊销费用为 $c+C/k$，热运行成本为 $c$。图 6 把由此产生的部署视图放在在线门控和中性继续旁边。在十次使用时，Flash 程序门控的均值对自然结尾为 0.0195 美元，对检查点为 0.0189 美元。它们的冷均值分别为 0.1396 美元和 0.1390 美元。Pro 对应的十次使用均值为 0.0509 美元和 0.0478 美元。因此，构造与持续执行在成本比较中扮演不同角色。

复用期限补充接受剖面和交付剖面。当规则覆盖所需结果时，低成本调用是有用的；而当有效完成方式多变时，一个区分度很高的评判器可以证明重复推理是合理的。观察到的策略分支进一步表明，构造摊销与下游正确性是分开的测量。发布的账本对每个请求只计一次；策略视图显式分摊共享前缀和被指派的构造。配套材料保留每一条冷、热和摊销的策略记录。

5. 使用该基准

AgentProofBench 支持三种具体的评测工作流。一个验证器生成器可以在同样的自然结尾、合法替代方案和有类型的失败上被测试，以建立其接受剖面。它的冻结输出随后可以在匹配的初始状态需求下被评估，同时使用完整面板正确性和联合见证正确性。最后，所记录的行动者起点支持比较消费这些判定的策略，分别测量已完成的工作、持久的变更和被交付的状态。

该资源通过稳定的任务、家族、程序和状态身份把这些工作流连接起来。每一次错误接受都链接到一个被违反的参照条件；每一次迁移错误都链接到一个源程序和目标重建；每一个执行结果都链接到门控决策和后续请求。因此，生成器的一项改进，可以对照它应当恢复的已改变需求，以及它应当支持的策略结果来评估。

配套材料的 Evidence Index 提供接受、复用和执行的入口。规范快照和精确的行级差值重建已保存的状态。verify(task, before, after) 接口在不调用模型的情况下评估冻结程序。

6. 结论

AgentProofBench 连接可复用网页智能体验证的两项要求：恢复当前的任务义务，以及支持后续执行。成对的初始状态和重放见证测试第一项；共享的行动者历史和程序级结果链接测试第二项。在 DeepSeek Flash/Pro 研究中，部署状态面板正确性识别出 32/33 次其两个起点被正确交付的指派，相比之下含有面板错误的指派为 1/11。中性继续为门控价值的测量提供锚点，而接受剖面和摊销成本描述运行选择。发布的 97 项任务资源使这一链条可复现：从一条已改变的需求，到一条被测试的规则，再到其观察到的执行后果。

参考文献

• Barr et al. (2015) E. T. Barr, M. Harman, P. McMinn, M. Shahbaz, and S. Yoo 《软件测试中的预言机问题：一项综述》。IEEE Transactions on Software Engineering 41 (5), pp. 507–525. 外部链接（文档与链接）：Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Chen et al. (2022) B. Chen, F. Zhang, A. Nguyen, D. Zan, Z. Lin, J. Lou, and W. Chen CodeT：带生成测试的代码生成。外部链接（文档与链接）：2207.10397, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Chen et al. (2026) B. Chen, H. Liu, and S. Zhang WebGrader：用自我演化的程序化评分器训练用于网页开发的大语言模型。外部链接（文档与链接）：2608.06474, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Cui et al. (2026) C. Cui, J. Huang, S. Wang, L. Zheng, Q. Kong, and Z. Zeng 智能体式奖励建模：经由渐进的、以轨迹为根据的交互来验证 GUI 智能体。外部链接（文档与链接）：2602.00575, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Dastidar (2026) A. Dastidar 智能体可靠性从何而来？对一个生产级企业智能体中验证循环、专家模型和脚手架的跨基准分解。外部链接（文档与链接）：2607.17044, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Iyengar (2026) S. Iyengar 采样、混合，还是验证？在不完美验证器下分配测试时计算。外部链接（文档与链接）：2610.23255, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Kwok et al. (2026) J. Kwok, S. Li, P. Atreya, Y. Liu, Y. Jiang, C. Finn, M. Pavone, I. Stoica, and A. Mirhoseini LLM-as-a-Verifier：一个通用验证框架。外部链接（文档与链接）：2607.05391, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Lù et al. (2025) X. H. Lù, A. Kazemnejad, N. Meade, A. Patel, D. Shin, A. Zambrano, K. Stańczak, P. Shaw, C. J. Pal, and S. Reddy AgentRewardBench：评测对网页智能体轨迹的自动评估。外部链接（文档与链接）：2504.08942, Document, Link 被引位置：§1, §2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Ma et al. (2023) Y. J. Ma, W. Liang, G. Wang, D. Huang, O. Bastani, D. Jayaraman, Y. Zhu, L. Fan, and A. Anandkumar Eureka：经由编写大语言模型达到人类水平的奖励设计。外部链接（文档与链接）：2310.12931, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Ning et al. (2026a) J. Ning, X. Li, Y. Kong, and D. Li ControlScope：大语言模型智能体中的工作流修订与可靠性。外部链接（文档与链接）：2609.34313, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Ning et al. (2026b) J. Ning, X. Li, and C. Yu 修订还是重新求解？分解多 LLM 流水线中的第二遍增益。注：Conference on Language Modeling (COLM) 外部链接（文档与链接）：2604.01029, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Ning et al. (2026c) J. Ning, G. Zhao, C. Xu, S. Zhong, X. Li, J. Zeng, and G. Ke 从规则到工具：科学计算中大语言模型智能体的可执行检查。外部链接（文档与链接）：2610.00313, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Ning et al. (2026d) J. Ning, S. Zhong, X. Li, J. Zeng, and C. Xiong 实现抽签：审计自动化研究中的想法可靠性。外部链接（文档与链接）：2607.26587, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Ning et al. (2026e) J. Ning, S. Zhong, X. Li, and J. Zeng 分数本身不能证明发现：用于审计 AI 研究智能体的发现认证协议。外部链接（文档与链接）：2609.09219, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Pyskło et al. (2026) H. M. Pyskło, A. Zhuravel, and P. D. Watson Agent-Diff：通过带有基于状态差分评估的代码执行，在企业 API 任务上评测大语言模型智能体。载于 Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining, New York, NY, USA, pp. 9707–9717. 外部链接（文档与链接）：Document, Link 被引位置：§1, §2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Rosset et al. (2026) C. Rosset, P. Sharma, A. Zhao, M. Gonzalez-Fernandez, and A. Awadallah 为计算机使用智能体构建验证器的技艺。外部链接（文档与链接）：2604.06240, Document, Link 被引位置：§1, §2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Sanayei et al. (2026) R. Sanayei, R. Dumitru, S. Hou, M. Rezaei, H. Riaz, R. Vacareanu, M. Yang, Y. Liu, M. Surdeanu, and D. Y. Zhang 证据优先的智能体式验证。外部链接（文档与链接）：2610.17724, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Shi et al. (2026) W. Shi, Y. Wang, Y. Zhao, Y. Chen, F. Feng, X. Hao, X. Su, Q. Gu, H. Su, X. Cai, and X. He AJ-Bench：为具备环境意识的评测，对 Agent-as-a-Judge 做基准测试。外部链接（文档与链接）：2604.18240, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Suh et al. (2026) H. Suh, T. M. Nguyen, C. Lee, D. Hartman, L. Liu, X. E. Wang, A. Li, and J. Yang 神经符号计算机使用：为可靠且高效的执行学习可复用策略。外部链接（文档与链接）：2609.36927, Document, Link 被引位置：§1, 图 2, §2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Trivedi et al. (2024) H. Trivedi, T. Khot, M. Hartmann, R. Manku, V. Dong, E. Li, S. Gupta, A. Sabharwal, and N. Balasubramanian AppWorld：一个由应用与人组成的可控世界，用于评测交互式编码智能体。外部链接（文档与链接）：2407.18901, Document, Link 被引位置：§1, §2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Wei et al. (2026) J. Wei, Q. Ma, Y. Zhao, X. Zhou, K. Ni, G. Gan, and A. Cohan OpenComputer：面向计算机使用智能体的可验证软件世界。外部链接（文档与链接）：2605.19769, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Xie et al. (2024) T. Xie, D. Zhang, J. Chen, X. Li, S. Zhao, R. Cao, T. J. Hua, Z. Cheng, D. Shin, F. Lei, Y. Liu, Y. Xu, S. Zhou, S. Savarese, C. Xiong, V. Zhong, and T. Yu OSWorld：在真实计算机环境中为开放式任务评测多模态智能体。外部链接（文档与链接）：2404.07972, Document, Link 被引位置：§1, §2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Yao et al. (2024) S. Yao, N. Shinn, P. Razavi, and K. Narasimhan $\tau$-bench：真实世界领域中工具—智能体—用户交互的基准。外部链接（文档与链接）：2406.12045, Document, Link 被引位置：§1, §2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Yin et al. (2026) J. Yin, Z. Chen, H. Wang, Y. Sun, Z. Jin, D. Song, and D. Zhang VerifierBench：评测为大语言模型智能体生成可执行验证器。外部链接（文档与链接）：2610.28679, Document, Link 被引位置：§1, 图 2, §2, §4.3. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Zeng et al. (2026) C. Zeng, Z. Zhong, K. Zhang, I. Bercovich, I. Segal, Y. Mao, S. Saxena, and A. Raghunathan 面向智能体环境的可扩展弱到强验证器加固。外部链接（文档与链接）：2610.15924, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Zhang et al. (2026a) C. Zhang, R. Han, Z. Wang, Z. CuiZhu, N. Collier, T. Pfister, and C. Lee VeriHarness：为长程任务扩展智能体式验证。外部链接（文档与链接）：2610.00972, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Zhang et al. (2026b) J. Zhang, L. Ma, Y. Yang, Z. Xi, Z. Lei, Y. Yang, C. Liao, E. Zhou, Y. Nan, Y. Tian, S. Jin, Y. Wang, W. He, B. Liu, J. Huang, X. Guo, S. Jiang, Z. Hao, X. Liang, Z. Zhang, C. Zhou, W. Zhou, T. Gui, Q. Zhang, X. Huang, and Clarenceai 为长程工作智能体扩展可验证环境。外部链接（文档与链接）：2610.04906, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Zhang et al. (2026c) Y. Zhang, Y. Dai, V. Prabhu, Z. Hu, R. Xu, and Z. Chen CLIFT：用于网页智能体训练与测试时扩展的共形自验证。外部链接（文档与链接）：2610.06829, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Zhong et al. (2026a) S. Zhong, Y. Lu, J. Ning, Y. Wan, L. Feng, Y. Ao, L. F. R. Ribeiro, M. Dreyer, S. Ammirati, and C. Xiong SkillLearnBench：在真实世界任务上评测智能体技能生成的持续学习方法。外部链接（文档与链接）：2604.20087, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Zhong et al. (2026b) Z. Zhong, M. Chen, A. Fang, Y. Zhang, H. Tian, L. Briand, B. Yu, and P. He SpecGuardBench：编码智能体能从自然语言规范构造可靠的验证工具链吗？外部链接（文档与链接）：2610.16870, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Zhou et al. (2023) S. Zhou, F. F. Xu, H. Zhu, X. Zhou, R. Lo, A. Sridhar, X. Cheng, T. Ou, Y. Bisk, D. Fried, U. Alon, and G. Neubig WebArena：一个用于构建自主智能体的真实网页环境。外部链接（文档与链接）：2307.13854, Document, Link 被引位置：§1, §2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

• Zhuge et al. (2024) M. Zhuge, C. Zhao, D. Ashley, W. Wang, D. Khizbullin, Y. Xiong, Z. Liu, E. Chang, R. Krishnamoorthi, Y. Tian, Y. Shi, V. Chandra, and J. Schmidhuber Agent-as-a-Judge：用智能体评估智能体。外部链接（文档与链接）：2410.10934, Document, Link 被引位置：§2. 作者姓名、文献编号与 arXiv 号保留原文，题名、刊名或会议名、页码与被引章节已译出。

图 7. 四种互补的证据视图。计数针对每个面板；成功锚点可以被共享。自然面板使用冻结的六状态上限，并有 72 项双类别任务。图示的自然轨迹、原生前缀、有针对性的故障和合法替代方案展示有效/失败计数以及任务/家族支持。

附录 A 复现与参照

环境使用 Agent-Diff 修订 3bb9c407。快照客户端暴露 request、get、post 和 graphql；宿主提供认证，并把公共目录挂载在 /input/api_docs.json。Python 3.12 沙箱提供只读文件系统、有界的暂存空间和一个非特权用户。资格认定可以通过原始内容作者的普通 API 行动，然后在保存状态之前恢复任务行动者。

配套材料的 Evidence Index 把接受语料、成对复用面板、执行起点、跨状态判断及其冻结协议映射到规范制品。它的 README 提供评估与复现命令。原始代码和注释使用 MIT；上游声明一并包含。

自然状态选择流程是 776 次已解决尝试 $\rightarrow$ 697 个唯一终态快照 $\rightarrow$ 556 个主面板状态（452 个成功，104 个失败）。其余 141 个唯一状态包含 138 个成功和三个失败，并进入全尝试敏感性分析。主面板按参照类别对每项任务至多采样六个状态，与验证器预测无关。

显式接受视图在检查更早结果之后排除 slack_105、box_159 和 calendar_172。它们未声明的边界涉及一段完成文本的跨度、被保留章节周围的格式，以及事件标题相对与会者短语。全部原始 100 项任务的输出仍然可用。显式保留视图改变七项 Linear 任务上的 19 个有类型状态标签，把负例任务支持从 61 降到 54。

程序构造和重复在线判断有分别冻结的执行协议。它们所报告的集合比较，在 36 项任务和 29 个家族上使用相同的 99 个失败状态、36 个成功锚点、之前/之后参照和显式条件标签。共享标签映射把合格的基础清单与有类型的扩展结合起来；两种方法对每个状态都有两次观察。该扩展把各分类上的有类型负例总数从 177 增加到 254。两套执行协议都针对这一共享输入集评分。成对的集合对比是描述性的家族自助区间；预先规定的假设检验关注复用减重建 BA。

#### 以 LLM 为评判的语义审计。

GPT-6 Astra（gpt-6-astra，xhigh）在三次并行的全新上下文会话中审阅一个预先存在的分层数据包，每个案例一次初始判断。输入包括公开指令、之前/之后业务表，以及在可用时的比较初始状态。Python 支持检索、身份解析、字节解码和算术。参照标签和验证器输出在全部判断保存之前被扣留。这 195 个唯一状态覆盖 62 项任务：48 个相关完成、48 次重放、66 处源/参照分歧、十二处程序/在线分歧、六个回退端点，以及每个结果面板四个状态；有一个状态属于两个层。

在已解决案例中，一致率为 191/192（99.5%，Cohen 的 $\kappa=0.989$），或在整个数据包上为 191/195。三个案例不确定：两个涉及引号定界符，一个要求超出其已满足终态条件的 Range-read 过程证据。已解决的分歧是 Linear44 被扣留的结尾：参照要求一个在用的硬件失败标签，而 Astra 接受所请求的事项以及一个额外的、未使用的匹配标签。在任一解释下，其交付仍然被扣留。两次已交付的回退，Linear41 和 Linear45，都与语义审阅一致。发布的审计保留每一次首遍标签、理由、参照比较和调和；基准分数保留冻结的参照标签。

#### 一个从指令到参照的完整例子。

原始 linear_52 指令照录如下。

Create a new Garden Plots issue titled ‘Spring 2025 Plot Reassignment Tracker’ with description ‘Documenting all plot changes for the growing season. Reassignments finalized at March board meeting.’. Set the existing ‘Plot A7 - Tomatoes’ assignee to Ines and status to Active. Set the existing ‘Plot B3 - Herbs’ assignee to Rashida and keep its initial status. Set the existing ‘Plot C1 - Squash’ status to Dormant and leave it unassigned.

参照要求新事项和确切描述、所请求的 A7 受派人与状态、B3 受派人与被保留的初始状态，以及 C1 状态和空的受派人。相关状态准备在执行之前把 B3 从 Active 改为 Dormant。它的保留谓词变为 $\mathrm{status}_{after}(B3)=\mathrm{status}_{before}(B3)=\texttt{Dormant}$。把 B3 改回 Active 会使该谓词失败。完整的之前/之后状态和 API 观察链接在发布的案例记录中。

动态资格认定从 64 个原始家族搜索 73 项候选任务，保留来自 51 个家族的 57 项任务，并使用冻结的清单顺序和服务覆盖规则选出正式的 48 家族队列。相异性要求不同的业务行为。重复的合法结果在全部三种初始状态上被一致地省略；六项单正例任务在每种条件中保留一个有效角色和两个失败角色。Box123 和 Box163 的源标签集为空，因此它们的重放见证测试对新出现标签的保留。Box117 的主要故障改变一个文件夹名，其见证测试原先的父级绑定。Box155 的面板每个域有一个 CSV；完整记录标识对应的分支覆盖。

附录 B 统计协议

家族自助使用 10,000 次重采样，并在任务内对副本取平均。完整的共同面板定义每一个成对估计。Unknown 和 Error 留在其分母中，正确性得分为零。BA 要求有效结果和失败结果；源见证接受和相关见证错误接受使用各自的类别。两项预先规定的相关复用减重建对比使用中心化自助检验，并做 Holm 调整。受控面板在其声明的结果混合下测量区分度；自然队列测量所记录的行动者结尾。图 3 展示它们的区间；Holm 调整后的 $p$ 值对 Flash 为 0.4350，对 Pro 为 0.1254。源变化、分层、见证计数、跨构造结果和执行策略比较是带有逐点区间的额外诊断。面板—交付关联是对冻结指派的探索性分析。它的自助重采样 22 个任务家族，保留两个行动者指派和两个起点；10,000 次抽取中有 9,999 次同时包含两个面板组。该统计量是如下分数之差：两个起点都被正确交付的指派所占的比例。

程序级转移表使用每个模型的全部 96 个源程序。Flash 有 83 个在源面板和相关面板上都正确，六个只在源上正确，七个在两边都有错误。Pro 有 80 个在两边都正确，三个只在源上正确，一个只在相关上正确，十二个在两边都有错误。背景变化保留全部源合格程序。无条件计数保留来自 Box130 的、语法失败的 Pro 程序。

图 8 测量每一种构造条件的正向与反向迁移。Evidence Index 链接六类别分解和家族支持。发布的表还包括有效接受、错误接受、Unknown、Error、程序一致性和见证裁决配对。源见证的条件接受有 92 个 Flash 和 89 个 Pro 合格程序，覆盖 47 个和 48 个家族。它们不同于源面板支持的 89 个和 83 个程序、覆盖 45 个和 46 个家族，因为两项诊断确立的前提不同。相关重建接受 5/96 个 Flash 和 2/96 个 Pro 失败重放见证。

图 8. 完整的构造/评估矩阵。圆的颜色在共同的 80–100% 标尺上给出任务平均 BA；全部 18 个值都保留两个副本和 48 个家族。带轮廓的单元格评估与构造所用相同的条件。该矩阵包含 6,696 次程序预测。两张三乘三圆图展示 Flash 和 Pro 的定向跨条件表现。

附录 C 策略结果与成本

八个家族的开发门控使用十六条轨迹，并在中性、笼统清单或公开证据反馈下做一次继续。完整性必须至少在六个家族上成立，成功起点和失败起点各自至少覆盖三个家族。一个反馈臂若在至少六个家族上产生变化，并在至少五条不同轨迹上产生参照转移，即获资格。中性反馈以七个家族上的变化和十三条轨迹上的修复满足这些准则，从而选定正式的四策略设计。正式检查点规则保留失败的、幂等的和已经完成的变更回合，并且全部 44 条轨迹都提供一个可用检查点。

图 4 给出 352 个策略结果，自然队列和检查点队列分开；图 6 给出成本视图。冷、热和十次使用费用保留共享的行动者前缀，并使用相同的完整用量记录。一次 Linear29 连接超时使 Flash 自然在线费用未知，并扣留一个成功结果。

每个固定继续阶段收到这条消息。

Continue checking and completing the original user request. Preserve valid work already completed.

两种门控策略在未接受之后收到下面这条消息。

The acceptance check has not accepted this outcome. Continue checking and completing the original user request. Preserve valid work already completed.

源面板资格认定保留 17 个 Flash 指派和 19 个 Pro 指派。程序门控和中性继续在每个队列中各自正确交付 16/17 个 Flash 指派；全部四次 Flash 扣留都发生在这一源合格组之外。对 Pro，对应计数为 16/19 和 19/19。源资格认定之后仍有两次自然回退。部署状态面板正确性提供正文中所报告的更细分离。

在一个失败的 Linear41 Flash 检查点上，在线门控返回 Pass，而新鲜的 Pro 对相同快照返回 Fail。

这些消息使用同一个原始任务和已保存的交互历史。源合格分析过滤已有指派并保留其观察到的结果。相关重建裁决使用已有的同状态交叉检查；它们测量一种替代的初始接受决策。

实际的继续阶段有 278 个。在自然结尾，程序门控发出 19 个 Flash 和九个 Pro 变更请求，其中十五个和九个成功。在检查点，固定继续对 Flash/Pro 发出 49/57 个请求，成功 45/57；程序门控发出 49/65，成功 48/65；在线门控发出 47/62，成功 45/62。三次 Pro 自然回退发生在 Linear41、Linear44 和 Linear45，分别有四次、三次和两次成功变更。案例索引链接全部三段历史、源检查和参照失败。

交叉诊断在 207 个状态上记录 2,484 个程序分数和 195 次新鲜 Pro 判断。被指派的源 Pro 相对新鲜 Pro 的一致性，在自然结尾对 Flash/Pro 行动者为 81.82%/75.00%，在检查点为 85.23%/76.14%，均在锚点和任务内平均之后。在线门控比较使用来自 87 个锚点的 121 个已解码状态配对上的 124 次匹配观察。它的两次未匹配的中间观察属于仅程序集合。该资源保留它们的身份以及全部四乘四裁决计数。

两个实验模型都使用温度零并关闭思考，请求 deepseek-flash 和 deepseek-v4-pro。构造和 API12 每轮允许 32,768 个输出词元；行动者允许 4,096，开发中的公开反馈调查允许 2,048。账本记录所请求和返回的别名，以及 2026 年 10 月 24–25 日的 UTC 时间。参照开发使用 gpt-6.1-sol，推理努力为 xhigh。

发布的账本保留重试、未解决用量、被中断的构造和重建来源。这些记录支持复现，并与策略成本比较分开支持费用核对。

图 9. 每一个被指派的程序都链接到它的执行结果。水平位置给出相关面板错误；实心标记通过每一项源面板测试。圆表示自然结尾，菱形表示检查点，星号标记由参照定义的回退。颜色给出正确、不正确或被扣留的交付。标签标识任务和副本；曲线把同一次指派的起点配对。全部 22 个任务配对都保留源资格、相关面板错误、副本身份，以及观察到的交付的两个队列。

附录 D 构造与归档

在原始构造研究中，SelfReview 使用指令和文档，InitialRead 增加初始状态 API 读取，Bounded 增加执行反馈。B4 和 B12 表示四次和十二次调用的构造预算。InitialRead 减去 SelfReview 使自然 BA 对 Flash 提高 12.0 [4.2, 20.4] 个点，对 Pro 提高 12.3 [4.2, 20.8] 个点。该资源保留思考模式、构造预算和工作流比较及其完整区间。

源诊断检查来自 22 个程序的 149 次错误拒绝：109 个表示/标识符案例，八个被省略的合法替代方案，七个精确匹配约束，九个未被请求的保留条件，以及十六个其他任务绑定错误。由 gpt-6.1-sol 协助的、针对规则的编辑，把全部 149 个被检查的决策改为接受。十八个可用的负对照在之后返回 Fail，之前为十七个；四个受影响的程序没有合格对照。这一诊断在被检查的案例和可用的负对照上评估这些编辑；重放使用已保存的制品。所有基准分数都使用原始的冻结预测。

归档的试点包含来自十一个家族的十二项任务、一个匹配的四状态目标面板、一个分开的两状态源探测，以及 96 个策略结果。它的 34 次继续发出零个变更请求。正式实验使用它自己的家族队列、匹配的三条件面板，以及已保存的检查点分支。