CUA-Recovery：评测长程计算机使用 Agent 的错误恢复

CUA-Recovery：评测长程计算机使用 Agent 的错误恢复

Xu Hu, Haoming Li, Yuxiang Wang, Jinxin Yang, Kangshuo Li, Licheng Wang, Dingyi Kang, Jiayu Song, Tianhao Wang, Zhanhua Hu, Xu Yang, Qiannan Li, Bingzhe Li, Feng Chen。University of Texas at Dallas、Independent Researcher、University of Manchester、Rice University、University of Texas at Austin、University of California, Davis。

译注：CUA 是 computer-use agent 的缩写，指通过截图、鼠标、键盘和命令行操作桌面应用的计算机使用 Agent。下文保留 CUA、ReRail、EAR、Pass@3、Rubric Score 等原文术语。

摘要

当计算机使用 Agent（computer-use agents，CUA）进入跨越多个应用的长程工作流时，未被发现的错误会悄悄破坏持久状态，并在后续动作中引发连锁失败。可靠的错误检测与恢复因此成为构建稳健 CUA 的关键瓶颈。然而，现有基准主要关注端到端任务表现，几乎不能说明 Agent 在执行过程中能否发现并修复错误。少数评测恢复能力的基准，又大多依赖人工注入的错误，这些错误未必反映真实策略所诱发的失败类型或失败跨度。这种错配既限制了贴近现实的评测，也限制了系统性的进展。本文提出 CUA-Recovery，一个覆盖多种桌面应用、同时包含测试集与训练集的基准。我们用 ReRail 构建该基准。ReRail 是在持久桌面环境中合成长程任务与轨迹的框架。它把 MyPCBench 的任务组合成带有可执行真值的新长程工作流，从多种策略中收集经验证器确认的失败，再把这些失败变成经过验证的恢复轨迹。由此得到的 CUA-Recovery 包含：覆盖 100 个任务、共 2,250 个错误状态的人工核验测试集，以及覆盖 377 个任务、共 8.6K 条轨迹的训练集。测试集上的评测表明，Agent 既难以识别继承来的错误，也难以完成任务。在六个 Agent、六种接管深度上，错误察觉率（Error Awareness Rate，EAR）最高只有 44.0%，Pass@3 最高只有 25.5%。在训练集上微调 Qwen3.5-35B-A3B 之后，它在留出的恢复状态上的平均 EAR 从 19.9% 升到 35.2%，Rubric Score 从 5.0% 升到 16.1%。它在 MyPCBench 上的 Pass@3 还提高 15.3 个点，在 Odysseys 上提高 10.8 个点，说明这些训练轨迹既有助于恢复，也有助于从干净起点完成任务。代码见 https://github.com/xu-hu-2002/CUA-Recovery。

1 引言

计算机使用 Agent（CUA）通过截图、鼠标、键盘和命令行操作桌面应用，现在接受的评测已经是跨越许多应用、长达数百步的工作流。OSWorld 2.0 把典型任务从大约 30 次工具调用提高到 300 次以上（Yuan et al., 2026），Agents’ Last Exam 收集了大约 1,500 条专业工作流（Sun et al., 2026b）。在这两个基准上，最好的 Agent 拿到的部分分数远高于完整完成：OSWorld 2.0 上是 77.7% 对 44.3%，Agents’ Last Exam 上是 59.3% 对 34.2%。1

1 公开排行榜，访问于 2026 年 9 月：https://snorkel.ai/leaderboard/os-world-2-0/ 与 https://snorkel.ai/leaderboard/agents-last-exam/。

Agent 因此常常做完任务的大部分，却在少数几步上失败。原因在于持久状态：早期的错误动作被写进文件、电子表格或数据库，后续步骤又建立在这个结果之上。错误发生时很少看得见；它要许多步之后才浮现，而造成它的那一步早已离开 Agent 的上下文。图 1 是一个真实案例：Kimi-K3 在第 3 步没能打开订单历史，之后一直建立在这个错误之上，直到第 43 步错误才显现，而 Agent 却错误地报告任务完成。在这类任务里，Agent 能否注意到并修复自己的错误，决定了它能否完成任务。

图 1：案例研究：从真实的、由策略诱发的错误中恢复。用户要的是自己常点的 Sweetgreen 订单。上：Kimi-K3 没有注意到错误，也没有恢复。下：ReRail-35B-A3B 在根因步骤接管，发现错误并完成恢复。

在训练一侧，恢复需要这样的轨迹：错误从发生一直被跟踪到修复。Agent 犯下一个错误，这个错误在许多步里不被察觉，之后 Agent 才找到并修好它。现有 CUA 训练集只捕捉了这个过程的一部分（表 1）。它们的轨迹平均只有 3.8–39.3 步，而且很少跨越多个应用（有报告的最高比例是 26.1%）。即便包含错误，这些错误也来自人类示范、合成注入或自我报告，而不是执行策略自己产生的失败。GUI-Reflection 是唯一带有显式纠正的数据集，但每次纠正都紧跟在单个被注入的错误之后。CUA-Recovery-Train 填上这个缺口：轨迹长 60 步，其中 67.5% 跨越多个应用。每条轨迹都从一个由策略诱发的失败开始，保留中间那段错误历史，并以验证器确认的恢复结束。

表 1：与现有 CUA 训练集的比较。Recovery 表示数据是否包含错误纠正：Single-step 纠正紧跟在被注入的错误之后；Verified 恢复从真实失败前缀出发，并且只有验证器确认任务完成才被保留。

在评测一侧，长程基准只给最终结果打分，因此说不清 Agent 沿途是否发现并修好了自己的错误。现有数据集和基准在三个方面不同于真实的长程失败。（1）覆盖。大多数数据集只有完美轨迹；含有错误的那些，错误来自人类示范、注入或自我报告的失败，而且大多是无效点击这类低层执行错误（Wang et al., 2025; Wu et al., 2025; Jung et al., 2026）。我们标注了六个 Agent 在 CUA-Recovery-Test 中的 619 次失败，发现真实错误主要出在决策：规划与感知占根因的 57.3%，而执行错误占 AgentNet 根因的 84.3%、占 GUI-Reflection 根因的 71.2%（图 3a）。（2）跨度。现有轨迹很短，错误在发生的那一步就可见；而我们标注的错误中，78.1% 要在根因之后三步或更晚才显现，中位数是 17 步（图 3b）。（3）界面。真实的计算机工作是混合的：Agent 通过 GUI 查看视觉状态，又通过命令行做精确的批量操作，两者作用在同一份应用状态上。现有资源在这个设定上有两处不足。第一，训练数据大多是 GUI 动作（表 1），因此在其上训练的模型很少看到两种界面一起使用。第二，打分常常依赖截图，但前沿 Agent 在命令行可用时更愿意用命令行，因而很少甚至不产生截图。在 MyPCBench 上，一旦评判同时阅读终端输出、工具调用返回、GUI 动作日志和截图，GPT 5.5 就从官方报告的 45.1% Perfect Pass（Jang et al., 2026a）升到 85.0% Pass@3。基于截图的打分因此低估了这类 Agent，也无法公平比较以不同方式交互的 Agent。

图 2：方法与基准总览。

这三处缺口推动了本文的工作。首先，我们提出 CUA-Recovery，一个面向长程计算机使用中错误恢复的基准（图 2）。它的测试集 CUA-Recovery-Test 包含覆盖 100 个任务的 2,250 个经人工核验的错误状态，来自六个 Agent 的 619 次失败 rollout。Agent 在根因之后 0 到 25 步接管每个状态，而且不会被告知发生过错误。我们报告它是否注意到继承来的错误（错误察觉率 EAR）、完成了多少任务（Rubric Score），以及三次运行中是否有一次完成任务（Pass@3）。评判同时阅读终端输出、工具调用和截图，因此通过 GUI 行动和通过命令行行动的 Agent 按同样标准计分。它的训练集 CUA-Recovery-Train 包含覆盖 377 个任务的 8.6K 条经过验证的恢复轨迹。

其次，我们用 ReRail 构建 CUA-Recovery。ReRail 从真实失败中合成恢复数据。它把每个种子任务转成可执行的中间表示，其黄金谱系在每一步都固定正确取值，再把这些任务组合成共享持久状态上的长程多应用工作流。黄金谱系使得不必再注入错误。若干 Agent 通过 GUI 和 CLI 执行这些工作流；ReRail 只保留任务验证器确认的失败，对照黄金谱系定位每个根因，并在根因之后的若干深度处切开 rollout。因此每个错误状态都来自 Agent 自己的决策，接管深度也受到控制。训练时，基座模型 Qwen3.5-35B-A3B 在特异性逐步提高的提示下，从每个切点继续执行。只有验证器确认完成任务的续写才会被保留，提示随后被去掉，于是模型学到的是在无人告知的情况下注意到并修复错误。

在 CUA-Recovery-Test 上，六个 Agent、全部接管深度的 Pass@3 最高只有 25.5%，而且干净起点上的成功并不意味着能够恢复：Kimi-K3 从零开始能解决 MyPCBench 任务的 66.9%，但在自己的失败里最多只注意到 18.5% 的错误。值得注意的是，在 CUA-Recovery-Train 上训练缩小了这个差距。ReRail-35B-A3B 比它的基座模型恢复得更好，在较早的接管深度上超过了 Kimi-K3 对自己失败的恢复，并把干净起点的 Pass@3 在 MyPCBench 上从 9.2% 提高到 24.5%，在 Odysseys 上从 24.1% 提高到 34.9%。

总之，我们的贡献是：

• CUA-Recovery：一个从长程、有状态的计算机使用工作流中真实策略失败构建的评测与训练基准，测试集有 2,250 个经人工核验的状态，训练集有 8.6K 条经过验证的恢复轨迹。
• ReRail：一条流水线，把种子任务组合成带黄金谱系的长工作流，并把验证器确认的 Agent 失败变成测试状态和经过验证的恢复。
• 一项受控研究，表明很强的干净起点表现并不意味着可靠的恢复，而在 CUA-Recovery-Train 上微调能同时改善恢复和干净起点表现。

2 相关工作

面向稳健 CUA 的长程基准。

CUA 基准衡量定位（Cheng et al., 2024; Li et al., 2025）、离线轨迹上的步骤准确率（Zheng et al., 2024; Li et al., 2024; Lu et al., 2025c），以及在线环境中的端到端成功（Bonatti et al., 2024; Xie et al., 2024; Rawles et al., 2025）。近期基准拉长了跨度：MyPCBench（Jang et al., 2026a）在持久的多应用状态上构建以人物设定为根据的工作流，OSWorld 2.0（Yuan et al., 2026）收集人类需要一个小时以上的任务，Agents’ Last Exam（Sun et al., 2026b）覆盖 55 个子领域的专业工作流。这些基准报告任务成功和部分得分。稳健性基准施加外部设计的压力，例如扰动和注入故障（Zhao et al., 2025; Yang et al., 2025b; Bai et al., 2026; Chen et al., 2025; Liu et al., 2026a; Sun et al., 2026a）或对抗内容（Liao et al., 2025）；AgentErrorBench（Zhu et al., 2025）分析基于文本的 LLM Agent 的失败。与本文最接近的是 Bu et al. (2026)，他们研究短程 GUI 任务上由策略诱发的错误恢复；由于他们的数据未公开，我们只与他们报告的统计比较（图 3a）。CUA-Recovery 衡量的是 Agent 在任务中途接管之后，能否发现并修复一个真实错误：错误状态来自 Agent 自己的长程失败，接管点可以放在根因之后最多 25 步，超出 Agent 的视觉上下文。

训练稳健 CUA 的数据。

CUA 在人类示范（Rawles et al., 2023; Deng et al., 2023; Wang et al., 2025）和合成轨迹（Xu et al., 2025; Pahuja et al., 2025; Trabucco et al., 2025; Gandhi & Neubig, 2025; Xie et al., 2025; Jung et al., 2026; He et al., 2025）上训练，并从反思数据与批评器（Wu et al., 2025; Wanyan et al., 2025; Qin et al., 2025）、失败轨迹上的自我训练（Fu et al., 2025; Yuan et al., 2025）或在线强化学习（Bai et al., 2024; Yang et al., 2025a; Lu et al., 2025b; Ye et al., 2025）中学习处理错误。公开语料很短：AgentNet 平均 18.8 步，多应用轨迹占 7.2%；ProCUA-SFT 平均 29.7 步，多应用占 26.1%；GUI-Reflection 平均 3.8 步，而且没有任何一个在应用之间携带持久状态（表 1）。CUA-Recovery-Train 平均 60.0 步，多应用轨迹占 67.5%，并把若干策略的真实失败与验证器接受的恢复配成对。

3 问题表述

环境与任务。

计算机使用任务被建模为部分可观察马尔可夫决策过程（POMDP）$(\mathcal{S},\mathcal{A},\mathcal{O},\mathcal{T},\Omega)$。状态 $s_{i}\in\mathcal{S}$ 是第 $i$ 步之后机器的完整持久状态：应用数据库、文件和用户界面。动作 $a\in\mathcal{A}$ 是 Agent 发出的操作，包括 GUI 操作，例如点击、拖拽、滚动、打字或组合键，以及 CLI 命令。每个 Agent 用自己的原生语法发出动作；评测框架把每个动作归一成共享的可执行形式，因此一个 Agent 的历史可以重放给另一个 Agent。在第 $i$ 步，Agent 观察到截图 $o_{i}=\Omega(s_{i-1})\in\mathcal{O}$，它只揭示状态的一部分，动作则把状态更新为 $s_{i}=\mathcal{T}(s_{i-1},a_{i})$。

我们把 $\mathcal{T}$ 视为确定性的，前提是关闭自动更新和通知守护进程这类破坏可复现性的因素；这才使得一段记录下来的动作前缀可以重放成同一个状态。一个任务是三元组 $(l,s_{0},\mathcal{C})$：自然语言指令 $l\in\mathbf{L}$、初始快照 $s_{0}$，以及带权重 $w_{j}>0$ 的二元标准组成的评分表 $\mathcal{C}=\{(c_{j},w_{j})\}_{j=1}^{m}$。

Rollout 与评测。

在第 $i$ 步，VLM 策略 $\pi$ 采样 $a_{i}\sim\pi(\cdot\mid l,o_{i},H_{i-1})$，其中 $H_{i-1}=(o_{1},a_{1},\dots,o_{i-1},a_{i-1})$ 表示交互历史。回合在 Agent 发出 terminate，或用尽步数预算 $B$ 时结束，得到 rollout $\xi=(o_{1},a_{1},\dots,o_{T},a_{T})$ 和最终环境状态 $s_{T}$。

Rollout 记录观察，是因为状态只是部分可观察的；由于 $\mathcal{T}$ 是确定性的，任何状态 $s_{i}$ 都可以通过从 $s_{0}$ 重放 $a_{1},\dots,a_{i}$ 重建。

一个动作可以改变看不见的状态分量，其效果会持续存在并影响后续操作。因此一个错误动作可能潜伏许多步，直到未来的某次观察才明确显露。与此同时，大多数 Agent 框架把上下文窗口限制为最近的 $K$ 张截图（本文评测中 $K=20$）。于是视觉证据可能已经掉出 Agent 的上下文，而它对持久状态的影响仍然有效。每条评测标准 $c_{j}(l,\xi)\in\{0,1\}$ 由 rollout、相关截图和最终状态 $s_{T}$ 决定。总评分定义为 $\rho(\xi)=\sum_{j}w_{j}c_{j}/\sum_{j}w_{j}$。我们定义一次 rollout 成功（$V(\xi)=1$）当且仅当全部标准都满足；否则失败。每次评测运行三次：若三次 rollout 中有一次成功，该任务在 Pass@3 下计为解决，Rubric Score 取该次 rollout 的分数。

根因、接管深度与错误跨度。

在一次失败的 rollout 中，根因步骤 $t_{r}$ 定义为 Agent 没有撤销的最早动作，而且若没有这个动作，任务从 $s_{t_{r}-1}$ 仍然可解。其错误类型 $\kappa$ 遵循附录 C.3 的分类。所有被识别的错误都来自 Agent 自己的决策。接管深度 $d$ 计算根因之后已经走过的步数。深度 $d$ 上的错误状态是失败 rollout 的前缀 $\xi_{\leq t_{r}+d}$ 重放后到达的状态 $s_{t_{r}+d}$；更早的无关错误已被修复，因此前缀中恰好只有一个根因（第 4.1 节）。Agent $\pi^{\prime}$ 带着 $l$ 和作为自身历史的 $H_{t_{r}+d}$ 接管，我们用 $V$ 和 $\rho$ 给整条轨迹打分。对每次失败，我们还标注错误跨度 $h_{e}=t_{e}-t_{r}$，其中 $t_{e}$ 是错误在轨迹中第一次变得明确的步骤；若轨迹在 $t_{e}$ 之前结束，则 $h_{e}$ 未被观察到。我们记 $c=t_{r}+d$ 为接管步骤，$H_{c}$ 为直到步骤 $c$ 的交互历史。执行错误在下一次观察中就可见（$h_{e}\geq 1$），而规划错误和感知错误从 $t_{r}$ 起就隐含在历史里，可以很晚才浮现。

4 CUA-Recovery 基准与 ReRail

在上述表述之上，我们引入 CUA-Recovery，一个面向长程计算机使用任务中错误检测与恢复的基准，以及构建它的流水线 ReRail。CUA-Recovery 针对第 1 节的三处缺口：错误来自 Agent 自己的策略而不是注入（覆盖），错误沿着跨应用的依赖传播并隐藏许多步（跨度），错误发生在 Agent 同时通过 GUI 和 CLI 行动的持久桌面环境中（界面）。ReRail 把种子任务组合成长程多应用工作流，从多个 Agent 收集失败，并把它们变成 CUA-Recovery-Test（2,250 个经人工核验的错误状态）和 CUA-Recovery-Train（8,577 条经过验证的恢复轨迹）。图 2 概括了这条流水线。

4.1 用 ReRail 构建基准

ReRail 的关键想法是：每个任务都带有黄金谱系，也就是每一步的正确取值。Agent 自己的失败就可以对照这条谱系追溯，从而定位根因，因此不需要注入错误。下面概述主要步骤；细节见附录 B。

构建带依赖的任务。

我们从 MyPCBench（Jang et al., 2026a）的任务出发。对每个任务，ReRail 建立可执行的中间表示，记录应用操作、这些操作读写的数据，以及对输出的检查。在一份全新的环境快照上运行这张图，就得到期望的中间值和最终状态。为了形成更长的工作流，当第一个任务的输出可以作为第二个任务的输入时，我们把两个任务连起来。原先写在指令里的值，现在必须通过更早的工作找到，从而形成一条错误可以沿之扩散的依赖。得到的池子有 477 个工作流，每个工作流的源任务中位数是 3，图节点中位数是 22。

检查生成的任务。

我们执行每个工作流，得到参考中间值和最终状态，再把验证器冻结到这条黄金谱系上。我们扰动中间值并重新运行工作流；如果下游验证器失败，或者最终输出或存储的数据与黄金谱系不同，这次变异就算被抓住。我们保留至少抓住一半已执行变异的工作流，并在不同依赖长度上挑选任务。

构造错误状态与评测集。

我们把组合后的工作流分成训练任务和测试任务。来自同一工作流的全部 rollout、接管状态和恢复轨迹都分到同一侧。我们在这些工作流上运行六个 Agent：GPT 5.5、Claude Opus 4.8、Kimi-K3、Qwen3.5-35B-A3B、EvoCUA-32B 和 OpenCUA-72B。对每次失败的 rollout，ReRail 把记录的执行与黄金谱系比较，识别根因步骤 $t_{r}$、错误类型，以及错误变得明显的第一步。为了让每个案例受控，专家修复 $t_{r}$ 之前一切无关的错误，使根因成为前缀中唯一的错误。ReRail 再把 rollout 重放到根因之后的深度 $d\in\{0,5,10,15,20,25\}$，生成接管状态。每次重放必须复现原始 rollout 中同一点记录的状态。对测试集，人工标注者核验根因、错误类型、错误跨度、修复后的前缀和重放状态。这些标注支撑察觉指标，以及按错误类型和跨度做的分析（附录 E）。

生成训练集。

对训练划分中的每个错误状态，基座模型 Qwen3.5-35B-A3B 在关于更早错误的指导下尝试完成任务。恢复生成先给出指出错误步骤的提示，若较早的尝试失败，再补充冲突证据和受影响的数据。第一个被最终验证器接受的续写成为训练目标；若基座模型产生不了经过验证的续写，就使用教师模型。每个训练样本包含任务指令、错误历史和经过验证的续写。提示不进入训练输入，与评测所用的不知情接管设定一致。附录 F.4 描述提示日程和生成预算。

4.2 数据构成与分析

在不同接管深度上评测。

在每个测试状态上，Agent 收到任务和此前的交互历史，然后在没有错误警告的情况下继续。六种接管深度覆盖了根因截图仍然较近、接近 20 张截图的上下文上限，或已经超出该上限的历史。测试集在深度 $d=0,5,10,15,20,25$ 上分别有 602、443、373、328、273 和 231 个状态。符合条件的案例数随深度下降；重放与资格规则见附录 C.1。

训练集与测试集。

表 7 概括了两个划分。训练集提供出错之后如何完成任务的例子；测试集提供可重放的状态和人工核对过的标签，用来衡量错误察觉与恢复。这些标签也让我们检查 Agent 犯的是哪类错误，以及这些错误在变得明显之前隐藏了多久。

超出单个动作的错误。

CUA-Recovery 中的大多数失败是错误决策，而不是点错。它们涵盖规划、进度与状态感知、执行和终止错误。例子包括选错年份的记录、读错数量并把它用进订单，以及在错误的日历应用里创建事件（附录 C.4.1）。这些案例要求 Agent 检查更早的决策以及这些决策产生的数据。规划与感知占根因的 57.3%，终止占 23.5%，执行占 19.1%。作为对照，AgentNet 和 GUI-Reflection 的现有估计把 84.3% 和 71.2% 归到执行错误（图 3a）。

##### 后来才变清楚的错误。

大多数错误只在 rollout 末尾才浮现。在 619 个带标签的失败中，有 602 个的错误在记录的 rollout 内变得明确；其中 361 个（60.0%）的证据第一次出现在最后一步。从根因起的延迟中位数是 17 步，78.1% 的错误至少晚三步才浮现。这使 CUA-Recovery 拥有相当一批失败，恢复它们必须回头检查更早的工作。图 3b 给出这个延迟分布；AgentNet 和 GUI-Reflection 的曲线是估计。

图 3：错误类型，以及错误变得明确之前的延迟。

5 实验

我们用 CUA-Recovery 回答两个问题：（1）当前 Agent 能否从继承来的错误中恢复（第 5.2 节）；（2）CUA-Recovery-Train 能否教会恢复（第 5.3 节）？

5.1 评测设置

Agent、指标与协议。

我们评测 GPT 5.5、Claude Opus 4.8、Kimi-K3、EvoCUA-32B、Qwen3.5-35B-A3B 和 OpenCUA-72B。Agent 使用各自的脚手架；EvoCUA 和 OpenCUA 只用 GUI 动作，其余配置在支持的地方开放命令行工具（附录 F）。在自我接管中，每个 Agent 从自己的失败所产生的状态继续。它收到记录的历史，没有错误警告，并且最多可以再走 100 步。错误察觉率（EAR）衡量 Agent 是否明确承认继承工作中存在问题。第 3 节定义的 Rubric Score 衡量部分任务完成，Pass@3 报告三次运行中至少一次完整完成。把它们一起报告，可以把表达出来的察觉和恢复结果分开。

干净起点评测。

我们也让 Agent 从初始任务状态出发，在 MyPCBench（Jang et al., 2026a）和 Odysseys（Jang et al., 2026b）上运行，任务数分别为 184 和 200。每次运行限制为 150 步和 3,600 秒。MyPCBench 提供构建本文工作流所用的源任务，并衡量源环境中的干净起点表现。Odysseys 包含训练环境之外的在线网页任务，用来衡量恢复训练的效果是否延伸到不同的任务设定。

5.2 在 CUA-Recovery-Test 上评测恢复

我们让六个 Agent 分别在六种接管深度上，接管来自自身失败的状态。表 2 报告 EAR、Rubric Score 和 Pass@3。这些结果引出下面四项发现。

发现 1：当前 Agent 很少能从自己的失败中完全恢复。

在 CUA-Recovery-Test 上，完全恢复对全部六个 Agent 都很难。在所有 Agent 和接管深度上，Pass@3 最高只有 25.5%，由 GPT 5.5 在 $d=20$ 达到（表 16）。Claude Opus 4.8 最高只有 7.7%，三个开源 Agent 都没有超过 6.4%。这些结果表明，即便是很强的计算机使用 Agent，一旦更早的错误已经影响工作流，也常常无法完成任务。

发现 2：干净起点表现并不能可靠预测错误察觉。

Kimi-K3 在 MyPCBench 上从干净起点达到 66.9% 的 Pass@3，但在自己的失败里只识别出 7.8–18.5% 的继承错误。相反，OpenCUA-72B 的干净起点 Pass@3 只有 5.1%，却识别出自己继承错误的 14.1–26.1%（表 3 和表 2）。

发现 3：识别出错误很少导向恢复。

在全部六个 Agent 的自我接管运行中，EAR 最高达到 44.0%，除 Claude Opus 4.8 外，所有 Agent 都低于 33%（表 2）。接下来我们按是否识别出继承错误，对每个 Agent 的单次运行分组，并在每组内计算验证器成功率。六个 Agent 的宏平均中，察觉到的运行的验证器通过率是 $15.6\%$，未察觉的运行是 $12.2\%$（附录表 18）。大多数运行在识别出错误之后仍然失败：Agent 常常指出一个问题，却让受影响的状态保持不变，或未能修复它的全部后果。在未察觉的运行中，Agent 几乎总是从继承状态继续，而不回头检查更早的工作。因此察觉与更高的恢复机会相关，但仅仅识别很少够用。

##### 发现 4：即使察觉提高，更晚的接管仍然困难。

从 $d=20$ 到 $d=25$，根因截图移出 20 张截图的历史。在这个区间里，GPT 5.5 的 EAR 从 16.2% 升到 21.0%，Pass@3 却从 25.5% 降到 18.9%。Claude 的 EAR 也上升，从 18.8% 到 27.3%，Pass@3 却从 7.7% 降到 0.0%。对 Kimi-K3，Pass@3 从 23.1% 降到 9.1%。这个模式提示更晚接管点上的一种权衡。错误在工作流中传播之后，其效果在当前状态里更可见，问题因此更容易被注意到。然而一旦根因截图离开上下文窗口，Agent 就必须从下游效果推断问题如何开始，错误就更难诊断和修复。这有助于解释为什么 EAR 可以上升，而 Pass@3 却下降。

表 2：CUA-Recovery-Test 上按接管深度 $d$（根因之后的步数）的恢复。每个 Agent 在没有错误警告的情况下，接管来自自身失败的状态。$\hookrightarrow$ ReRail：ReRail-35B-A3B 接管与上一行 Agent 相同的状态。Opus 4.8 = Claude Opus 4.8；Qwen3.5-35B = Qwen3.5-35B-A3B，即 ReRail 的基座模型。加粗：高于对应的源 Agent。

5.3 用 CUA-Recovery-Train 训练恢复及其泛化

前面的结果表明，Agent 在注意到继承错误和修复其下游影响上有各自的困难。接下来我们考察训练集中经过验证的轨迹，能否用标准监督目标支持面向恢复的微调。

##### 训练设置。

我们在 CUA-Recovery-Train 的 8,577 条经过验证的恢复轨迹上，把 Qwen3.5-35B-A3B 微调一个 epoch，得到 ReRail-35B-A3B。给定任务指令 $l$、错误历史 $H_{c}$ 及其经过验证的恢复 $r^{\star}$，我们最小化

其中 $\mathcal{Q}$ 是训练集。生成 $r^{\star}$ 时使用的提示不包含在 $H_{c}$ 中，因此模型收到的是与评测相同的不知情输入。

##### 发现 5：从 CUA-Recovery-Train 学到的恢复可以跨 Agent 迁移。

我们首先在取自 Qwen3.5-35B-A3B 自身失败的状态上评测微调后的模型，使两个模型从相同的错误状态出发。微调在各接管深度上把 EAR 提高 13.4–16.5 个百分点，把 Rubric Score 提高 5.9–16.0 个点（表 2）。在 $d=0$，Pass@3 从 1.2% 升到 4.7%。在 $d\geq 20$ 时 EAR 和 Rubric Score 也有改善，尽管两个模型在这些深度上都没有解决任何任务。因此训练数据同时改善了错误识别和部分恢复，而从更晚的接管点做完全恢复仍然困难。我们也在 Kimi-K3 和 EvoCUA-32B 产生的失败上评测微调后的模型。在 $d=0$，ReRail-35B-A3B 在 Kimi-K3 的失败状态上达到 16.6% 的 Pass@3，而 Kimi-K3 自己是 11.6%；在 EvoCUA-32B 的状态上达到 12.7%，而 EvoCUA-32B 自己是 6.4%（图 13）。它对 Kimi-K3 的优势保持到 $d=10$，对 EvoCUA-32B 的优势保持到 $d=15$。在更晚的深度上，这些增益收窄或消失。结果表明，学到的恢复行为可以跨失败来源迁移，最大的增益出现在较早的接管点。

表 3：MyPCBench 与 Odysseys 上的完成表现。加粗和下划线分别表示 API 类与开源 Agent 内部的最好和次好结果。

发现 6：恢复训练也改善从干净起点完成任务。

在 CUA-Recovery-Train 上训练，把域内 MyPCBench 的 Pass@3 从 9.2% 提高到 24.5%，Rubric Score 从 33.4% 提高到 53.2%。在任务和应用都位于训练环境之外的 Odysseys 上，分数分别从 24.1% 升到 34.9%、从 66.5% 升到 78.2%，说明增益超出了源环境（表 3）。

消融研究。

为了检验增益来自恢复监督，还是仅仅来自更多域内训练，我们用同一批工作流上、词元数量匹配的成功轨迹控制组，微调同一个基座模型。在 Qwen3.5-35B-A3B 的失败上，按深度平均，成功轨迹把 EAR 从 19.9% 提高到 23.6%，而恢复轨迹提高到 35.2%；MyPCBench 上干净起点的 Pass@3 分别达到 13.8% 和 24.5%（附录 F.3）。因此，恢复轨迹带来的增益远大于同一批工作流上的成功轨迹，说明改善来自学会恢复，而不是来自更多域内数据。

6 结论

我们发现，当前的计算机使用 Agent 很少能在长程工作流中从自己的错误里恢复，很强的表现也不意味着可靠的恢复。现有数据和基准在三个方面错过了这个设定：错误是注入的或低层的，而不是 Agent 自己造成的；轨迹太短，错误无法保持隐藏；评测只覆盖 GUI 动作，并用基于截图的方式打分。我们给出 CUA-Recovery，一个用 ReRail 从 Agent 自己在长程多应用工作流中的失败构建的基准，这些工作流同时涉及 GUI 和 CLI，并带有经人工核验的测试集和用于训练的、经过验证的恢复轨迹。在 CUA-Recovery-Train 上微调，改善了从继承错误中的恢复，也改善了干净起点表现，包括在未见过的环境中。这表明从真实失败中学习，是通向可靠计算机使用 Agent 的一条实际路径。

参考文献

• Bai et al. (2024). Hao Bai, Yifei Zhou, Mert Cemri, Jiayi Pan, Alane Suhr, Sergey Levine, and Aviral Kumar. DigiRL：用自主强化学习训练野外设备控制 Agent。In Advances in Neural Information Processing Systems (NeurIPS), 2024.
• Bai et al. (2026). Haoyue Bai, Dong Wang, Long Chen, Bingguang Hao, Pengyang Shao, Yonghui Yang, Yicheng He, and Chenyi Zhuang. StressWeb：现实交互波动下 Web Agent 稳健性的诊断基准。arXiv preprint arXiv:2604.16385, 2026.
• Bonatti et al. (2024). Rogerio Bonatti, Dan Zhao, Francesco Bonacci, Dillon Dupont, Sara Abdali, Yinheng Li, Yadong Lu, Justin Wagle, Kazuhito Koishida, Arthur Bucker, et al. Windows Agent Arena：大规模评测多模态操作系统 Agent。arXiv preprint arXiv:2409.08264, 2024.
• Bu et al. (2026). Tianpeng Bu, Xin Liu, Qihua Chen, Hao Jiang, Shurui Li, Hongtao Duan, Lu Jiang, Lulu Hu, Bin Yang, and Minying Zhang. 恢复由策略诱发的错误：面向稳健 GUI Agent 的评测与轨迹合成。arXiv preprint arXiv:2605.29447, 2026.
• Chen et al. (2025). Sen Chen, Tong Zhao, Yi Bin, Fei Ma, Wenqi Shao, and Zheng Wang. D-GARA：现实异常中 GUI Agent 稳健性的动态评测框架。arXiv preprint arXiv:2511.16590, 2025.
• Cheng et al. (2024). Kanzhi Cheng, Qiushi Sun, Yougang Chu, Fangzhi Xu, Li YanTao, Jianbing Zhang, and Zhiyong Wu. SeeClick：利用 GUI 定位构建高级视觉 GUI Agent。In Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 9313–9332, 2024.
• Deng et al. (2023). Xiang Deng, Yu Gu, Boyuan Zheng, Shijie Chen, Samuel Stevens, Boshi Wang, Huan Sun, and Yu Su. Mind2Web：面向通用 Web Agent。In Advances in Neural Information Processing Systems (NeurIPS), 2023.
• Fu et al. (2025). Dayuan Fu, Keqing He, Yejie Wang, Wentao Hong, Zhuoma Gongque, Weihao Zeng, Wei Wang, Fan Yang, Xunliang Cai, and Weiran Xu. AgentRefine：通过精调增强 Agent 泛化。In International Conference on Learning Representations (ICLR), 2025.
• Gandhi & Neubig (2025). Apurva Gandhi and Graham Neubig. Go-Browse：用结构化探索训练 Web Agent。arXiv preprint arXiv:2506.03533, 2025.
• He et al. (2025). Yanheng He, Jiahe Jin, and Pengfei Liu. 面向计算机使用的高效 Agent 训练。arXiv preprint arXiv:2505.13909, 2025.
• Jang et al. (2026a). Lawrence Keunho Jang, Andrew Keunwoo Jang, Jing Yu Koh, and Ruslan Salakhutdinov. MyPCBench：面向个人智能计算机使用 Agent 的基准。arXiv preprint arXiv:2606.16748, 2026a.
• Jang et al. (2026b). Lawrence Keunho Jang, Jing Yu Koh, Daniel Fried, and Ruslan Salakhutdinov. Odysseys：在现实长程任务上评测 Web Agent。arXiv preprint arXiv:2604.24964, 2026b.
• Jung et al. (2026). Jaehun Jung, Ximing Lu, Brandon Cui, Muhammad Khalifa, Shaokun Zhang, Hao Zhang, Jin Xu, Amala Sanjay Deshmukh, Karan Sapra, Andrew Tao, Yejin Choi, Jan Kautz, Mingjie Liu, and Yi Dong. ProCUA-SFT 技术报告。arXiv preprint arXiv:2606.17321, 2026.
• Li et al. (2025). Kaixin Li, Ziyang Meng, Hongzhan Lin, Ziyang Luo, Yuchen Tian, Jing Ma, Zhiyong Huang, and Tat-Seng Chua. ScreenSpot-Pro：面向专业高分辨率计算机使用的 GUI 定位。In Proceedings of the 33rd ACM International Conference on Multimedia, pp. 8778–8786, 2025.
• Li et al. (2024). Wei Li, William Bishop, Alice Li, Chris Rawles, Folawiyo Campbell-Ajala, Divya Tyamagundlu, and Oriana Riva. 数据规模对界面控制 Agent 的影响。In Advances in Neural Information Processing Systems, volume 37, pp. 92130–92154, 2024.
• Liao et al. (2025). Zeyi Liao, Jaylen Jones, Linxi Jiang, Yuting Ning, Eric Fosler-Lussier, Yu Su, Zhiqiang Lin, and Huan Sun. RedTeamCUA：在混合 Web 与操作系统环境中对计算机使用 Agent 做现实对抗测试。arXiv preprint arXiv:2505.21936, 2025.
• Liu et al. (2026a). Enqi Liu, Liyuan Pan, Zhi Gao, Yan Yang, Chenrui Shi, Yang Liu, Jingrong Wu, and Qing Li. 在高动态环境中评测并改进 GUI Agent。arXiv preprint arXiv:2604.25380, 2026a.
• Liu et al. (2026b). Zhaoyang Liu, JingJing Xie, Zichen Ding, Zehao Li, Bowen Yang, Zhenyu Wu, Xuehui Wang, Qiushi Sun, Shi Liu, Weiyun Wang, et al. ScaleCUA：用跨平台数据扩展开源计算机使用 Agent。In International Conference on Learning Representations, 2026b.
• Lu et al. (2025a). Dunjie Lu, Yiheng Xu, Junli Wang, Haoyuan Wu, Xinyuan Wang, Zekun Wang, Junlin Yang, Hongjin Su, Jixuan Chen, Junda Chen, Yuchen Mao, Jingren Zhou, Junyang Lin, Binyuan Hui, and Tao Yu. VideoAgentTrek：从未标注视频做计算机使用预训练。arXiv preprint arXiv:2510.19488, 2025a.
• Lu et al. (2025b). Fanbin Lu, Zhisheng Zhong, Shu Liu, Chi-Wing Fu, and Jiaya Jia. ARPO：带经验回放的 GUI Agent 端到端策略优化。arXiv preprint arXiv:2505.16282, 2025b.
• Lu et al. (2025c). Quanfeng Lu, Wenqi Shao, Zitao Liu, Lingxiao Du, Fanqing Meng, Boxuan Li, Botong Chen, Siyuan Huang, Kaipeng Zhang, and Ping Luo. GUIOdyssey：移动设备上跨应用 GUI 导航的综合数据集。In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 22404–22414, 2025c.
• Pahuja et al. (2025). Vardaan Pahuja, Yadong Lu, Corby Rosset, Boyu Gou, Arindam Mitra, Spencer Whitehead, Yu Su, and Ahmed Awadallah. Explorer：为多模态 Web Agent 扩展由探索驱动的网页轨迹合成。arXiv preprint arXiv:2502.11357, 2025.
• Qin et al. (2025). Yujia Qin, Yining Ye, Junjie Fang, Haoming Wang, Shihao Liang, Shizuo Tian, Junda Zhang, Jiahao Li, Yunxin Li, Shijue Huang, et al. UI-TARS：用原生 Agent 开创自动化 GUI 交互。arXiv preprint arXiv:2501.12326, 2025.
• Rawles et al. (2023). Christopher Rawles, Alice Li, Daniel Rodriguez, Oriana Riva, and Timothy Lillicrap. Android in the wild：大规模 Android 设备控制数据集。In Advances in Neural Information Processing Systems (NeurIPS), Datasets and Benchmarks Track, 2023.
• Rawles et al. (2025). Christopher Rawles, Sarah Clinckemaillie, Yifan Chang, Jonathan Waltz, Gabrielle Lau, Marybeth Fair, Alice Li, William Bishop, Wei Li, Folawiyo Campbell-Ajala, et al. AndroidWorld：自主 Agent 的动态评测环境。In International Conference on Learning Representations, 2025.
• Sun et al. (2026a). Jingwei Sun, Jianing Zhu, Yuanyi Li, Tongliang Liu, Xia Hu, and Bo Han. AgentHijack：评测计算机使用 Agent 对常见环境损坏的稳健性。arXiv preprint arXiv:2605.25707, 2026a.
• Sun et al. (2026b). Yiyou Sun, Xinyang Han, Weichen Zhang, Yuanbo Pang, Tianyu Wang, Yuhan Cao, Yixiao Huang, et al. Agents’ last exam。arXiv preprint arXiv:2606.05405, 2026b.
• Trabucco et al. (2025). Brandon Trabucco, Gunnar Sigurdsson, Robinson Piramuthu, and Ruslan Salakhutdinov. 走向互联网规模的 Agent 训练。arXiv preprint arXiv:2502.06776, 2025.
• Wang et al. (2025). Xinyuan Wang, Bowen Wang, Dunjie Lu, Junlin Yang, Tianbao Xie, Junli Wang, Jiaqi Deng, Xiaole Guo, Yiheng Xu, Chen Henry Wu, et al. OpenCUA：计算机使用 Agent 的开放基础。In Advances in Neural Information Processing Systems (NeurIPS), 2025.
• Wanyan et al. (2025). Yuyang Wanyan, Xi Zhang, Haiyang Xu, Haowei Liu, Junyang Wang, Jiabo Ye, Yutong Kou, Ming Yan, Fei Huang, Xiaoshan Yang, et al. Look before you leap：用于 GUI 自动化术前错误诊断的 GUI-Critic-R1 模型。arXiv preprint arXiv:2506.04614, 2025.
• Wu et al. (2025). Penghao Wu, Shengnan Ma, Bo Wang, Jiaheng Yu, Lewei Lu, and Ziwei Liu. GUI-Reflection：用自我反思行为增强多模态 GUI 模型。arXiv preprint arXiv:2506.08012, 2025.
• Xie et al. (2025). Jingxu Xie, Dylan Xu, Xuandong Zhao, and Dawn Song. AgentSynth：面向通用计算机使用 Agent 的可扩展任务生成。arXiv preprint arXiv:2506.14205, 2025.
• Xie et al. (2024). Tianbao Xie, Danyang Zhang, Jixuan Chen, Xiaochuan Li, Siheng Zhao, Ruisheng Cao, Toh J Hua, Zhoujun Cheng, Dongchan Shin, Fangyu Lei, et al. OSWorld：在真实计算机环境中评测面向开放任务的多模态 Agent。Advances in Neural Information Processing Systems, 37:52040–52094, 2024.
• Xu et al. (2025). Yiheng Xu, Dunjie Lu, Zhennan Shen, Junli Wang, Zekun Wang, Yuchen Mao, Caiming Xiong, and Tao Yu. AgentTrek：用网页教程引导重放来合成 Agent 轨迹。In International Conference on Learning Representations, 2025.
• Yang et al. (2025a). Chenyu Yang, Shiqian Su, Shi Liu, Xuan Dong, Yue Yu, Weijie Su, Xuehui Wang, Zhaoyang Liu, Jinguo Zhu, Hao Li, et al. ZeroGUI：以零人工成本自动化在线 GUI 学习。arXiv preprint arXiv:2505.23762, 2025a.
• Yang et al. (2025b). Jingqi Yang, Zhilong Song, Jiawei Chen, Mingli Song, Sheng Zhou, Linjun Sun, Xiaogang Ouyang, Chun Chen, and Can Wang. GUI-Robust：用于测试 GUI Agent 在现实异常中稳健性的综合数据集。arXiv preprint arXiv:2506.14477, 2025b.
• Ye et al. (2025). Jiabo Ye, Xi Zhang, Haiyang Xu, Haowei Liu, Junyang Wang, Zhaoqing Zhu, Ziwei Zheng, Feiyu Gao, Junjie Cao, Zhengxi Lu, et al. Mobile-Agent-v3：GUI 自动化的基础 Agent。arXiv preprint arXiv:2508.15144, 2025.
• Yuan et al. (2026). Mengqi Yuan, Zilong Zhou, Xinzhuang Xiong, Weiming Wu, Jiayang Sun, Jiamin Song, Kaiqian Cui, Bowen Wang, Haoyuan Wu, Yitong Li, Dunjie Lu, Haikong Lu, Qi Zhen, Xinyuan Wang, Jiaqi Deng, Yuhao Yang, Cheng Chen, Boyuan Zheng, Alex Su, Xiao Yu, Hao Zou, Saaket Agashe, Xing Han Lu, Manpreet Kaur, Zhengyang Qi, Vincent Sunn Chen, Frederic Sala, Dayiheng Liu, Junyang Lin, Zhou Yu, Yu Su, Siva Reddy, Xin Eric Wang, Peng Qi, Tianbao Xie, and Tao Yu. OSWorld 2.0：在长程现实任务上评测计算机使用 Agent。arXiv preprint arXiv:2606.29537, 2026.
• Yuan et al. (2025). Siyu Yuan, Zehui Chen, Zhiheng Xi, Junjie Ye, Zhengyin Du, and Jiecao Chen. Agent-R：通过迭代自我训练让语言模型 Agent 学会反思。arXiv preprint arXiv:2501.11425, 2025.
• Zhao et al. (2025). Henry Hengyuan Zhao, Kaiming Yang, Wendi Yu, Difei Gao, and Mike Zheng Shou. WorldGUI：从任意起点出发的桌面 GUI 自动化交互基准。arXiv preprint arXiv:2502.08047, 2025.
• Zheng et al. (2024). Boyuan Zheng, Boyu Gou, Jihyung Kil, Huan Sun, and Yu Su. 若有定位，GPT-4V(ision) 就是通用 Web Agent。In International Conference on Machine Learning, 2024.
• Zhu et al. (2025). Kunlun Zhu, Zijia Liu, Bingxuan Li, Muxin Tian, Yingxuan Yang, Jiaxun Zhang, Pengrui Han, Qipeng Xie, Fuyang Cui, Weijia Zhang, et al. LLM Agent 在何处失败，以及它们如何从失败中学习。arXiv preprint arXiv:2509.25370, 2025.