只看屏幕不够：阿里 Qwen-CUA 用可验证终态训练计算机使用

只看屏幕不够：阿里 Qwen-CUA 用可验证终态训练计算机使用

阿里通义 Qwen 团队在 2026 年 8 月 3 日放出 Qwen-CUA（native computer-use agent，只看屏幕截图、只用键盘和鼠标操作软件的计算机使用模型）。它的骨干是 397B 总参数、约 17B 激活的 Qwen 混合专家模型。接口故意不读 DOM、无障碍树，也不调用任务专用 API。论文要回答的不是「能不能点一下按钮」，而是长程状态、可验证终态和混合工具一起出现时，这套通用界面到底评得怎样、哪里还不行。

八个计算机使用基准上，Qwen-CUA 的任务指标都高于 Qwen3.7。OSWorld-Verified（覆盖真实网页、桌面应用、文件和跨应用流程的桌面工作流基准）达到 86.2。OSWorld 2.0（更长的端到端工作流，同时报严格完成和部分进展）为 18.5 / 48.4。把同一套配方放到总参数超过一万亿的 Qwen-CUA-Max 上，这两项分别升到 87.6 和 21.2 / 53.3。RedTeamCUA（在网页和操作系统混合环境里测任务成功和间接提示注入攻击成功率）上，相对 Qwen3.7，攻击成功率从 36.6 降到 16.4。

为什么像素界面比代码和 API 更难评

代码和 API 已经是模型的强项。大量工作仍只暴露在给人看的界面上：桌面软件、旧系统、动态网站、专业工具和个人化流程。原生计算机使用用像素感知、用键鼠事件执行，才能不靠专用集成去操作这些软件。

难点也来自这个接口。界面状态只被部分观察到，而且机器读不懂；动作要对准像素；错误会沿长流程累积；证据散在一串截图里。每次 rollout 都要占一个有状态的环境，可靠监督常常要等到终态。还要泛化到个人桌面、专业软件、模拟用户和屏幕上的对抗内容。所以评测不能只加模型容量，还得把环境、可验证任务、rollout 吞吐和长多模态轨迹上的学习一起放大。

主实验协议固定为纯计算机使用：只看截图，只用键盘和鼠标，不给 DOM、无障碍元数据、shell 或任务 API。这样比的是同一类界面，而不是谁额外拿到了隐藏状态。

上下文怎么裁，训练和推理才对齐

每步模型只看当前桌面截图，并从键鼠动作空间里发出一个动作。长程交互的截图成本会随步数涨。全部留下会撑破上下文；普通滑动窗口又可能丢掉解释后续动作的早期状态。

Qwen-CUA 把当前可见的截图历史放到 20 张。超过这个预算时，折叠边界一次前进 10 步。边界后面的截图换成固定文本占位，对应的推理和动作仍留在对话里，最近截图保持原图。过程是确定的，不再另叫一个摘要模型。因为边界每 10 步才动一次，第 21 到 30 步沿用同一段请求前缀，有利于 KV cache 复用。

强化学习使用同一个折叠算子。完整一局被切成多个受上下文限制的切片，每片继承终局奖励，损失只打在模型生成的有效 token 上。晚段决策仍有监督，训练和推理也不必各写一套摘要。

数据从哪来：环境、可验证任务、人的长流程

rollout 基础设施建在阿里云 ECS 上，可用近 10 万 vCPU，能同时撑起数万个计算机使用环境。并行的是环境准备和重置、任务分发、交互、结果校验和轨迹记录。

环境有两条。一条是自包含的模拟网站，保留常见产品的交互流，但状态可以程序化注入、检查、重置和隔离，避免并发局之间串状态。另一条把环境从办公软件扩到创意、科研、工程和长尾桌面应用，装进沙箱并放上真实文件和软件自己的状态。方向上对齐 Gym-Anything（把大量应用收成可扩展计算机使用环境的工作）。

可验证任务大约 4 万条，分三类，每条都有自然语言目标、可复现初始状态和可执行评估器，并对照参考结果和 rollout 清掉含糊、做不到或校验太弱的题。

1. 环境操作。 按应用的功能分类和常见用法抽样，覆盖界面元素、操作和状态转移。
2. 必须问用户。 沿用 OSWorld 2.0 的模拟用户设定。用户模拟器只掌握有限、与任务相关的信息，而且只在智能体提问时回答。完成仍看环境终态，提问只有导向正确结果才有用。
3. 长流程。 初始状态带上消息、历史记录和软件产物。流程拆成互相依赖的阶段，每段有可验证完成态，通过后再序列化成下一段的起点。端到端 rollout 仍跑完整链条。

可验证终态覆盖不了用户自己的文件、历史和偏好。团队在个人化桌面里收集人的端到端演示，包括日常流程以及 CAD、Blender 这类专业软件。记录的是任务、截图、键鼠动作和结果状态。标注者不逐步写理由，所以用模型补全逐步推理，再按观察到的状态和示范动作过滤不一致的理由。

强化学习只奖终态，并且每轮重选题目

每道训练题由指令、可复现初始状态和可执行奖励函数组成。当前策略对同一题采样一组轨迹。轨迹结束后，评估器检查环境状态，给出 0 到 1 的结果奖励。可以给部分分，也承认不同的合法路径，不要求对齐某条参考动作。

最后一轮强化学习里，397B-A17B 模型在训练任务上的平滑分数从早期约 0.49 的低点升到约 0.64。单个检查点抖动大，因为每个批次混了不同任务和随机轨迹。跨领域留出混合集上，强化学习前是 0.734，第 40 个检查点（第 800 次更新）到 0.770，作者选这个检查点做后续评测。全程预定 1000 次更新，第 50 个检查点是 0.762。相邻检查点间隔 20 次外层批次更新。

策略更新用 SAPO（Soft Adaptive Policy Optimization，用平滑门控削弱严重离策略 token 的更新，而不是把重要性比硬剪进固定区间）。奖励只看终态，一条轨迹里的有效 token 共享同一个组内相对优势。门控温度不对称，负优势更新衰减得比正优势更快。梯度只走模型生成的推理和工具调用 token；任务说明、截图和环境回复只当上下文。

训练不是在固定数据集上重复同一配方。每一轮用当前模型找出还不会的 SFT 问题和薄弱领域：教师策略重写仍失败的演示，补新的人类轨迹，并往弱领域加数据。质量过滤后形成新的 SFT 混合。每一次 SFT 都从同一个中期训练检查点重新开始，而不是在上一版智能体上继续微调，避免把优化漂移继承下去。

接着用这个 SFT 模型重标可验证的强化学习题。每道候选题跑 8 次试验，只留下「至少成功一次、但不是 8 次都成功」的题。到不了的和已经饱和的都去掉，在线优化集中在结果还有差异的题上。因为教师、SFT 混合、领域覆盖和 RL 题分布每轮都变，论文写明跨轮曲线的斜率不能当成受控收敛或缩放规律。

八个基准怎么读

评测覆盖的设置彼此互补：

• OSWorld-Verified：日常桌面，含真实网页、桌面应用、文件和跨应用。
• WebArena：功能网站上的真实网页流程。
• OSWorld 2.0：日常和专业场景里的长程端到端流程，同时报严格完成和部分进展。
• MyPCBench：绑在同一个用户的文件、账号和历史上的跨应用流程。
• ScienceBoard：专业科研软件上的科学流程。
• Gym-Anything 所带的 CUA-World：200 多个应用、多种职业领域上的广度。
• MacAgentBench：25 个 macOS 应用上的真实任务，规则可判定，并有多检查点细粒度计分。
• RedTeamCUA：在 ownCloud、Rocket.Chat 和 Reddit 的混合环境里同时报良性任务成功和攻击成功率，用来分开「更抗注入」和「只是更不会做任务」。

Qwen-CUA 在每个能力基准上都超过 Qwen3.7，OSWorld-Verified、OSWorld 2.0、ScienceBoard 和 Gym-Anything 上的差距更大。个人化、科研、网页和长程流程上与 GPT-5.5、Claude Opus 4.8 接近，并在 OSWorld-Verified 和 MacAgentBench 上最高。引言里的对照是：OSWorld-Verified 上 Qwen3.7 为 73.3，GPT-5.5 为 78.7，Claude Opus 4.8 为 83.4，Qwen-CUA 为 86.2；OSWorld 2.0 的严格完成 / 部分进展从 Qwen3.7 的 2.5 / 22.5 升到 18.5 / 48.4。

效率分两层。token 效率看每道题的输出 token。OSWorld-Verified 上，Qwen-CUA 以 3,605.8 token 达到 86.2；Claude Opus 4.8 在相近预算下是 80.0，放到 21.8K token 时是 83.3。增益不能解释成「推理写得更长」。交互效率更不好直接比。OSWorld 2.0 上 Qwen-CUA 平均每题 218.9 个模型回合，GPT-5.5 是 83.5，Claude Opus 4.8 是 105.7。后两者一个回合可以打包多个动作，Qwen-CUA 一回合只发一个原生动作。回合差混进了串行执行，不是归一化后的底层动作效率。

安全侧，Qwen-CUA 相对 Qwen3.7：任务成功从 70.5 到 74.0，攻击成功率从 36.6 到 16.4，下降 20.2 个点，三个平台方向一致。合计 74.0 / 16.4 接近 GPT-5.5 的 75.7 / 15.6，Claude Opus 4.8 两项仍更强。剩下的 16.4 攻击成功率说明风险还在。Rocket.Chat 必须和任务成功一起看，因为执行失败本身也会把攻击成功率压低，这不等于学会了拒绝。因此 RedTeamCUA 说明抗间接提示注入有改进，不是上线安全保证。

线上浏览器和 Bash：变短不等于做完

团队做了一个内部 Chrome 侧栏扩展，用截图和键鼠操作当前页，并把轨迹给用户看。它碰到标准评测漏掉的边界：陌生布局、网站状态变化、交互失败后的恢复，以及必须人介入的步骤。附录里的例子是在浏览器里购买并配置云虚拟机，后果性操作前会请用户确认。这是部署观察，不是另一套公开计分榜。

同一批 MyPCBench 任务再比两种接口：只用计算机使用，以及加上 Bash。加 Bash 后，Qwen3.7 的平均回合从 69.3 降到 53.4，Qwen-CUA 从 63.6 降到 49.1。任务表现也下降：Qwen3.7 从 51.6 到 41.8，Qwen-CUA 从 58.7 到 55.1。Bash 给合适的操作更短的路径，但切得不是时候会降低完成率。作者把这看成路由还没学好，不是混合接口本身无效。回合数降了，给联合训练、异构轨迹和显式路由监督留了空间。

容量放大时，Qwen-CUA-Max 把 OSWorld-Verified 从 86.2 提到 87.6，OSWorld 2.0 的严格完成从 18.5 到 21.2，部分进展从 48.4 到 53.3，部分进展增加 4.9 个点。同一配方还能随容量继续抬长程流程上的进展。

限制

像素观察、反复推理和串行的底层动作带来明显延迟和交互成本。任务如果能直接写成代码、shell 或结构化 API，纯视觉操作并不划算。Bash 实验已经把轨迹缩短，但在不牺牲完成率的前提下做可靠路由仍然开放。原生计算机使用被写成混合智能体的通用兜底，而不是唯一动作接口。跨训练轮次的曲线不能当成受控缩放。RedTeamCUA 的剩余攻击成功率，以及「执行失败会压低攻击成功率」这一混淆，都不能当成部署安全结论。内部 Chrome 扩展展示的是真实网站上的边界，没有替代八个基准的计分协议。

阿里，Shuai Bai 等，Qwen-CUA: Native Computer Use for (almost) Everything，2026-08-03，https://arxiv.org/abs/2608.02352