Industry & Practice Research & Benchmarks

LiveUIBench：评测作为应用工作流的 Agent

CodexQA 团队Oct 22, 202644 min read

复旦与同济等机构提出 Agent as App：智能体生成个性化应用，并在使用中继续执行。LiveUIBench 用 500 项有序任务衡量全工作流完成。打开往往容易，完整走完却少见；部分断言覆盖更高，并不等于完成更多工作流。

In this piece

LiveUIBench：评测作为应用工作流的 Agent

Tong Zhang、Yuxuan Cheng。单位：复旦大学；香港中文大学（深圳）。Ruimin Zhang、Yun Peng、Tao Xie。单位：同济大学；北京大学。

译注：Agent as App 是本文提出的任务名，指用户用自然语言提出要求后，由智能体生成个性化应用，并在后续使用中继续提供该应用的行为。下文保留这一英文名。

应用提供方便的功能，供用户完成日常任务。然而，不同用户对同一应用可能有不同甚至相互冲突的要求，而同一用户的要求也会随时间改变。对由 agent-to-app 或 UI-to-code 方法生成的应用做个性化，可能需要改动已经生成的实现。我们提出 Agent as App。在这一任务中，用户用自然语言表达要求，智能体创建个性化应用，并在使用过程中继续提供其行为。我们实现了 LiveUIAgent。它生成针对具体任务的编排，把用户界面、已保存的信息和业务动作连接起来。一套共享的智能体运行时负责渲染并更新界面，同时执行所请求的操作。在复用该运行时的前提下修订编排和界面，为要求演变时的个性化提供了一种轻量基础。我们引入 LiveUIBench。这是一个基准，包含多样的要求，以及跨越个人服务的有序交互。实证结果表明，被评测的模型难以可靠地完成这些工作流。应用可以满足许多局部检查，却仍使整体任务处于未完成状态；更高的部分覆盖，也可能与更少的已完成工作流同时出现。

1 引言

应用帮助用户完成日常活动，但人们对同一应用可以有不同或相互冲突的要求。一位音乐听众可能只想要一个简单的播放按钮，另一位则希望比较候选曲目并维护听歌日志。个性化也会随时间变化。听众可以先从播放列表开始，后来要求记下关于歌曲的笔记、修改先前的选择，或为某次活动准备一份曲目。应用必须把每一项请求连接到已经保存的信息。生成式界面和可塑界面把这种差异变成了具体的设计目标（Vaithilingam et al., 2024; Min et al., 2025; Cao et al., 2025）。自适应界面和混合主动界面，为按用户需要匹配交互提供了更早的基础（Gajos & Weld, 2004; Horvitz, 1999）。

语言智能体提供了一种直接表达这些要求的方式。智能体可以产出应用实现。我们把这种生产者角色称为 agent-to-app。终端用户软件和数据驱动的编写系统，把用户意图连接到可执行行为（Ko et al., 2011; Verou et al., 2016）。 UI-to-code 系统把视觉设计翻译成实现（Si et al., 2025），而网站生成基准检验产出的制品是否支持所要求的功能（Lu et al., 2025）。界面创建之后，智能体也可以继续负责解释任务动作。于是应用把可见的界面元素、持续的智能体推理和已保存的信息结合在一起。它的行为取决于使用过程中这几者的连接。

我们把 Agent as App 提出为面向持久、个性化应用的任务。给定自然语言形式的应用要求和允许使用的上下文，智能体必须创建交互式工作区，并在用户提供输入、改变请求和返回时继续提供其任务行为。应用侧智能体解释输入和保留的信息，执行业务操作，并更新界面。成功关注的是这一序列上所请求的效果。仅涉及呈现的事件可以不调用模型来处理。该任务对编排格式和界面布局保持开放。

图 1：Agent as App 把个性化与持续使用连接起来。不同的听众会要求极简播放器，或要求详细比较。后来的一项请求增加听歌日志，把信息与原来的活动保存在一起。生成的应用必须把这些目标连接到它的界面、行为和已保存的信息。

评测对象是持续交互中的应用。一张看起来可信的初始屏幕，并不能证明其界面到达了预期的业务操作。一次成功的业务调用可能改到错误的记录。一次回访可能把错误保留下来。如果评测只记录屏幕是否打开、动作是否返回、或存储的信息是否仍然存在，这些结果看起来会很相似。当所请求的目标、可见结果和已保存效果被放在一起检查时，它们就不同了。

我们在 LiveUIAgent 中实现 Agent as App。用户的要求产生一份编排，把生成的界面连接到业务动作和已保存的应用状态。智能体仍然负责通过这一界面执行后来的请求。修订一项要求会更新编排和工作区，而共享运行时继续执行动作并保留用户的信息。因此，个性化可以通过修改针对具体任务的计划来进行，而不必重建执行机制。

LiveUIBench 通过用户请求序列来评测这些应用。初始要求之后，是跨越个人服务的提交、修订和回访。该基准度量生成的应用是否完成这一序列，同时也度量它对单条断言的覆盖。我们分析底层任务记录，以定位最早未满足的要求，并比较不同模型完成了哪些任务。结果揭示：打开一个应用，与完成它的工作流之间，存在很大缺口。结果还表明，更强的部分断言覆盖可以与更少的已完成任务并存；把不同模型的成功合在一起，基准中仍有很大一部分没有被解决。

我们的贡献如下。

我们提出 Agent as App 任务。

该任务把个性化应用的创建，与用户提供输入、修订要求并返回时由智能体中介的持续使用连接起来。

我们实现 LiveUIAgent。

该实现通过轻量编排，把个性化界面连接到共享的智能体运行时和已保存的业务状态。

一个基准和实证发现。

LiveUIBench 提供多样的任务要求和有序交互。实证分析追踪失败阶段、未满足的检查，以及不同模型完成的相同任务和不同任务。

2 LiveUIBench

##### 不同用户与不同交互上的要求。

用户 $u$ 在交互阶段 $t$ 的要求记为 $r_{u,t}$。不同用户可以在同一阶段要求不同行为，因此 $r_{u,t}\neq r_{v,t}$。用户也可以修订一项要求，因此 $r_{u,t+1}\neq r_{u,t}$。这里的 $t$ 给交互排序。它不度量流逝的日历时间。

这些变化不必很大。一个补货应用可以先记录家中物品，后来被要求修订其中选定的一项，而不替换清单的其余部分。一个音乐应用可以在用户改变决定时保留候选。因此，个性化包括：相对于应用已经知道、已经改变的内容，来解释一项新请求。该任务把这种解释连接到可见的界面元素和已保存的效果。

##### 应用生命周期。

一个应用记为 $A_{u,t}=(P_{u,t},S_{u,t})$。这里 $P$ 规定其界面和行为，$S$ 是其已保存状态。业务世界是 $W_{u,t}$，通过应用提交的输入是 $x_{u,t}$。创建和持续使用采取如下形式

	$\displaystyle A_{u,0}$	$\displaystyle=G(r_{u,0},c_{u}),$		(1)
	$\displaystyle(A_{u,t+1},W_{u,t+1},V_{u,t+1})$	$\displaystyle=F(A_{u,t},W_{u,t},x_{u,t+1}),$

其中 $c_{u}$ 是创建时可用的上下文，$V$ 是由此得到的可见界面。后来的操作使用已创建的应用及其记录。普通输入可以让 $r$ 保持不变。通过 $x$ 传达的修订，要求改变行为或已保存的值，同时保留相关信息。一次回访检查该信息是否仍然可用。

##### 任务与回合。

一项基准任务提供初始要求、起始上下文和有序的交互目标。一次任务评测把它应用到某个模型或条件上，并保留所生成的应用。一个回合提供用户目标，以及关于动作或状态的预定义断言。回合覆盖打开、提交、修订和返回，并在任务有规定时包含后续请求。它们的顺序重要。修订指的是更早创建的结果，而后面的应用可能需要发现由另一个应用写入的记录。

##### 工作流成功。

在阶段 $t$，所请求的目标是 $g_{u,t}$，业务操作是 $L_{u,t}$。任务在可见结果、应用状态、业务状态和操作轨迹上定义谓词 $Q_{u,t}$。完整工作流成功是

	$y_{u}=\prod_{t=1}^{T_{u}}\mathbf{1}\!\left[Q_{u,t}(g_{u,t},V_{u,t},S_{u,t},W_{u,t},L_{u,t})\right].$		(2)

每个谓词通过其预定义断言来编码该回合的目标。局部成功不能代替序列中别处缺失的要求。评测检查一个动作影响到哪条记录、该记录如何变化、界面显示什么，以及返回时还剩下什么。

##### 任务组织。

LiveUIBench 覆盖 Spotify、Amazon、Gmail、Phone、Venmo、Splitwise、Todoist、Simple Note 和 File System。 AppWorld 提供可执行的业务环境（Trivedi et al., 2024）。单应用任务在一个被保留的工作区里演练有序工作流。多工具任务在一个应用内协调业务操作。共享世界任务要求后面的应用使用更早写入的记录。这些族描述的是工作流的组织方式。业务依赖在表 1 中单独计数。

表 1：任务覆盖与业务依赖。族标签描述应用的组织方式。跨业务计数由不同的具名服务独立计算。计数发生在重复的生成抽样之前。

任务族	全部/公开	跨业务	依赖
单应用	302/93	51/9	一份编排处理有序目标。
多工具	130/73	130/73	一份编排协调三个或四个服务。
共享世界	68/6	58/5	后面的应用使用更早的应用写入的业务状态。
业务任务	额外 27	0	一个应用创建、修订并读取一条记录，然后重新打开。

##### 以记录为中心的业务任务。

额外的业务任务让一个指定实体经历创建、修订、取回和返回。独立读取使用该实体的稳定标识，检查其所要求的字段。这使业务效果变得具体。评测者可以区分：优先级被改变，与仅仅收到确认；编辑原始记录，与创建一条替换记录；当前信息，与更早存储的视图。附录 E 中记录的例子，把这些检查连接到用户请求变更时所使用的界面。

3 方法

图 2 依次是应用创建、持续交互，以及对所请求结果的核验。

图 2：评测工作流。准备一项意图、后来的目标，以及预期结果。根据该意图和允许的上下文生成编排。通过已声明的动作或渲染出的界面，执行有序目标。检查工作流是否完成、可见结果，以及被保留的状态。业务任务还要独立核验已保存的记录。测试操作者提供用户动作。应用侧智能体解释这些动作，并执行所请求的操作。

3.1 准备任务

一项任务提供初始要求、业务上下文和有序的回合请求。起始业务世界包含该任务所假定的记录。生成器收到初始要求和允许使用的业务文档。后来的请求在对应回合到达。任务规格和断言要检查是否与用户目标一致，细节见附录 D。

3.2 生成应用

LiveUIAgent 生成一份编排，把界面元素连接到动作目标、智能体角色，以及跨交互保留的信息。动作目标描述一次提交的动作应当达成什么，以及它可以使用哪些服务（Yao et al., 2023; Li et al., 2023）。界面设计者产出组件布局。共享渲染器使用当前输入和已保存状态来呈现该布局。

图 3：针对具体任务的编排把界面元素、动作目标和已保存的信息连接起来。共享运行时解释提交的输入，使用服务，保存结果，并渲染由此得到的界面。用户继续该工作流时，应用保持其身份。

应用侧智能体解释提交的输入，执行业务操作，并保存一个供界面呈现的结果。普通动作使用已有编排。改变了的要求则可以修订编排并生成更新后的界面，同时保留应用的身份和信息。附录 G 展示完整工作区。

3.3 运行应用

任务操作者提供当前回合的输入，跟随修订和扩展，并执行规定的回访。应用侧智能体使用其当前输入、已保存状态和可用的业务响应，执行提交的请求。模型普查通过回合请求调用已声明的动作。所记录的应用例子还跟随可见界面。

证据按原始顺序保留提交的输入、应用响应和业务操作。后来的回合可以引用更早确立的信息，包括由共享同一业务世界的应用所产生的信息。回访读取被保留的结果，而不是重新创建它。

3.4 检查结果

所请求的目标决定哪条记录或哪一次状态变化重要。可见证据描述呈现给用户的结果。业务观察确立被记录的操作和已保存的效果。对以记录为中心的例子，独立读取让同一实体经历创建、修订、取回和返回。

一次优先级修订，要求预期记录上出现所请求的值。仅有确认，只能确立界面作出了响应。同样，重新打开后的恢复确立的是被保留信息的持久性，其正确性仍必须对照请求来检查。附录 E 中的例子，通过同一应用和同一记录在相继交互中的表现，考察这些区别。

4 评测

模型普查对照基准原有的操作性断言，评测生成的编排。打开检查测试预期视图、输入和动作绑定是否可用。后来的断言检查业务调用、对已保存信息的变更、显示结果中的证据，以及被保留的状态。表 2 报告模型配置和任务族结果。

全工作流率是满足每一条被分配断言的任务所占比例。断言通过率度量全部被分配断言上的覆盖。这些度量确立的是被记录的检查；超出这些检查的语义要求，需要单独的业务证据。打开覆盖要求一项任务内的每一个打开回合都通过，包括共享世界任务中后面的那个应用。这些指标把被拒绝的生成和不可用的响应保留在各自被分配的分母中。普查对每个模型使用所记录的生成程序，因此比较描述的是被评测的系统。指标定义和普查的展示规则见附录 B。

我们根据存档的逐任务、逐回合记录重新计算这些度量。对每项失败的任务，第一个含有未满足断言的回合决定其失败阶段。该回合中失败的检查指出缺少了什么证据。被记录的生成错误和回合错误，与已完成的操作保持分开。这一分析把观察到的失败定位在规定序列之内，而不从阶段标签推断内部原因。

我们也比较不同模型所完成的任务集合。它们的并集度量哪些任务至少被一个被评测模型完成。它是回顾性的覆盖诊断，不是被测量的集成，也不是模型选择程序。所记录的应用例子，为交互和已保存的业务效果提供互补视图。附录 C 规定重算和分组规则。

5 结果

表 2 汇总模型表现。随后我们检查底层任务记录，以确定工作流在何处失败、哪些检查仍未满足，以及不同模型是否解决了相同的任务。

表 2：500 项被分配任务上的模型结果。 Open 计的是通过每一次打开检查的任务数。Single、Multi-tool、Shared 和 Overall 报告的是 FWR（%）。APR 覆盖 10,590 条断言（%）。模型按开发者分组，并在每一组内按 FWR 排序。粗体标出每一列的最高结果。

| 开发者 | 模型 | Open | Single $N=302$ | Multi-tool $N=130$ | Shared $N=68$ | Overall | APR | | --- | --- | --- | --- | --- | --- | --- | --- | | Amazon | Nova Premier | 152 | 2.98 | 1.54 | 0.00 | 2.20 | 22.74 | | DeepSeek | DeepSeek V4 Pro | 317 | 9.93 | 5.38 | 0.00 | 7.40 | 44.00 | | Google | Gemini 3.8 Flash | 463 | 17.55 | 3.08 | 7.35 | 12.40 | 65.07 | | Meta | Llama 4 Maverick | 27 | 0.33 | 0.00 | 0.00 | 0.20 | 4.19 | | MiniMax | MiniMax M3 | 33 | 0.66 | 0.00 | 0.00 | 0.40 | 4.62 | | Mistral | Mistral Medium 3.5 | 105 | 1.32 | 0.77 | 0.00 | 1.00 | 14.83 | | Moonshot | Kimi K3 | 395 | 20.53 | 4.62 | 5.88 | 14.40 | 61.11 | | NVIDIA | Nemotron 3 Ultra | 175 | 8.61 | 1.54 | 0.00 | 5.60 | 24.74 | | OpenAI | GPT-5.6-sol | 483 | 16.23 | 3.85 | 4.41 | 11.40 | 71.09 | | | GPT-5.6-luna | 331 | 11.59 | 3.85 | 2.94 | 8.40 | 48.59 | | Tencent | Hunyuan 3 | 175 | 6.62 | 2.31 | 0.00 | 4.60 | 26.33 | | | Hunyuan 4 Preview | 108 | 3.97 | 0.77 | 0.00 | 2.60 | 17.53 | | xAI | Grok 4.6 | 491 | 28.48 | 3.85 | 10.29 | 19.60 | 76.61 | | | Grok 4.5 | 496 | 22.19 | 3.08 | 7.35 | 15.20 | 73.42 | | Z.ai | GLM-5.2 | 329 | 13.25 | 4.62 | 2.94 | 9.60 | 50.04 |

##### 打开一个应用，远比完成它的工作流容易。

领先模型在几乎整个任务集合上都通过打开检查，但完整工作流仍然少见。图 4 比较任务族完成情况，以及全部被展示模型上打开与完成工作流之间的缺口。一个应用可以露出所请求的输入和动作，而后来的提交、修订或返回失败。这一缺口在断言覆盖很高的模型中仍然存在，因此宽泛的部分进展，不能完整描绘用户在整个任务中可以依赖的应用。

两个端点使用相同的被分配任务，因此缺口可以在每个模型内部解释。通过全部打开检查，确立的是规定的界面和入口可用。完成工作流还要求后来的动作在这些应用中满足其被分配的检查。图 4 中的长连接线表明这些要求多么经常地分开，即便应用打开很少是最早的失败来源。

图 4：任务族表现，以及从打开到完成的缺口。表 2 中的全部 15 个模型共用同一行序。（a）每个单元格报告该任务族内的全工作流成功，使用 302 项单应用任务、130 项多工具任务和 68 项共享世界任务。色标在所有单元格之间共享。（b）打开率和全工作流率对每个模型使用相同的 500 项被分配任务。连接线表示这两个任务级度量之间的缺口。

##### 排名取决于必须一起成功的是什么。

Sol 的打开覆盖和断言覆盖高于 Kimi，而 Kimi 完成更多工作流。 Kimi 的工作流优势在每一个被报告的任务族内都成立。因此，当任务集合按其工作流组织分开时，这一颠倒仍然存在。一个模型可以满足更多单条检查，却没有把这些成功集中到满足用户全部要求的应用上。

Grok 的变体之间出现类似颠倒。打开覆盖更广的变体完成的工作流更少，而工作流更强的变体也有更高的断言覆盖。因此，打开就绪并不能一致地保住由后一种度量得到的排名。

族列也会改变模型的总体排序。 DeepSeek 在多工具族上领先，尽管它在总体完成上低于若干模型。它的优势并不延伸到共享世界任务，它在那里没有完成任何工作流。Grok 在总体上，以及在单应用族和共享世界族上领先。这些差异描述的是被评测的系统和任务集合。它们并没有把任务结构的效应，从不同的要求和生成历史中分离出来。

##### 打开之后的主要损失来自提交和修订。

图 5 把每项任务分到其第一个失败回合，或分到成功。打开覆盖较低的模型经常在应用生成期间失败。对工作流最强的模型，提交一项请求是占主导的首次失败。修订是提交通过之后另一种常见的首次失败阶段。困难的过渡，是从可用的界面，到真正执行所请求操作的应用。

重新打开只占首次失败的一小部分。这并不能确立持久性可靠，因为已经在提交期间失败的任务会被分到那个更早的阶段。首次失败分析定位的是最早未满足的要求，而后来的结果仍留在任务记录中。打开阶段也可以在共享世界任务中再次出现，因此一次打开失败不必涉及序列中的第一个应用。

图 5：原始普查中的失败位置和被记录的证据。（a）每个模型的 500 项任务，按第一个失败的原生回合或按成功划分。纳入全部 17 个被选中的模型。 Open 可以包括共享世界任务中后面的应用。（b）7,925 次失败的任务分配，按其第一个失败回合中失败的检查分组，生成错误和回合错误单独列出。业务类和可见类可以在一个回合内重叠，合并类使所展示的组互斥。这些是被记录的失败模式，不是对内部原因的诊断。

##### 业务活动与得到支持的可见结果可以不一致。

失败画像把缺失的业务证据，和显示结果中缺失的支持分开。有些回合通过了所记录的业务检查，却未通过可见检查；另一些则两者都失败。附录 C.1 让一个被记录的应用经历这些不同的检查。业务检查关心的是被记录的调用和变更，而不是已保存值的每一个语义细节。

回合级比较为这一缺口提供互补视图。它包括可见检查通过而业务检查失败的回合，也包括相反结果的回合。第一种模式使显示结果缺少全部所需的业务证据。第二种记录了业务活动，但可见结果中缺少全部所需的支持。一项完整任务必须在同一序列上把这些要求接合起来。首次失败图对每项失败任务只计一次，而附录 C 中的联合检查分析保留发生这些不一致的各个回合。

这种不一致是不对称的：在同时具有两类证据的回合中，通过业务检查而未通过可见检查，比相反情况更常发生。因此，即便所需调用或变更已被记录，单凭业务活动也不是对观察到的失败的完整说明。可见检查增加了那些业务检查没有捕捉的要求。在解释部分进展时，这一区别重要：一次被记录的操作可以贡献断言覆盖，而应用仍然未能向用户呈现一个得到支持的结果。

##### 不同的成功留下一大组共同未解的任务。

比较任务身份，会揭示总分所掩盖的互补成功。把所有被评测模型观察到的成功任务合并，覆盖会超出最强模型，但大多数任务仍然没有任何模型解决。共同的困难在多工具族和共享世界族中尤其清楚，即便这一并集也只覆盖很少的任务。并集是对已有结果的回顾性诊断，而不是经过测试的集成。表 3 报告计数和任务族分母。

成功集合在总排名中也不是嵌套的。完成任务更少的模型，仍可能完成得分更高的模型所失败的任务。这解释了为什么把观察到的成功汇集起来会增加覆盖，但增益并没有去掉集合中很大的未解决部分。并集有助于把共同困难和互补优势分开。它并不确立成功的模型可以在执行任务之前被识别出来，也不把部分成功的应用计为已完成的工作流。

6 相关工作

终端用户软件工程研究人们如何为自己的任务开发软件（Ko et al., 2011），Mavo 把编写出的界面连接到持久的用户数据（Verou et al., 2016）。混合主动界面和 SUPPLE 使交互适应用户与设备（Horvitz, 1999; Gajos & Weld, 2004）。近来的生成式界面和可塑界面，通过语言和动态产出的视图扩展了这种灵活性（Chen et al., 2026; Vaithilingam et al., 2024; Min et al., 2025; Cao et al., 2025）。 Agent as App 把应用追踪到其初始呈现之后。生成的界面必须支持后来的请求，保留相关信息，并把用户变化中的意图连接到业务行为。

可复用的自动化提供了一种相关方式，把用户意图变成可重复的动作。 Sikuli、SUGILITE、PUMICE 和 CoScripter 使用视觉参照、示范或可访问脚本来规定行为（Yeh et al., 2009; Li et al., 2017; Li et al., 2019; Bogart et al., 2008）。语言智能体把推理与外部动作结合起来（Yao et al., 2023; Li et al., 2023; Qin et al., 2024），而工作流记忆提供可复用的执行结构（Wang et al., 2024b）。 Self-Refine 和 Reflexion 通过反馈改进输出或后来的尝试（Madaan et al., 2023; Shinn et al., 2023），生成式智能体则为持续行为维护记忆（Park et al., 2023）。 Agent as App 跟随在一个被保留的应用之内提出的请求，更早的信息和业务效果约束随后的每一个动作。

在一次尝试中的反馈，与来自用户的新请求，对应用提出不同要求。新请求可以修订预期结果，同时保留仍然相关的更早信息。例如，扩展礼品队列应当保留用户仍然需要的条目，而修订一项任务应当保持被修改记录的身份。这些依赖把关于当前请求的推理，连接到由更早请求创建的应用状态。该基准使这种连接在同一应用上可观察。

评测也取决于预期生成应当交付什么。 HumanEval 和 APPS 测试可执行程序，而 SWE-bench 测试对已有仓库的修改（Chen et al., 2021; Hendrycks et al., 2021; Jimenez et al., 2024）。 Design2Code 评测根据视觉设计得到的实现（Si et al., 2025）。 WebGen-Bench 和 ProgramBench 考察制品生成之后的功能（Lu et al., 2025; Yang et al., 2026），AUI-Gym 评测生成界面上的任务可解性（Lin et al., 2025）。 LiveUIBench 考察的应用，其智能体在使用期间仍然参与。它的有序请求测试局部成功是否构成完整工作流，包括修订和回访。

已有的智能体环境为这些要求提供互补覆盖。网页任务跨越紧凑界面、购物和真实网站（Shi et al., 2017; Yao et al., 2022; Deng et al., 2023; Zhou et al., 2024; He et al., 2024）。移动、桌面、企业和办公基准评测更丰富工作区上的交互（Rawles et al., 2025; Xie et al., 2024; Kapoor et al., 2024; Drouin et al., 2024; Wang et al., 2024a）。 AppWorld 和 $\tau$ 基准强调业务使用与共享状态（Trivedi et al., 2024; Yao et al., 2025; Barres et al., 2025）。 AssistantBench、GAIA 和 Agent’s Last Exam 考察更广的助手工作（Yoran et al., 2024; Mialon et al., 2024; Sun et al., 2026），而 ScienceWorld 和 AgentBench 包含有状态交互（Wang et al., 2022; Liu et al., 2024）。这些环境中的动作会改变后来步骤所依赖的信息。在基于模型的判断之外（Zheng et al., 2023），我们的评测保留动作证据和已保存的业务观察，以区分可见完成、持久性，以及所请求的结果。

7 结论

我们把 Agent as App 提出为让应用适应用户变化要求的任务。 LiveUIAgent 把针对具体任务的编排连接到共享的智能体运行时，LiveUIBench 通过有序请求评测持续使用。原始普查记录表明，打开就绪和部分断言覆盖在何处停在全工作流完成之前。提交失败、业务证据与显示证据的不一致，以及在各模型上都未解决的任务，标出不同的挑战。该基准把这些测量连接到一个被保留应用的行为。

人工智能使用声明

在本工作中，我们使用生成式人工智能工具做语言润色、编码辅助和基准构建。作者审阅了人工智能辅助的文本和代码，并对最终内容负责，包括基准任务、评测断言、分析和论断。

伦理声明

实验使用模拟的 AppWorld 服务和合成的任务身份，操作限制在模拟账户内。人工审阅检查任务规格及其预期行为。第三方服务软件和数据仍受其上游条款约束。

可复现性声明

第 2、3、4 节描述任务、LiveUIAgent 和模型评测。附录 B 定义操作性指标和普查范围。附录 D 详述任务标注，附录 E 解释主要案例的被记录证据。任务定义、初始业务状态、生成的应用和交互记录，支持对所报告观察的核验。可得性在附录 A 中说明。

参考文献

Barres et al. (2025)

Victor Barres, Honghua Dong, Soham Ray, Xujie Si, and Karthik Narasimhan.

$\tau^{2}$-bench，2025。题名保留原文。这是关于工具、智能体与用户交互的基准论文。

URL https://arxiv.org/abs/2506.07982。

Bogart et al. (2008)

Christopher Bogart, Margaret Burnett, Allen Cypher, and Christopher Scaffidi.

《野外的终端用户编程：对 CoScripter 脚本的实地研究》。

载于 2008 IEEE Symposium on Visual Languages and Human-Centric Computing（2008 年 IEEE 视觉语言与以人为中心的计算研讨会），第 39–46 页，2008。

doi: 10.1109/vlhcc.2008.4639056。

URL https://doi.org/10.1109/vlhcc.2008.4639056。

Cao et al. (2025)

Yining Cao, Peiling Jiang, and Haijun Xia.

《用生成并演化的任务驱动数据模型构建生成式、可塑的用户界面》。

载于 Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems（2025 年人机交互因素 CHI 会议论文集），2025。

doi: 10.1145/3706598.3713285。

URL https://doi.org/10.1145/3706598.3713285。

Chen et al. (2026)

Jiaqi Chen, Yanzhe Zhang, Yutong Zhang, Yijia Shao, and Diyi Yang.

《面向语言模型的生成式界面》。

载于 Findings of the Association for Computational Linguistics: ACL 2026（计算语言学协会 ACL 2026 研究发现），第 1499–1519 页，2026。

doi: 10.18653/v1/2026.findings-acl.74。

URL https://aclanthology.org/2026.findings-acl.74/。

Chen et al. (2021)

Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Mohammad Bavarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nichol, Alex Paino, Nikolas Tezak, Jie Tang, Igor Babuschkin, Suchir Balaji, Shantanu Jain, William Saunders, Christopher Hesse, Andrew N. Carr, Jan Leike, Josh Achiam, Vedant Misra, Evan Morikawa, Alec Radford, Matthew Knight, Miles Brundage, Mira Murati, Katie Mayer, Peter Welinder, Bob McGrew, Dario Amodei, Sam McCandlish, Ilya Sutskever, and Wojciech Zaremba.

《评测在代码上训练的大语言模型》，2021。

URL https://arxiv.org/abs/2107.03374。

Deng et al. (2023)

Xiang Deng, Yu Gu, Boyuan Zheng, Shijie Chen, Samuel Stevens, Boshi Wang, Huan Sun, and Yu Su.

Mind2Web：走向面向网页的通才智能体。

载于 Advances in Neural Information Processing Systems（神经信息处理系统进展），2023。

URL https://arxiv.org/abs/2306.06070。

Drouin et al. (2024)

Alexandre Drouin, Maxime Gasse, Massimo Caccia, Issam H. Laradji, Manuel Del Verme, Tom Marty, David Vazquez, Nicolas Chapados, and Alexandre Lacoste.

WorkArena：网页智能体解决常见知识工作任务的能力如何？

载于 Proceedings of the 41st International Conference on Machine Learning（第 41 届国际机器学习会议论文集），Proceedings of Machine Learning Research 第 235 卷，第 11642–11662 页。PMLR，2024。

Gajos & Weld (2004)

Krzysztof Gajos and Daniel S. Weld.

SUPPLE：自动生成用户界面。

载于 Proceedings of the 9th International Conference on Intelligent User Interfaces（第 9 届智能用户界面国际会议论文集），第 93–100 页，2004。

doi: 10.1145/964442.964461。

URL https://doi.org/10.1145/964442.964461。

He et al. (2024)

Hongliang He, Wenlin Yao, Kaixin Ma, Wenhao Yu, Yong Dai, Hongming Zhang, Zhenzhong Lan, and Dong Yu.

WebVoyager：用大型多模态模型构建端到端网页智能体。

载于 Lun-Wei Ku, Andre Martins, and Vivek Srikumar（编），Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)（计算语言学协会第 62 届年会论文集，第 1 卷：长文），第 6864–6890 页，泰国曼谷，2024 年 8 月。Association for Computational Linguistics。

doi: 10.18653/v1/2024.acl-long.371。

URL https://aclanthology.org/2024.acl-long.371/。

Hendrycks et al. (2021)

Dan Hendrycks, Steven Basart, Saurav Kadavath, Mantas Mazeika, Akul Arora, Ethan Guo, Collin Burns, Samir Puranik, Horace He, Dawn Song, and Jacob Steinhardt.

《用 APPS 度量编程挑战能力》。

载于 Proceedings of the Neural Information Processing Systems Track on Datasets and Benchmarks（神经信息处理系统会议数据集与基准轨道论文集），第 1 卷，2021。

URL https://arxiv.org/abs/2105.09938。

Horvitz (1999)

Eric Horvitz.

《混合主动用户界面的原则》。

载于 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems（SIGCHI 人机交互因素会议论文集），第 159–166 页，1999。

doi: 10.1145/302979.303030。

URL https://doi.org/10.1145/302979.303030。

Jimenez et al. (2024)

Carlos E. Jimenez, John Yang, Alexander Wettig, Shunyu Yao, Kexin Pei, Ofir Press, and Karthik R. Narasimhan.

SWE-bench：语言模型能解决真实世界的 GitHub 问题吗？

载于 The Twelfth International Conference on Learning Representations（第十二届学习表征国际会议），2024。

URL https://openreview.net/forum?id=VTF8yNQM66。

Kapoor et al. (2024)

Raghav Kapoor, Yash Parag Butala, Melisa A Russak, Jing Yu Koh, Kiran Kamble, Waseem AlShikh, and Ruslan Salakhutdinov.

OmniACT：一个用于桌面与网页上多模态通才自主智能体的数据集和基准。

载于 Proceedings of the European Conference on Computer Vision (ECCV)（欧洲计算机视觉会议论文集），2024。

doi: 10.1007/978-3-031-73113-6_10。

URL https://mlanthology.org/eccv/2024/kapoor2024eccv-omniact/。

Ko et al. (2011)

Amy J. Ko, Robin Abraham, Laura Beckwith, Alan Blackwell, Margaret Burnett, Martin Erwig, Chris Scaffidi, Joseph Lawrance, Henry Lieberman, Brad Myers, Mary Beth Rosson, Gregg Rothermel, Mary Shaw, and Susan Wiedenbeck.

《终端用户软件工程的现状》。

ACM Computing Surveys（《ACM 计算综述》），43(3):1–44，2011。

doi: 10.1145/1922649.1922658。

URL https://doi.org/10.1145/1922649.1922658。

Li et al. (2023)

Minghao Li, Yingxiu Zhao, Bowen Yu, Feifan Song, Hangyu Li, Haiyang Yu, Zhoujun Li, Fei Huang, and Yongbin Li.

API-Bank：面向工具增强大语言模型的综合基准。

载于 Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing（2023 年自然语言处理经验方法会议论文集），第 3102–3116 页。Association for Computational Linguistics，2023。

doi: 10.18653/v1/2023.emnlp-main.187。

URL https://aclanthology.org/2023.emnlp-main.187/。

Li et al. (2017)

Toby Jia-Jun Li, Amos Azaria, and Brad A. Myers.

SUGILITE：通过示范创建多模态智能手机自动化。

载于 Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems（2017 年人机交互因素 CHI 会议论文集），第 6038–6049 页，2017。

doi: 10.1145/3025453.3025483。

URL https://doi.org/10.1145/3025453.3025483。

Li et al. (2019)

Toby Jia-Jun Li, Marissa Radensky, Justin Jia, Kirielle Singarajah, Tom M. Mitchell, and Brad A. Myers.

PUMICE：从自然语言和示范中学习概念与条件的多模态智能体。

载于 Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology（第 32 届 ACM 用户界面软件与技术研讨会论文集），第 577–589 页，2019。

doi: 10.1145/3332165.3347899。

URL https://doi.org/10.1145/3332165.3347899。

Lin et al. (2025)

Kevin Qinghong Lin, Siyuan Hu, Linjie Li, Zhengyuan Yang, Lijuan Wang, Philip Torr, and Mike Zheng Shou.

《把计算机使用智能体当作生成式用户界面的评判者》，2025。

URL https://arxiv.org/abs/2511.15567。

Liu et al. (2024)

Xiao Liu, Hao Yu, Hanchen Zhang, Yifan Xu, Xuanyu Lei, Hanyu Lai, Yu Gu, Hangliang Ding, Kaiwen Men, Kejuan Yang, Shudan Zhang, Xiang Deng, Aohan Zeng, Zhengxiao Du, Chenhui Zhang, Sheng Shen, Tianjun Zhang, Yu Su, Huan Sun, Minlie Huang, Yuxiao Dong, and Jie Tang.

AgentBench：把大语言模型当作智能体来评测。

载于 The Twelfth International Conference on Learning Representations（第十二届学习表征国际会议），2024。

URL https://arxiv.org/abs/2308.03688。

Lu et al. (2025)

Zimu Lu, Yunqiao Yang, Houxing Ren, Haotian Hou, Han Xiao, Ke Wang, Weikang Shi, Aojun Zhou, Mingjie Zhan, and Hongsheng Li.

WebGen-Bench：评测大语言模型从零生成交互式、可用网站的能力。

载于 Advances in Neural Information Processing Systems（神经信息处理系统进展），第 38 卷，第 80192–80236 页，2025。

doi: 10.52202/085713-2419。

URL https://doi.org/10.52202/085713-2419。

Madaan et al. (2023)

Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck, Amir Yazdanbakhsh, and Peter Clark.

Self-Refine：带自我反馈的迭代改进。

载于 A. Oh, T. Naumann, A. Globerson, K. Saenko, M. Hardt, and S. Levine（编），Advances in Neural Information Processing Systems（神经信息处理系统进展），第 36 卷，第 46534–46594 页。Curran Associates, Inc.，2023。

doi: 10.52202/075280-2019。

Mialon et al. (2024)

Grégoire Mialon, Clémentine Fourrier, Craig Swift, Thomas Wolf, Yann LeCun, and Thomas Scialom.

GAIA：通用人工智能助手基准。

载于 International Conference on Learning Representations（学习表征国际会议），第 9025–9049 页，2024。

doi: 10.48550/arXiv.2311.12983。

URL https://arxiv.org/abs/2311.12983。

Min et al. (2025)

Bryan Min, Allen Chen, Yining Cao, and Haijun Xia.

《可塑的概览—细节界面》。

载于 Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems（2025 年人机交互因素 CHI 会议论文集），第 1–25 页，2025。

doi: 10.1145/3706598.3714164。

URL https://doi.org/10.1145/3706598.3714164。

Park et al. (2023)

Joon Sung Park, Joseph C. O’Brien, Carrie J. Cai, Meredith Ringel Morris, Percy Liang, and Michael S. Bernstein.

《生成式智能体：人类行为的交互式拟像》。

载于 Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology（第 36 届 ACM 用户界面软件与技术研讨会论文集），2023。

doi: 10.1145/3586183.3606763。

URL https://doi.org/10.1145/3586183.3606763。

Qin et al. (2024)

Yujia Qin, Shihao Liang, Yining Ye, Kunlun Zhu, Lan Yan, Yaxi Lu, Yankai Lin, Xin Cong, Xiangru Tang, Bill Qian, Sihan Zhao, Lauren Hong, Runchu Tian, Ruobing Xie, Jie Zhou, Mark Gerstein, Dahai Li, Zhiyuan Liu, and Maosong Sun.

ToolLLM：帮助大语言模型掌握 16000 多个真实世界 API。

载于 International Conference on Learning Representations（学习表征国际会议），第 9695–9717 页，2024。

URL https://arxiv.org/abs/2307.16789。

Rawles et al. (2025)

Christopher Rawles, Sarah Clinckemaillie, Yifan Chang, Jonathan Waltz, Gabrielle Lau, Marybeth Fair, Alice Li, William Bishop, Wei Li, Folawiyo Campbell-Ajala, Daniel Toyama, Robert Berry, Divya Tyamagundlu, Timothy Lillicrap, and Oriana Riva.

AndroidWorld：面向自主智能体的动态基准环境。

载于 International Conference on Learning Representations（学习表征国际会议），2025。

URL https://arxiv.org/abs/2405.14573。

Shi et al. (2017)

Tianlin Shi, Andrej Karpathy, Linxi Fan, Jonathan Hernandez, and Percy Liang.

World of Bits：面向基于网页的智能体的开放域平台。

载于 Doina Precup and Yee Whye Teh（编），Proceedings of the 34th International Conference on Machine Learning（第 34 届国际机器学习会议论文集），Proceedings of Machine Learning Research 第 70 卷，第 3135–3144 页。PMLR，2017 年 8 月 6–11 日。

Shinn et al. (2023)

Noah Shinn, Federico Cassano, Ashwin Gopinath, Karthik Narasimhan, and Shunyu Yao.

Reflexion：带言语强化学习的语言智能体。

载于 Advances in Neural Information Processing Systems（神经信息处理系统进展），第 36 卷，第 8634–8652 页。Curran Associates, Inc.，2023。

doi: 10.52202/075280-0377。

Si et al. (2025)

Chenglei Si, Yanzhe Zhang, Ryan Li, Zhengyuan Yang, Ruibo Liu, and Diyi Yang.

Design2Code：为自动化前端工程做多模态代码生成基准。

载于 Luis Chiruzzo, Alan Ritter, and Lu Wang（编），Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers)（计算语言学协会美洲分会 2025 年会议：人类语言技术，第 1 卷：长文），第 3956–3974 页，美国新墨西哥州阿尔伯克基，2025 年 4 月。Association for Computational Linguistics。

ISBN 979-8-89176-189-6。

doi: 10.18653/v1/2025.naacl-long.199。

URL https://aclanthology.org/2025.naacl-long.199/。

Sun et al. (2026)

Yiyou Sun, Xinyang Han, Weichen Zhang, Yuanbo Pang, Tianyu Wang, Yuhan Cao, Yixiao Huang, Chris Duroiu, Haoyun Zhang, Jeffrey Lin, Weishu Zhang, Tyler Zeng, Ying Yan, Bo Liu, Hanson Wen, Mingyang Xu, Xiaoyuan Liu, Zimeng Chen, Weiyan Shi, Amanda Dsouza, Vincent Sunn Chen, Patrick Bryant, et al.

《智能体的最后一场考试》，2026。原文题名为 Agents’ last exam。

URL https://arxiv.org/abs/2606.05405。

Trivedi et al. (2024)

Harsh Trivedi, Tushar Khot, Mareike Hartmann, Ruskin Manku, Vinty Dong, Edward Li, Shashank Gupta, Ashish Sabharwal, and Niranjan Balasubramanian.

AppWorld。

载于 Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)（计算语言学协会第 62 届年会论文集，第 1 卷：长文），第 16022–16076 页，泰国曼谷，2024 年 8 月。Association for Computational Linguistics。

doi: 10.18653/v1/2024.acl-long.850。

URL https://aclanthology.org/2024.acl-long.850/。

Vaithilingam et al. (2024)

Priyan Vaithilingam, Elena L. Glassman, Jeevana Priya Inala, and Chenglong Wang.

DynaVis：为可视化编辑动态合成的界面控件。

载于 Proceedings of the CHI Conference on Human Factors in Computing Systems（人机交互因素 CHI 会议论文集），第 1–17 页，2024。

doi: 10.1145/3613904.3642639。

URL https://doi.org/10.1145/3613904.3642639。

Verou et al. (2016)

Lea Verou, Amy X. Zhang, and David R. Karger.

Mavo：通过编写 HTML 创建交互式、数据驱动的网页应用。

载于 Proceedings of the 29th Annual Symposium on User Interface Software and Technology（第 29 届用户界面软件与技术研讨会论文集），UIST ’16，第 483–496 页。ACM，2016 年 10 月。

doi: 10.1145/2984511.2984551。

Wang et al. (2022)

Ruoyao Wang, Peter Jansen, Marc-Alexandre Côté, and Prithviraj Ammanabrolu.

ScienceWorld：你的智能体比五年级学生更聪明吗？

载于 Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing（2022 年自然语言处理经验方法会议论文集），第 11279–11298 页，阿拉伯联合酋长国阿布扎比，2022 年 12 月。Association for Computational Linguistics。

doi: 10.18653/v1/2022.emnlp-main.775。

URL https://aclanthology.org/2022.emnlp-main.775/。

Wang et al. (2024a)

Zilong Wang, Yuedong Cui, Li Zhong, Zimin Zhang, Da Yin, Bill Yuchen Lin, and Jingbo Shang.

OfficeBench：跨多个应用为办公自动化给语言智能体做基准，2024a。

URL https://arxiv.org/abs/2407.19056。

Wang et al. (2024b)

Zora Zhiruo Wang, Jiayuan Mao, Daniel Fried, and Graham Neubig.

《智能体工作流记忆》，2024b。原文题名为 Agent workflow memory。

URL https://arxiv.org/abs/2409.07429。

Xie et al. (2024)

Tianbao Xie, Danyang Zhang, Jixuan Chen, Xiaochuan Li, Siheng Zhao, Ruisheng Cao, Toh Jing Hua, Zhoujun Cheng, Dongchan Shin, Fangyu Lei, Yitao Liu, Yiheng Xu, Shuyan Zhou, Silvio Savarese, Caiming Xiong, Victor Zhong, and Tao Yu.

OSWorld：在真实计算机环境中为开放式任务给多模态智能体做基准。

载于 Amir Globerson, Lester Mackey, Danielle Belgrave, Angela Fan, Ulrich Paquet, Jakub Tomczak, and Cheng Zhang（编），Advances in Neural Information Processing Systems（神经信息处理系统进展），第 37 卷，第 52040–52094 页。Curran Associates, Inc.，2024。

doi: 10.52202/079017-1650。

URL https://arxiv.org/abs/2404.07972。

Yang et al. (2026)

John Yang, Kilian Lieret, Jeffrey Ma, Parth Thakkar, Dmitrii Pedchenko, Sten Sootla, Emily McMilin, Pengcheng Yin, Rui Hou, Gabriel Synnaeve, Diyi Yang, and Ofir Press.

ProgramBench：语言模型能从零重建程序吗？，2026。

URL https://arxiv.org/abs/2605.03546。

Yao et al. (2022)

Shunyu Yao, Howard Chen, John Yang, and Karthik Narasimhan.

WebShop：用有依据的语言智能体走向可扩展的真实世界网页交互。

载于 Advances in Neural Information Processing Systems（神经信息处理系统进展），2022。

doi: 10.52202/068431-1508。

URL https://arxiv.org/abs/2207.01206。

Yao et al. (2023)

Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, and Yuan Cao.

ReAct：在语言模型中协同推理与行动。

载于 International Conference on Learning Representations（学习表征国际会议），2023。

URL https://arxiv.org/abs/2210.03629。

Yao et al. (2025)

Shunyu Yao, Noah Shinn, Pedram Razavi, and Karthik Narasimhan.

$\tau$-bench：真实世界领域中工具、智能体与用户交互的基准。

载于 International Conference on Learning Representations（学习表征国际会议），第 9965–10017 页，2025。

URL https://arxiv.org/abs/2406.12045。

Yeh et al. (2009)

Tom Yeh, Tsung-Hsiang Chang, and Robert C. Miller.

Sikuli：用图形界面截图做搜索和自动化。

载于 Proceedings of the 22nd Annual ACM Symposium on User Interface Software and Technology（第 22 届 ACM 用户界面软件与技术研讨会论文集），第 183–192 页。Association for Computing Machinery，2009。

doi: 10.1145/1622176.1622213。

URL https://doi.org/10.1145/1622176.1622213。

Yoran et al. (2024)

Ori Yoran, Samuel Joseph Amouyal, Chaitanya Malaviya, Ben Bogin, Ofir Press, and Jonathan Berant.

AssistantBench：网页智能体能解决真实且耗时的任务吗？

载于 Yaser Al-Onaizan, Mohit Bansal, and Yun-Nung Chen（编），Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing（2024 年自然语言处理经验方法会议论文集），第 8938–8968 页，美国佛罗里达州迈阿密，2024 年 11 月。Association for Computational Linguistics。

doi: 10.18653/v1/2024.emnlp-main.505。

URL https://aclanthology.org/2024.emnlp-main.505/。

Zheng et al. (2023)

Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric Xing, Hao Zhang, Joseph Gonzalez, and Ion Stoica.

《用 MT-Bench 和 Chatbot Arena 评判“以大语言模型为评判者”》。

载于 A. Oh, T. Naumann, A. Globerson, K. Saenko, M. Hardt, and S. Levine（编），Advances in Neural Information Processing Systems（神经信息处理系统进展），第 36 卷，第 46595–46623 页。Curran Associates, Inc.，2023。

doi: 10.52202/075280-2020。

Zhou et al. (2024)

Shuyan Zhou, Frank F. Xu, Hao Zhu, Xuhui Zhou, Robert Lo, Abishek Sridhar, Xianyi Cheng, Tianyue Ou, Yonatan Bisk, Daniel Fried, Uri Alon, and Graham Neubig.

WebArena：为构建自主智能体而设的真实网页环境。

载于 International Conference on Learning Representations（学习表征国际会议），第 15585–15606 页，2024。

URL https://arxiv.org/abs/2307.13854。

附录 A 评测材料

模型普查和案例研究保留解释其结果所需的任务定义、生成的应用、初始业务上下文和被记录的观察。人工标注记录把任务规格连接到相应的判断和评论。模型普查使用原有的操作性断言。案例研究跟随选定的执行，并解释每次执行中的可见证据和已保存证据。

项目代码采用 Apache 2.0 许可证。第三方软件和数据保留其上游条款。完整的评测材料目前不公开。

附录 B 操作性检查与工作流覆盖

表 2 中的普查包括每一项被分配任务，包括暴露的开发任务、被拒绝的生成和不可用的响应。它对每个模型记录一次评测，并使用原有的操作性断言。打开检查测试已声明的输入和动作是否可用。后来的断言检查提交的动作、业务操作、状态变化和具名目标。主表纳入全工作流率非零的模型。

对带有被分配断言 $\mathcal{A}_{i}$ 的任务评测 $i$，指示量 $a_{ij}\in\{0,1\}$ 记录断言 $j$ 是否通过。所报告的指标是

	$\mathrm{FWR}=\frac{1}{N}\sum_{i}\prod_{j\in\mathcal{A}_{i}}a_{ij},\qquad\mathrm{APR}=\frac{\sum_{i}\sum_{j\in\mathcal{A}_{i}}a_{ij}}{\sum_{i}\	\mathcal{A}_{i}\	}.$		(3)

FWR 对任务评测等权，并要求全部被分配断言。 APR 对断言等权。这一区别解释了宽泛的部分覆盖为何能与很少的完整工作流并存，以及这些指标为何能对模型给出不同排序。应用例子另行把所请求的回合目标，关联到被记录的交互和已保存的业务效果。

附录 C 对原始普查记录的分析

该分析保留与模型普查相同的模型选择。在 500 个共同任务身份上有 17 次被选中的运行。主模型表展示全工作流完成数非零的 15 次运行。全部被选中的运行仍留在失败分析和覆盖分析中。被省略的表行是 Command A 和 GLM-5.3，各自在 500 项被分配任务中完成的工作流为零。纳入这些行并不改变解集并集和领先模型比较。

##### 重算。

当每一个规定回合中的每一条被记录断言都通过时，任务通过。打开覆盖是该任务内全部打开断言的合取。共享世界任务包含后来的打开回合，这些回合被计入。断言通过率用全部通过的断言除以被分配的断言数。被拒绝的生成和回合错误保留其失败的被分配检查。重算复现了所选普查的任务计数、打开计数、断言总数和任务族结果。

##### 第一个失败回合。

回合按其被记录的顺序遍历。最早含有失败断言的回合提供该任务的失败阶段。通过的任务进入成功类。由此得到的组划分全部被分配任务。对每个首次失败回合，生成错误优先，其次是被记录的回合错误。在其余记录中，失败的业务检查和可见检查或者组成联合组，或者组成各自的互斥组。剩余组包含保持失败。这些组描述被记录的证据，而不是模型出错的内部原因。

##### 业务检查与显示检查的联合。

同时具有业务检查和可见检查的回合，可以按每一检查组内的合取来分类。两者都通过的回合有 2,903 个，通过业务检查但未通过可见检查的有 2,305 个，相反模式有 1,351 个，两者都失败的有 3,626 个。另有 10,606 条记录含有错误占位。这些回合计数不同于任务级结果，也不同于首次失败划分。

##### 跨模型的覆盖。

表 3 在任一被选中的运行完成某项任务时，将该任务计一次。它并不假定有办法在观察到结果之前选出成功的模型。

表 3：从已有运行中观察到的任务覆盖。并集是在看到结果之后挑选成功任务，它不是被评测的集成。

选择或任务族	计数	被分配
最佳单次运行	98	500
最佳一对的并集	118	500
全部被选运行的并集	161	500
每一次运行都未解决	339	500
单应用，并集	139	302
多工具，并集	12	130
共享世界，并集	10	68

C.1 换班闹钟例子

用户创建早班和晚班闹钟配置，切换当前生效的配置，返回应用，再切换回去。在 sol 的执行中，创建和更新的 API 检查以及相应的数据库变更检查通过。修订后的可见结果未通过“当前为晚班”这一检查。重新打开之后，两个配置标签的保持检查都通过。后续再次通过所记录的业务检查，但未通过识别“当前为早班”的检查。因此，已保存的配置并不能确立界面正确报告了当前选择。这些原生业务检查关心的是被记录的调用和变更。它们并不是每一项闹钟配置字段都具有所请求含义的独立证明。

附录 D 对任务规格的人工标注

##### 审阅标准。

五名人工标注者检查所选任务的意图、预期行为、交互序列和准备好的测试条件。他们评估意图是否清楚、合理，以及预期行为及其检查是否遵循该意图。他们在三个裁决中选择一个：合理、有问题，或不确定，并在裁决为有问题或不确定时提供评论。这些判断评测的是任务规格。

##### 对齐目标与测试。

评论暴露出两种情况：一个看起来合理的测试，可能未能表达其目标。一个问题跟踪器保留了问题文本，却没有检查用户想要监视的回答状态。该任务现在包含一项后续，用来检查该状态。一个周年倒计时没有说清某个日期表示一次性事件还是每年重复的事件。目标规定了其预期行为所要求的一次性解释。第一项改动加强了对所承诺结果的覆盖。第二项改动消除了何种结果才算正确的歧义。

裁定还检查一项异议是否引入了超出用户目标的要求。脚本化交互期间提供的细节，或由这些输入直接得到的数量，不必出现在初始意图中。裁定把这些评论与任务输入和预期结果调和起来。

##### 标注界面与被记录的决定。

审阅界面呈现任务的初始意图和预期行为，以及其业务依赖和基准划分。详细视图包括交互回合、准备好的起始记录、断言和已有评论。因此，标注者可以把一项异议与完整任务序列比较，而不是只看其打开时的要求。

每一份提交的审阅把一项任务与审阅者身份、一项判断、一条评论和一个时间戳关联起来。合理、有问题和不确定，是所存储审阅标签的显示含义。有问题和不确定的提交必须有评论。额外的自由评论机制支持对任务的讨论。当审阅者再次访问同一任务时，后来的决定仍可追溯到更早的记录。

##### 标注的范围。

这些记录确立的是对任务规格的人工审阅。它们并不提供对生成应用是否成功的人工判断。评论为任务整理提供证据。应用结果通过被记录的执行和业务证据来解释。

附录 E 案例研究

下面的应用把这些区别关联到一次所请求的修订和持续使用。

图 6：可见的完成可以掩盖一个不正确的已保存值。裁切的界面细节和独立检查来自同一次湿地传感器执行。矩形裁切内的像素未改。 Normal 是界面标签。Medium 是所请求的业务值。该执行也违反了允许的操作次数。

图 6 跟随湿地传感器任务。用户请求中等优先级，而界面报告的是一次正常优先级更新。独立读取反而在修订、刷新和重新打开之后发现低优先级。可见判断和保持检查通过。同一条记录留了下来，但它的优先级未通过所请求的修订。

被保留的记录是预期记录，但它的优先级仍然是错的。

##### 相继请求扩展同一个礼品队列。

图 7 跟随一个 Amazon 礼品队列。用户先为 Dad 暂存一份已包装礼物，然后为 Ava 增加一份已包装礼物。界面增长到包含新增礼物，同时保留更早的条目。由此得到的队列在重新打开后仍然可见。截图确立的是队列的这一可见演变。业务结果需要单独的证据。

图 7：通过同一应用的相继请求。用户为 Dad 暂存一份已包装礼物，然后为 Ava 增加一份。裁切细节显示一条礼物条目、两条条目，以及重新打开后被保留的队列。每一处裁切内的像素未改。完整截图见附录 H。契约结果另行评测。

后来的请求扩展已有队列，返回视图保留更早的条目。可见的连续性说明了持续使用。正如湿地例子所示，已保存变更的正确性需要单独的证据。

E.1 支持性的记录检查

#### E.1.1 湿地优先级修订

图 6 把一处真实界面裁切，与同一次湿地传感器执行的独立检查合在一起。用户请求中等优先级。界面确认一次更新，并把 Normal 呈现为选中标签。对同一条已保存记录的独立读取，反而在修订、刷新和重新打开之后发现低优先级。所请求的业务值是 medium，因此已保存的值不满足该修订。

可见判断和保持检查针对的是不同观察。界面提供的是一次已被确认的交互的证据。回访提供的是应用恢复其状态的证据。业务读取确立：被恢复的值仍然不正确。该执行也超过了允许的变更次数。因此，它的失败具有超出确认措辞的、被记录的业务证据。

#### E.1.2 礼品队列的演变

图 7 呈现礼品队列应用中未经修饰的裁切。初始请求为 Dad 暂存一份已包装礼物。后来的请求为 Ava 增加一份已包装礼物，更早的条目仍然可见。单独记录的返回视图保留扩展后的队列。

附录 H 复现完整截图。返回截图与前一张修订后视图在像素上相同。这些观察支持对所显示队列及其保留情况的说明。它们本身并不能确立每一个所请求的业务效果。主分析用这个例子解释后来的请求如何扩展一个已有应用。

附录 F 局限

被评测的模型只覆盖了能够实现 Agent as App 的系统范围的一部分。未来的评测可以纳入更多模型族、不同的模型规模，以及专用于界面理解或业务使用的模型。这样的覆盖有助于确立：部分断言覆盖与完整工作流之间观察到的关系，是否在更广的能力集合上仍然成立。它也允许比较不同模型如何解释后来的请求、使用更早确立的信息，并在一次应用会话中维持用户的意图。

泛化仍有待在更多任务和业务环境中考察。新领域可能需要用户输入、业务操作和被保留信息的不同组合。更长的交互历史也可能引入反复修订，以及用户偏好的变化，这些在短工作流中不那么突出。在这些设定中评测，将测试个性化应用在累积上下文增长时，是否继续支持一个变化中的目标。扩展任务多样性、业务覆盖和使用时长，将为 Agent as App 的一般性提供更宽的说明。