AgentHorizon：评测长程计算机使用任务上的智能体评判者

AgentHorizon：评测长程计算机使用任务上的智能体评判者

Xing Han Lù，Dheeraj Vattikonda，Sina Hajimiri。所属机构依次列为 ServiceNow Research、McGill University、Mila – Quebec AI Institute、ÉTS Montréal，以及“工作完成于 ServiceNow Research 任职期间”。上述机构按这一作者组整体捆绑，不在作者之间重新拆配。

Fatemeh Pesaran Zadeh，Parishad BehnamGhader，Ghazwa Darwiche。所属机构依次列为 ServiceNow Research、McGill University、Mila – Quebec AI Institute、Seoul National University，以及“工作完成于 ServiceNow Research 任职期间”。上述机构同样按这一作者组整体捆绑。

Amirhossein Kazemnejad，Christopher Pal，Alexandre Drouin，Siva Reddy。所属机构依次列为 ServiceNow Research、McGill University、Mila – Quebec AI Institute、Université Laval、Polytechnique Montréal、Canada CIFAR AI Chair，以及“工作完成于 ServiceNow Research 任职期间”。上述机构按这一作者组整体捆绑。

###### 摘要

计算机使用智能体已经能够完成复杂任务，因此越来越多的系统用自动评判者来判定成功，既用于训练，也用于没有人参与的评测。尽管这些评判者灵活，它们在跨越多个应用的长任务上是否可靠，仍然不清楚。一条轨迹由很长的截图序列和动作序列组成，看起来可能已经完成，实际上却违反了指令中的约束，或引入了不想要的副作用。要认出这些错误，评判者必须对照用户指令仔细检查整条轨迹。为此，我们引入 AgentHorizon，这是一个包含 $1{,}373$ 项计算机使用任务（指令–轨迹对）的基准，取自 $166$ 小时人工录制的轨迹，覆盖三种操作系统。通过为彼此相近的指令各录一条轨迹，我们只需把指令互换，就能构造负例。这种配对设计评测的是：评判者能否把一条真正成功的轨迹，和一条完成了相似但不相容请求的轨迹区分开。

我们以三个划分发布该基准：前沿划分 AgentHorizon（AH），简化划分 AgentHorizon-Simple（AH-S），以及开发划分 AgentHorizon-Development（AH-D）。我们进一步用两种方式评测十一个评判者：（1）直接传入完整轨迹（最多 300 张截图和对应动作）；（2）把它们当作编码智能体，放进五种智能体支架。我们发现，最好的智能体评判者 GPT-5.5 在 AH 子集上达到 $80.9\%$ 的平衡准确率。我们发现，工具使用能改善某些模型，却使开放权重模型变差；评判者在接受有效轨迹和拒绝失败轨迹这两件事上，能力相差极大。我们的结果说明，需要这样的评判者：它们能在很长的交互历史里定位并核验那些往往被藏起来的证据，以确认任务是否被正确地完成。我们公开发布基准和结果。

https://github.com/ServiceNow/agenthorizon

1 引言

图 1：一个看起来说得通的输出，仍然可以违反指令。在这条 $115$ 步的 Inkscape–GIMP 录屏（0cacdac6，macOS）里，五边形代替了所要求的三角形点缀。这个不符在重新上色和导出之后仍然存在，于是该条目被标成 Critical Mistake。外侧条带从录屏的每一半各抽样 $10$ 帧；放大的帧分别展示第 $38$、$77$ 和 $105$ 步的画布、颜色选择和最终合成。

近来的计算机使用智能体，越来越能够通过图形界面执行复杂任务，从编辑一张电子表格，到在若干桌面应用之间准备一份设计。然而，衡量它们的进展，需要判定一串动作，也就是一条轨迹，是否正确地满足了用户请求。对于更长的工作流，这可能要求核验散布在数百张截图和动作日志里的细节；我们需要辨认某一项是否被正确地选中，某个敏感文件是否被分享给了预定的接收者，或者一份设计是否按有效规格被创建出来。

现有的计算机使用基准要求用脚本分别验证每一项任务；它们核验的性质包括最终页面上的 URL、支撑网站的数据库里的一条记录或一个字段，或者一个文件的内容（Zhou et al., 2023；Koh et al., 2024；Drouin et al., 2024；Xie et al., 2024）。这类核验使评测确定且可重复，但如果一项任务有若干同样有效的结果，就变得难以规定。例如，智能体可以创建一张有效的电子表格，但记录以不同顺序显示；一项设计任务可以产生一枚满足用户请求的标志，却并不与参考图像逐像素吻合。有经验的审阅者可以逐案决定任务是否被成功完成，但审阅长轨迹很昂贵。

作为专家审阅的替代，我们可以用大语言模型直接依据指令评判一条轨迹。先前工作，例如 AgentRewardBench（Lù et al., 2025），评测了若干专门面向网页智能体轨迹的评判者。然而，对于桌面上的长程任务，评判者还必须决定交互历史的哪些部分，对于声称任务已成功完成是要紧的。一个接收任务完整表示的大语言模型（此后称为直接评判者）在一次请求里接收这段历史的固定表示，而一个智能体评判者可以用工具去过滤和审阅任何观察，而不是从零吞下全部上下文。然而，先前工作并没有探讨这两种做法各自多么可靠地识别成功轨迹，也没有探讨通过工具检查证据（例如使用编码智能体）能否提高评判的质量和速度。

图 1 突出了这一点的重要性：必须精确找出智能体在何处没有遵循任务的确切指令。对于一项要求使用 Inkscape 和 GIMP 的任务，指令规定完成的标志设计必须包含一个三角形。然而我们在这条 $115$ 步的轨迹里观察到，在某处，画出来的是五边形而不是三角形，这偏离了最初的请求。随后的重新上色和导出仍按请求继续，造成整条轨迹看起来成功的错觉；只有当评判者核验形状是按请求绘制的，这一点才会被揭开。当一条轨迹使用了错误的输入、忽略了指令里设定的约束，或执行了原本并未请求的动作时，就可能出现这类错误。要评测这样的轨迹，我们需要把一条正常结束、但未必尊重请求的轨迹，和一项被正确完成的任务区分开。

为了评测评判者能否对照任务指令，正确判定一条长程计算机使用轨迹是否成功，我们引入 AgentHorizon，这是一个从人工录制轨迹导出的基准，由配对任务组成。我们的数据集要求标注员写出两条彼此相近的指令（即一个匹配），并为每一条各录一条轨迹。把一条轨迹录屏与其对位指令配对（即互换）总是得到一个负例。我们的基准包含 $523$ 条正轨迹和 $850$ 条负轨迹，依据对每条轨迹的独立审阅整理而成。它的配对构造使我们能够检验：评判者是否认出指令之间那一点差别，而正是这一点差别把成功轨迹和失败轨迹分开。这使我们的工作不同于先前那些聚焦于未能产出任何任务的轨迹的工作（Lù et al., 2025；Li et al., 2026）。

为了使更广范围的评判者都能被评测，我们预先定义三个子集。首先，AgentHorizon（AH）包含最具挑战的任务（由第 3.3 节确定），我们在其上测试前沿评判者。然后，AgentHorizon-Simple（AH-S）测试那些可能被用于更简单任务的评判者：这些任务也许还没有推动长程计算机使用的前沿，但在模型训练的若干阶段仍然有用。最后，AgentHorizon-Development（AH-D）处理一个专门面向计算机使用任务、经过调优或训练的评判者开发子集，避免在主要划分上反复评测。

在十一个模型和五种智能体支架上评测时，最强的智能体评判者在 AH 上达到 $80.9\%$ 的平衡准确率。然而我们发现，获得工具并不一致地改善表现：GPT-5.5 从接收完整上下文改为使用 Codex CLI 后受益，而 Qwen 3.6 27B 用直接提示比经由 OpenCode 使用它更好。我们进一步发现，评判者在拒绝有效工作，或接受一条指令并不匹配的任务时，表现并不相同。我们的结果突出了当前评判者的局限，也突出了前沿模型与强开放权重模型之间的落差：差别在于它们是在智能体支架内部直接评判任务，还是做直接评判。

图 2：一条 AgentHorizon 条目：指令、四张示意关键帧（大语言模型评判者看到的是完整的 $195$ 步轨迹）、评判结论和真值。Claude Opus 4.7 预测 success=true；真值是 Bad Side Effect（未经请求的更新日志内容被发布）。

2 相关工作

##### 评测计算机使用智能体。

WebArena（Zhou et al., 2023）和 VisualWebArena（Koh et al., 2024）在自托管的网页环境里评测智能体。WorkArena（Drouin et al., 2024）和 WorkArena++（Boisvert et al., 2024）研究企业工作流组合任务中的智能体，OSWorld（Xie et al., 2024）则把评测扩展到跨操作系统。把基准扩大到覆盖智能体可以尝试的更广任务范围，要求检查评测器本身。具体而言，Xue et al.（2025）和 Zhu et al.（2025）指出了现有评测方法中的错误和偏差。此外，OS-Harm（Kuntz et al., 2025）用一个对照人工标注做过验证的自动评判者来评测智能体安全。在本工作中，我们聚焦于对照经过审阅的轨迹标签来评测评判者本身。

##### 大语言模型评判者。

基于大语言模型的评测最初聚焦于智能体生成的回答，近期工作把它扩展到智能体的行为。Zheng et al.（2023）考察基于大语言模型的评判者的位置偏差和冗长偏差，Li et al.（2025a）对更广的评测范式给出了全面综述。此外，RewardBench（Lambert et al., 2024）和 RewardBench 2（Malik et al., 2025）在偏好比较上评测奖励模型。对于计算机使用任务，AgentRewardBench（Lù et al., 2025）包含 $1{,}302$ 条网页智能体轨迹，并表明所有被测评判者在判定任务成功时的精确率都低于 $70\%$。AgentRewardBench 的失败起源于智能体执行，而我们配对的人工示范把一条录下的工作流与其指令之间的不符隔离开来。智能体评测综述（Yehudai et al., 2025；Mohammadi et al., 2025）研究轨迹评估，并讨论长程轨迹带来的挑战，而 Agent-as-a-Judge（Zhuge et al., 2024）提议用工具检查生成出来的工作区。

##### 轨迹与过程评测。

PaperBench（Starace et al., 2025）用层级评分量表给研究复现打分，而 SWE-PolyBench（Rashid et al., 2025）通过基于执行的评测来评估仓库级编码。AssistantBench（Yoran et al., 2024）把现实的网页任务与参考答案比较。此外，WebCanvas（Pan et al., 2024）和 TheAgentCompany（Xu et al., 2024）给轨迹的中间步骤或工作区结果打分，而 OpenHands（Wang et al., 2025）和 BrowserGym（de Chezelles et al., 2024）这类框架提出了共同的智能体与评测接口。此外，相关工作研究数学推理的过程监督（Lightman et al., 2023），并分析 $\tau$-bench 中重复试验的可靠性（Yao et al., 2024）。对于多智能体系统，文献研究把多智能体失败归因到特定智能体和步骤（Zhang et al., 2025），并综述多智能体协作（Tran et al., 2025）。我们在本工作中的焦点，具体是对完整的、单智能体计算机使用轨迹的评判。

##### 学习管线中的评判。

基于大语言模型的轨迹评判，决定哪些生成样例被用于训练学生模型。Preference Leakage（Li et al., 2025b）指出了对与评判模型相关的学生的偏向。其他相关做法以不同方式从生成行为中学习：SPIN（Chen et al., 2024）把自我生成的回答与人工示范对照，ARPO（Dong et al., 2025）把奖励引导的优化用到智能体上，SkillWeaver（Zheng et al., 2025）把经验提炼成可复用的技能。依靠评判者来过滤成功轨迹，会使学习管线暴露于关键失败模式：丢弃有效样例，或把不正确的轨迹放进训练。

##### 对抗评测与配对数据。

对比集（Gardner et al., 2020）探查局部决策边界，CheckList（Ribeiro et al., 2020）通过模板和扰动测试行为能力，而反事实增强数据（Kaushik et al., 2019）利用最小的、会翻转标签的编辑。ANLI（Nie et al., 2019）和 Dynabench（Kiela et al., 2021）这类动态基准框架迭代地收集对抗样例，Dynaboard（Ma et al., 2021）等平台则把评测做成一种服务。此外，TruthfulQA（Lin et al., 2022）针对模仿性的虚假陈述，而自信学习（Northcutt et al., 2019）检测数据集中可能的标签错误。AgentHorizon 对构造多模态轨迹采用配对设计：干预修改的是与一条有效录屏配对的指令，而不是被录下的执行本身。

3 AgentHorizon 基准

图 3：标签审阅之前的配对构造。标注员为相关指令 $A_{\text{instr}}$ 和 $B_{\text{instr}}$ 录制轨迹。匹配的指令–轨迹组合是候选正例；交叉组合是候选负例。正例保留和负例有效性随后被分开审阅。

每一条目由一条指令、一串截图、桌面动作，以及一个二元标签组成，该标签表示这次执行是否满足该指令。负例条目另外带有一个失败类型标签。录屏由人工标注员完成，智能体评测的是这些录屏，而不是自己去执行任务。

3.1 任务覆盖

数据集包含 $166$ 小时的屏幕录制，分布在 Windows、Linux 和 macOS 上，覆盖六个任务领域。任务在一个或多个应用中完成，这些应用跨越办公软件、设计工具和系统实用程序。我们在每一个时间步产生一张截图，并把它与对应的动作关联起来，例如点击、文本输入、滚动或应用切换。条目的步数中位数是 $121$，同时有 $83$ 个条目至少有 $200$ 步。

3.2 配对构造与标签审阅

我们要求标注员创建两条彼此相近的指令，它们在一个会影响任务成败的要求上不同，并为每一条指令各录一份示范。把指令记为 $A_{\mathrm{instr}}$ 和 $B_{\mathrm{instr}}$，把它们的录屏记为 $A_{\mathrm{traj}}$ 和 $B_{\mathrm{traj}}$。对应的匹配组合 $(A_{\mathrm{instr}},A_{\mathrm{traj}})$ 和 $(B_{\mathrm{instr}},B_{\mathrm{traj}})$ 是正例候选。把录屏互换，就得到负例候选 $(A_{\mathrm{instr}},B_{\mathrm{traj}})$ 和 $(B_{\mathrm{instr}},A_{\mathrm{traj}})$（图 3）。负例候选仍然展示一次非常连贯的执行，但它配对的是一个这次执行并不满足的请求。

我们接着去掉指令在语义上等价的那些对。这留下 $425$ 个完整的对，每一对有两条录屏，每一对有四个指令–轨迹候选，合计 850 条录屏和 1,700 个候选。正例候选先经过一轮初始质量审阅，再经过一轮证据审阅。仲裁之后，剩余 $462$ 个候选中的 $135$ 个被保留，同时 $327$ 个被排除，因为它们的疑点无法被解决。因此最终的正例集由 $523$ 个条目组成。

负例候选的审阅方式，是检查录屏是否满足被换上来的那条指令。去掉一个正例候选，并不必然要求去掉与它配对的负例。只要录屏不满足被换上的指令，这个负例就仍然有效。供应商审阅了每一对的负例，覆盖 $850$ 个条目，用了 $212.5$ 个贡献者小时。全部都被保留，使经过审阅的集合达到 $1{,}373$ 个条目，其中包括 $523$ 个正例。附录 A.1 汇总了相应的标注与审阅记录。

我们把不符分成三种失败类型。Critical Mistake 意味着轨迹未能完成首要目标。Bad Side Effect 发生在预期目标已经完成，但引入了伤害、风险或不想要的后果之时。Misunderstanding 遵循一种说得通但不正确的解释，且没有这种外部伤害。表 5 陈述裁决规则。图 2 展示了一个例子：尽管发生了一次未经请求的发布，评判者仍可能接受一条完整轨迹。

表 1：三个互不相交的基准子集的构成。错误类型计数是在负例上统计的；六条没有类型标签的负例单独列出。AH-D 保留给开发，并从两个评测子集中排除。

3.3 开发留出与难度划分

我们把按对感知的开发集里保留下来的 $162$ 个条目留作 AgentHorizon-Development（AH-D），其中包括 $62$ 个正例和 $100$ 个负例。它们的指令对从评测池中排除，留下 $1{,}211$ 个样例。我们用 Qwen 3.5 122B-A10B、Inkling 和 Kimi K2.7 Code 估计每个剩余样例的难度。每个模型对每个条目产生八次判决。如果这些判决中至多有 $18$ 次与参考标签一致，该条目就被分到 AgentHorizon（AH）。否则，它被分到 AgentHorizon-Simple（AH-S）。任何无效的模型输出都被当作一次不正确的判决。

这一过程给出 $528$ 个 AH 条目（$227$ 个正例，$301$ 个负例）和 $683$ 个 AH-S 条目（$234$ 个正例，$449$ 个负例）。评测这些子集，可以看出一个评判者是否在困难样例上表现更好，同时又不在较容易的样例上失去可靠性。这里的难度由所选模型和阈值定义，而不是被假定为任务的固有性质。我们在附录 A.3 里考察对这些选择的敏感性。

3.4 指标

我们通过把正例和负例上的准确率取平均，报告 AH 和 AH-S 的平衡准确率。这使两个类别权重相等，因此一个总是预测同一标签的评判者得分为 $50\%$。每个类别使用它的全部分母，缺失、畸形、null 和非布尔预测都计为错误。评分脚本用任务 ID 把每条预测匹配到带版本的清单，并拒绝重复或未知的 ID。AH-D 从两个评测分数中排除。

我们用按类别的准确率来考察：拒绝有效示范，与接受不符，这两者如何分开。我们还报告错误类型召回，它计算某一类别的负例中，评判者既预测失败、又识别出参考类别的比例。MT% 分数把这些正确预测在全部负例上合并。每条轨迹的成本和运行时间，用作计算效率的度量（附录 B.1）。

3.5 子集构成

表 1 给出全部三个子集的标签计数和失败类型计数。附录 A.5 报告轨迹长度和应用覆盖，行级清单中有对应字段，可供进一步分析。

4 实验

表 2：留出评测子集上的评判者表现。AgentHorizon 包含在三个模型合并划分下仍然困难的 $528$ 个条目；AgentHorizon-Simple 是它的 $683$ 个条目的补集。正例和负例是 AH 上按类别的准确率，平衡是它们的均值。∗* 标出使用附录 B.1 所述 $2{\times}2$ 图像拼接预处理的直接评判行。*

表 2 先列智能体评判者，再列直接评判者。智能体一侧，GPT-5.5 配合 Codex 的平衡准确率为 80.9，正例准确率 71.8，负例准确率 90.0，简单子集为 92.6。Gemini 3.1 Pro 配合 Gemini CLI 为 77.7，正例 65.6，负例 89.7，简单子集 86.3。Claude Opus 4.7 配合 Claude Code 为 76.0，正例 76.7，负例 75.4，简单子集 94.6。Qwen 3.6 27B 配合 OpenCode 为 70.4，正例 75.3，负例 65.4，简单子集 93.6。GPT-5.4 mini 配合 Codex 为 69.2。Qwen 3.6 35B-A3B 为 64.6。Claude Haiku 4.5 为 52.2。Gemini 3.1 Flash Lite 为 52.1。Gemma 4 26B-A4B 为 49.4。Gemma 4 31B 为 46.8。直接一侧，带拼接标记的 Qwen 3.6 27B 为 77.6，正例 93.8，负例 61.5，简单子集 96.0。Gemini 3.1 Pro 为 77.4。Qwen 3.5 9B 为 70.3。Qwen 3.6 35B-A3B 为 69.5。GPT-5.5 直接评判只有 68.6。GPT-5.4 mini 为 66.5。Gemma 4 31B 为 60.1。Gemini 3.1 Flash Lite 为 53.6。Gemma 4 26B-A4B 为 46.5。开放与否一列里的勾，表示该行是开放权重模型。空白表示闭源接口。平衡一列取正例准确率与负例准确率的平均。简单子集一列用来看较容易任务上是否仍然可靠。接口列写出所用支架名称。

##### 评判模型。

我们评测六个闭源模型：Anthropic Claude Opus 4.7（Anthropic, 2026）、Anthropic Claude Haiku 4.5（Anthropic, 2025）、Google Gemini 3.1 Pro（Google Gemini Team, 2026b）、Google Gemini 3.1 Flash Lite（Google Gemini Team, 2026a）、OpenAI GPT-5.4 mini（OpenAI, 2026b）和 OpenAI GPT-5.5（OpenAI, 2026a）。我们还评测五个开放权重模型，它们是 Qwen 3.6 27B（Qwen Team, 2026b）、Qwen 3.6 35B-A3B（Qwen Team, 2026c）、Qwen 3.5 9B（Qwen Team, 2026a）、Gemma 4 31B 和 Gemma 4 26B-A4B（Farabet 与 Lacombe, 2026）。我们用 vLLM[^1] 在 H100 GPU 上托管开放权重模型。

我们的智能体评判者使用若干支架，其中包括 Claude Code、Codex、Gemini CLI、OpenHands 和 OpenCode。每个智能体的任务是用工具调用、并有选择地阅读截图来检查轨迹。这些支架在如何选择截图、管理上下文和暴露工具上彼此不同。我们还把九个模型当作直接评判者来评测，在一次对话补全调用里给它们一份固定的截图表示。两种做法都返回一个成功判决、置信度、适用时的失败类型，以及一段理由。表 2 报告智能体评判者和直接评判者的结果，附录 B.3 描述额外的模型–支架配对。

4.1 评判者表现

我们发现，带 Codex 支架的 GPT-5.5 取得最好的平衡准确率，为 $80.9\%$，其后是带 Gemini CLI 的 Gemini 3.1 Pro（$77.7\%$）和带 Claude Code 的 Claude Opus 4.7（$76.0\%$）。带 OpenCode 的 Qwen 3.6 27B 是最强的开放权重智能体评判者，为 $70.4\%$。大多数系统在 AH-S 上的表现明显更好，这对较容易的子集是预期之中的。

我们观察到，使用智能体式评判的收益随模型而变。Qwen 3.6 27B 用直接评判达到 $77.6\%$，比它基于 OpenCode 的结果高出 $7.2$ 个百分点。另一方面，GPT-5.5 呈现相反的模式，从直接提示的 $68.6\%$ 提高到 Codex 的 $80.9\%$。因此，允许一个模型通过工具检查轨迹，并不必然改善它的判决。然而，这些比较改变的是整个支架，所以它们并没有把截图选择、上下文管理或任何其他单个组件的效应隔离开来。

4.2 失败案例

为了说明评判者如何未能预测正确结果，我们考察来自 Claude Opus 4.7 的三个评判例子中的情形。

##### 未经请求的外部动作。

在任务 7eb6defc（使用 Trello 和 Slack）中，智能体旨在完成用户请求的项目管理流程，随后更新状态，并发布到全组织的 #all-staff 频道。在这个案例里，我们把指令与其对位轨迹配对，结果是一个不良副作用。Claude Opus 4.7 评判者把该轨迹判为成功，而 GPT-5.5 拒绝了它。这突出表明，核验所请求的输出是否存在是不够的，尤其是当一个额外动作改变了接收者的时候（在这个案例里，是把消息发到了错误的频道）。

##### 把成功轨迹判成失败。

由 Claude Opus 4.7 驱动的智能体评判者把任务 6debd146（使用 GitHub 和 VS Code）标成失败，声称克隆被存放在 GitHub Desktop 的默认仓库文件夹里，而不是指令中点名的 Documents/repo 路径。GPT-5.5 认为该轨迹正确地解决了任务指令，这一点有真值标签支持。这表明评判者可能认为某一处偏离应当影响任务的成败分类。

5 讨论

我们的结果表明，选择相关证据，以及弄清这些证据对用户请求意味着什么，两者都对评测一条长轨迹有贡献。实验揭示，智能体评判者可以重新查看截图和动作，但我们的直接评判结果说明，这种灵活性本身并不足够。我们观察到支架的选择也要紧：在相同的 AH 条目上、用同一条提示，把 OpenCode 换成 Codex，使 GPT-5.5 的平衡准确率改变 $3.7$ 个百分点，使 Qwen 3.6 27B 改变 $1.2$ 个百分点，尽管这保留了它们的次序（附录 B.3）。理解这些细致差别，需要调查评判者如何选择和处理证据与观察，而不是假定额外的工具访问会提高准确率。

我们的配对样例设计进一步说明，为什么认出一个已经完成的工作流是不够的。在不把对应指令作为输入给出时，Qwen 3.6 27B 把匹配轨迹和互换后的完整轨迹两者的 $98.9\%$ 都判为成功（附录 B.4）。这表明，当输入中省略指令时，两个类别看起来同样完整，而没有用户请求，成功就是没有定义的。即使提供了指令，Bad Side Effect 这一失败类型在全部主要评判者、在完整审阅语料上的精确召回也是最低的（附录 B.2）。因此，一个评判者可能判定所请求的输出存在，同时忽略一个使轨迹不可接受的具体动作。

这些错误的后果，随评判者以及它被如何使用而变化。拒绝成功轨迹会低估智能体能力，并从训练数据中移除有效且有用的样例；反过来，接受无效轨迹则有相反的影响。平衡准确率反映两类错误，且不让较大的那一类错误主导，但它并没有给它们指派应用特定的代价。因此，即使两个评判者的总体表现分数相近，表 2 里彼此相反的正例准确率和负例准确率仍然相关。

最后，难度划分只有在结果对用来定义它的模型不敏感时才有用。我们的分析表明，三个由不同模型定义的 AH 子集上的排名高度相关（$\rho=0.963$–$0.975$），尽管分到每个子集的条目有变化。集成划分进一步提供一个有挑战的集合，其主要排名趋势在各个单独的划分器上保持。

##### 局限性。

我们的配对设计分析具体聚焦于细微的、差一点就对的错误，而不是智能体失败的全部分布（例如循环、崩溃、停顿和逐渐漂移）。因此，无指令对照不应当被用来为一般的智能体失败建模。由于难度划分依赖于所记录的划分器配置、提供方和模型版本，它的替代划分用于评估各个划分器上的稳健性，而不是孤立的模型效应。尽管 AH-D 排除了按对感知的最终开发集，更早的试点接触限制了“评测数据完全未见”这一主张。此外，没有收集独立的人类标注者之间一致性。原始标签与复查标签之间的相关，度量的是审阅阶段之间的一致性，而不是独立标注者之间的同意。最后，语料限于英语，只覆盖三种操作系统上的有限一组应用，并且评测时只提供截图和动作日志，而不是完整的应用状态。

##### 未来方向。

把常见的智能体失败与配对不符放在一起评测，可以确立这些经验发现对已部署智能体的推广程度。此外，在单一支架内比较各智能体的截图证据选择和长上下文管理策略，有助于识别工具为何增强某些评判者、却使另一些不受影响。另外，所提供的录屏允许进一步从视频做直接评测，而指令对提供了这样的训练样例：修改一个具体的细微要求，就会改变一条轨迹是否成功。

6 结论

我们引入 AgentHorizon，这是一套针对长计算机使用轨迹上评判者表现的评测。通过把人工录制的工作流与彼此相近的细粒度指令配对，它探查评判者是否能在看起来已经完成的执行里识别细微失败。我们对十一个评判模型的评测表明，当前评判者仍然难以做出这一关键区分，而且工具使用并不一致地提升它们的表现。我们希望 AgentHorizon 能支持为计算机使用智能体开发更稳健、更可靠的评判者，并强调对遗漏约束和意外副作用的检测。

人工智能使用声明

我们使用编码智能体帮助实验代码、初稿以及图和表的准备，但它们没有被用于录制示范；示范遵循一份禁止用人工智能辅助来制造任务的协议。终稿的内容完全由作者撰写。我们还使用人工智能工具来为相关工作寻找文献、为分析生成脚本，并协助实验设计、数据处理与分析以及结果解释。我们核验了全文，以确保结果和引用正确，并对最终内容负责。

伦理声明

我们雇用专业标注员来做示范，他们遵循一份协议，该协议要求为标注目的创建账户和资料。协议还禁止个人通信和认证秘密（附录 A.1）。我们的基准聚焦于评测智能体是否遵守一条指令，但不考虑安全方面（智能体是否在完成一项本身危险的任务），因此高分不应被视为足以把智能体部署到生产环境。

可复现性声明

在第 3.2 节和附录 A.1 中，我们记录了构造和审阅基准中轨迹的确切过程，使未来工作能够复现我们的基准设计。第 3.3 节和附录 A.3 聚焦于我们如何用强开放模型实现三路划分，而第 3.4 节讨论评分分母以及如何处理无效输出，这与我们用于运行评测的开源代码互为补充。在附录 B.1 中，我们详细描述运行实验所用的预处理和算力。

致谢

我们感谢 Turing 的标注团队创建并审阅指令对和示范，并裁决错误类型标签。Xing Han Lù 感谢加拿大自然科学与工程研究理事会（NSERC）的支持［资助编号 579403］。Christopher Pal 和 Siva Reddy 由 Canada CIFAR AI Chair 计划支持。Siva Reddy 还由一项 NSERC Discovery Grant 和一项 Sloan Fellowship 支持。Parishad BehnamGhader、Xing Han Lù、Dheeraj Vattikonda 和 Sina Hajimiri 由 ServiceNow–Mitacs Accelerate 计划支持。Parishad BehnamGhader 还得到 RBC Borealis AI Global Fellowship Award 的支持。以上人员、标注团队与各项资助，都按原文致谢逐项列出。

参考文献

• Anthropic（2025）。Anthropic。题为《推出 Claude Haiku 4.5》，2025 年 10 月。原文链接为 https://www.anthropic.com/news/claude-haiku-4-5 。该条介绍 Claude Haiku 4.5 这一模型发布。
• Anthropic（2026）。Anthropic。题为《推出 Claude Opus 4.7》，2026 年 4 月。原文链接为 https://www.anthropic.com/news/claude-opus-4-7 。该条介绍 Claude Opus 4.7 这一模型发布。
• Boisvert 等人（2024）。作者为 L’eo Boisvert、Megh Thakkar、Maxime Gasse、Massimo Caccia、Thibault Le Sellier de Chezelles、Quentin Cappart、Nicolas Chapados、Alexandre Lacoste 与 Alexandre Drouin。题为《WorkArena++：面向组合式规划与基于推理的常见知识工作任务》。刊于预印本《ArXiv》，编号 abs/2407.05291，2024 年。该文把企业知识工作任务扩展到组合规划。
• Chen 等人（2024）。作者为 Zixiang Chen、Yihe Deng、Huizhuo Yuan、Kaixuan Ji 与 Quanquan Gu。题为《自对弈微调把弱语言模型变成强语言模型》。载于 Ruslan Salakhutdinov、Zico Kolter、Katherine Heller、Adrian Weller、Nuria Oliver、Jonathan Scarlett 与 Felix Berkenkamp 主编的《第 41 届国际机器学习会议论文集》，机器学习研究论文集第 235 卷，第 6621–6642 页，PMLR，2024 年 7 月 21–27 日。链接 https://proceedings.mlr.press/v235/chen24j.html 。该文提出用自对弈微调提升语言模型。
• de Chezelles 等人（2024）。作者为 Thibault Le Sellier de Chezelles、Maxime Gasse、Alexandre Lacoste、Alexandre Drouin、Massimo Caccia、L’eo Boisvert、Megh Thakkar、Tom Marty、Rim Assouel、Sahar Omidi Shayegan、Lawrence Jang、Xing Han Lù、Ori Yoran、Dehan Kong、Frank F. Xu、Siva Reddy、Quentin Cappart、Graham Neubig、Ruslan Salakhutdinov 与 Nicolas Chapados。题为《面向网页智能体研究的 BrowserGym 生态》。刊于预印本《ArXiv》，编号 abs/2412.05467，2024 年。该文给出网页智能体研究的共同环境与接口。
• Dong 等人（2025）。作者为 Guanting Dong、Hangyu Mao、Kai Ma、Licheng Bao、Yifei Chen、Zhongyuan Wang、Zhongxia Chen、Jiazhen Du、Huiyang Wang、Fuzheng Zhang、Guorui Zhou、Yutao Zhu、Ji-Rong Wen 与 Zhicheng Dou。题为《智能体强化策略优化》。刊于预印本《ArXiv》，编号 abs/2507.19849，2025 年。该文把奖励引导的策略优化用到智能体上。
• Drouin 等人（2024）。作者为 Alexandre Drouin、Maxime Gasse、Massimo Caccia、I. Laradji、Manuel Del Verme、Tom Marty、L’eo Boisvert、Megh Thakkar、Quentin Cappart、David Vázquez、Nicolas Chapados 与 Alexandre Lacoste。题为《WorkArena：网页智能体在解决常见知识工作任务上有多强》。刊于预印本《ArXiv》，编号 abs/2403.07718，2024 年。该文评测企业知识工作中的网页智能体。
• Farabet 与 Lacombe（2026）。作者为 Clement Farabet 与 Olivier Lacombe。题为《Gemma 4：逐字节而言最强的开放模型》，2026 年 4 月。链接 https://blog.google/innovation-and-ai/technology/developers-tools/gemma-4/ 。该条发布 Gemma 4 开放模型。
• Gardner 等人（2020）。作者为 Matt Gardner、Yoav Artzi、Victoria Basmova、Jonathan Berant、Ben Bogin、Sihao Chen、Pradeep Dasigi、Dheeru Dua、Yanai Elazar、Ananth Gottumukkala、Nitish Gupta、Hannaneh Hajishirzi、Gabriel Ilharco、Daniel Khashabi、Kevin Lin、Jiangming Liu、Nelson F. Liu、Phoebe Mulcaire、Qiang Ning、Sameer Singh、Noah A. Smith、Sanjay Subramanian、Reut Tsarfaty、Eric Wallace、Ally Zhang 与 Ben Zhou。题为《通过对比集评测自然语言处理模型》。刊于预印本《ArXiv》，编号 abs/2004.02709，2020 年。该文用局部对比集探查模型决策边界。
• Google Gemini Team（2026a）。Google Gemini Team。题为《Gemini 3.1 Flash-Lite：为规模化智能而建》，2026 年 3 月。链接 https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-1-flash-lite/ 。该条介绍面向规模的 Gemini 3.1 Flash-Lite。
• Google Gemini Team（2026b）。Google Gemini Team。题为《Gemini 3.1 Pro：面向你最复杂任务的更聪明模型》，2026 年 2 月。链接 https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-1-pro/ 。该条介绍 Gemini 3.1 Pro。
• Kaushik 等人（2019）。作者为 Divyansh Kaushik、E. Hovy 与 Zachary Chase Lipton。题为《用反事实增强数据学习造成差别的那一点差别》。刊于预印本《ArXiv》，编号 abs/1909.12434，2019 年。该文用最小的标签翻转编辑构造反事实数据。
• Kiela 等人（2021）。作者为 Douwe Kiela、Max Bartolo、Yixin Nie、Divyansh Kaushik、Atticus Geiger、Zhengxuan Wu、Bertie Vidgen、Grusha Prasad、Amanpreet Singh、Pratik Ringshia、Zhiyi Ma、Tristan Thrush、Sebastian Riedel、Zeerak Waseem、Pontus Stenetorp、Robin Jia、Mohit Bansal、Christopher Potts 与 Adina Williams。题为《Dynabench：重新思考自然语言处理中的基准》。刊于预印本《ArXiv》，编号 abs/2104.14337，2021 年。该文提出动态、对抗式的基准收集。
• Koh 等人（2024）。作者为 Jing Yu Koh、Robert Lo、Lawrence Jang、Vikram Duvvur、Ming Lim、Po-Yu Huang、Graham Neubig、Shuyan Zhou、Russ Salakhutdinov 与 Daniel Fried。题为《VisualWebArena：在现实视觉网页任务上评测多模态智能体》。载于 Lun-Wei Ku、Andre Martins 与 Vivek Srikumar 主编的《计算语言学协会第 62 届年会论文集（第一卷：长文）》，第 881–905 页，泰国曼谷，2024 年 8 月，计算语言学协会。数字对象标识符 10.18653/v1/2024.acl-long.50。链接 https://aclanthology.org/2024.acl-long.50/ 。该文把网页智能体评测扩展到视觉任务。
• Kuntz 等人（2025）。作者为 Thomas Kuntz、Agatha Duzan、Haochen Zhao、Francesco Croce、Zico Kolter、Nicolas Flammarion 与 Maksym Andriushchenko。题为《OS-Harm：衡量计算机使用智能体安全性的基准》。刊于预印本《ArXiv》，编号 abs/2506.14866，2025 年。该文用自动评判者对照人工标注评测智能体安全。
• Lambert 等人（2024）。作者为 Nathan Lambert、Valentina Pyatkin、Jacob Daniel Morrison、Lester James Validad Miranda、Bill Yuchen Lin、Khyathi Raghavi Chandu、Nouha Dziri、Sachin Kumar、Tom Zick、Yejin Choi、Noah A. Smith 与 Hanna Hajishirzi。题为《RewardBench：评测语言建模的奖励模型》。刊于预印本《ArXiv》，编号 abs/2403.13787，2024 年。该文在偏好比较上评测奖励模型。
• Li 等人（2025a）。作者为 Dawei Li、Bohan Jiang、Liangjie Huang、Alimohammad Beigi、Chengshuai Zhao、Zhen Tan、Amrita Bhattacharjee、Yuxuan Jiang、Canyu Chen、Tianhao Wu、Kai Shu、Lu Cheng 与 Huan Liu。题为《从生成到评判：把大语言模型当评判者的机会与挑战》。载于 Christos Christodoulopoulos、Tanmoy Chakraborty、Carolyn Rose 与 Violet Peng 主编的《2025 年自然语言处理经验方法会议论文集》，第 2757–2791 页，中国苏州，2025 年 11 月，计算语言学协会。国际标准书号 979-8-89176-332-6。数字对象标识符 10.18653/v1/2025.emnlp-main.138。链接 https://aclanthology.org/2025.emnlp-main.138/ 。该文综述大语言模型评判这一评测范式。
• Li 等人（2025b）。作者为 Dawei Li、Renliang Sun、Yue Huang、Ming Zhong、Bohan Jiang、Jiawei Han、Xiangliang Zhang、Wei Wang 与 Huan Liu。题为《偏好泄漏：把大语言模型当评判者时的一种污染问题》。刊于预印本《ArXiv》，编号 abs/2502.01534，2025 年。该文指出评判模型对相关学生模型的偏向。
• Li 等人（2026）。作者为 Zehao Li、Zhenyu Wu、Yibo Zhao、Bowen Yang、Jingjing Xie、Zhaoyang Liu、Zhoumianze Liu、Kaiming Jin、Jianze Liang、Zonglin Li、Feng Wu、Bowen Zhou、Zun Wang 与 Zichen Ding。题为《OS-Themis：面向通用图形界面奖励的可扩展批评框架》，2026 年。链接 https://arxiv.org/abs/2603.19191 。该文讨论图形界面任务上的批评与奖励。
• Lightman 等人（2023）。作者为 H. Lightman、Vineet Kosaraju、Yura Burda、Harrison Edwards、Bowen Baker、Teddy Lee、Jan Leike、John Schulman、I. Sutskever 与 K. Cobbe。题为《让我们逐步核验》。刊于预印本《ArXiv》，编号 abs/2305.20050，2023 年。该文研究数学推理的过程监督。
• Lin 等人（2022）。作者为 Stephanie Lin、Jacob Hilton 与 Owain Evans。题为《TruthfulQA：衡量模型如何模仿人类的虚假陈述》。载于 Smaranda Muresan、Preslav Nakov 与 Aline Villavicencio 主编的《计算语言学协会第 60 届年会论文集（第一卷：长文）》，第 3214–3252 页，爱尔兰都柏林，2022 年 5 月，计算语言学协会。数字对象标识符 10.18653/v1/2022.acl-long.229。链接 https://aclanthology.org/2022.acl-long.229/ 。该文针对模型模仿不实说法的倾向。
• Lù 等人（2025）。作者为 Xing Han Lù、Amirhossein Kazemnejad、Nicholas Meade、Arkil Patel、Dongchan Shin、Alejandra Zambrano、Karolina Stańczak、Peter Shaw、Christopher Pal 与 Siva Reddy。题为《AgentRewardBench：评测对网页智能体轨迹的自动评测》。刊于预印本《ArXiv》，编号 abs/2504.08942，2025 年。该文表明被测的网页轨迹评判者精确率都低于百分之七十。
• Ma 等人（2021）。作者为 Zhiyi Ma、Kawin Ethayarajh、Tristan Thrush、Somya Jain、Ledell Wu、Robin Jia、Christopher Potts、Adina Williams 与 Douwe Kiela。题为《Dynaboard：面向整体下一代基准的评测即服务平台》。载于 M. Ranzato、A. Beygelzimer、Y. Dauphin、P.S. Liang 与 J. Wortman Vaughan 主编的《神经信息处理系统进展》第 34 卷，第 10351–10367 页，Curran Associates, Inc.，2021 年。链接 https://proceedings.neurips.cc/paper_files/paper/2021/file/55b1927fdafef39c48e5b73b5d61ea60-Paper.pdf 。该文把动态评测做成可调用的服务。
• Malik 等人（2025）。作者为 Saumya Malik、Valentina Pyatkin、Sander Land、Jacob Daniel Morrison、Noah A. Smith、Hanna Hajishirzi 与 Nathan Lambert。题为《RewardBench 2：推进奖励模型评测》。刊于预印本《ArXiv》，编号 abs/2506.01937，2025 年。该文继续在偏好比较上评测奖励模型。
• Mohammadi 等人（2025）。作者为 Mahmoud Mohammadi、Yipeng Li、Jane Lo 与 Wendy Yip。题为《大语言模型智能体的评测与基准：一项综述》。载于《第 31 届美国计算机学会知识发现与数据挖掘会议论文集》第 2 卷，KDD ’25，第 6129–6139 页，ACM，2025 年 8 月。数字对象标识符 10.1145/3711896.3736570。链接 http://dx.doi.org/10.1145/3711896.3736570 。该文综述智能体评测与轨迹评估。
• Nie 等人（2019）。作者为 Yixin Nie、Adina Williams、Emily Dinan、Mohit Bansal、J. Weston 与 Douwe Kiela。题为《对抗自然语言推理：自然语言理解的新基准》。刊于预印本《ArXiv》，编号 abs/1910.14599，2019 年。该文迭代收集对抗样例以测试语言理解。
• Northcutt 等人（2019）。作者为 Curtis G. Northcutt、Lu Jiang 与 Isaac L. Chuang。题为《自信学习：估计数据集标签中的不确定性》。刊于《人工智能研究杂志》第 70 卷，第 1373–1411 页，2019 年。该文检测数据中可能标错的标签。
• OpenAI（2026a）。OpenAI。题为《推出 GPT-5.5》，2026 年 4 月。链接 https://openai.com/index/introducing-gpt-5-5/ 。该条介绍 GPT-5.5 模型发布。
• OpenAI（2026b）。OpenAI。题为《推出 GPT-5.4 mini 与 nano》，2026 年 3 月。链接 https://openai.com/index/introducing-gpt-5-4-mini-and-nano/ 。该条介绍 GPT-5.4 mini 与 nano。
• Pan 等人（2024）。作者为 Yichen Pan、Dehan Kong、Sida Zhou、Cheng Cui、Yifei Leng、Bingqian Jiang、Hangyu Liu、Yanyi Shang、Shuyan Zhou、Tongshuang Wu 与 Zhengyang Wu。题为《WebCanvas：在在线环境中为网页智能体做基准》。刊于预印本《ArXiv》，编号 abs/2406.12373，2024 年。该文给在线网页轨迹的中间过程打分。
• Qwen Team（2026a）。Qwen Team。题为《Qwen3.5-9B 模型卡》，2026 年。链接 https://huggingface.co/Qwen/Qwen3.5-9B 。该条给出 Qwen3.5-9B 的模型说明。
• Qwen Team（2026b）。Qwen Team。题为《Qwen3.6-27B：在 270 亿稠密模型中达到旗舰级编码》，2026 年 4 月。链接 https://qwen.ai/blog?id=qwen3.6-27b 。该条发布 Qwen3.6-27B。
• Qwen Team（2026c）。Qwen Team。题为《Qwen3.6-35B-A3B：智能体编码能力，现向所有人开放》，2026 年 4 月。链接 https://qwen.ai/blog?id=qwen3.6-35b-a3b 。该条发布 Qwen3.6-35B-A3B。
• Rashid 等人（2025）。作者为 Muhammad Shihab Rashid、Christian Bock、Yuan Zhuang、Alexander Buchholz、Tim Esler、Simon Valentin、Luca Franceschi、Martin Wistuba、Prabhu Teja Sivaprasad、Woo Jung Kim、Anoop Deoras、Giovanni Zappella 与 Laurent Callot。题为《SWE-PolyBench：面向编码智能体仓库级评测的多语言基准》。刊于预印本《ArXiv》，编号 abs/2504.08703，2025 年。该文用基于执行的评测衡量仓库级编码。
• Ribeiro 等人（2020）。作者为 Marco Tulio Ribeiro、Tongshuang Sherry Wu、Carlos Guestrin 与 Sameer Singh。题为《准确率之外：用 CheckList 对自然语言处理模型做行为测试》。刊于预印本《ArXiv》，编号 abs/2005.04118，2020 年。该文用模板和扰动测试模型行为。
• Starace 等人（2025）。作者为 Giulio Starace、Oliver Jaffe、Dane Sherburn、J. Aung、Jun Shern Chan、Leon Maksin、Rachel Dias、E. Mays、Benjamin Kinsella、Wyatt Thompson、Johannes Heidecke、Amelia Glaese 与 Tejal Patwardhan。题为《PaperBench：评测人工智能复现人工智能研究的能力》。刊于预印本《ArXiv》，编号 abs/2504.01848，2025 年。该文用层级评分量表给研究复现打分。
• Tran 等人（2025）。作者为 Khanh-Tung Tran、Dung Dao、Minh-Duong Nguyen、Quoc-Viet Pham、Barry O’Sullivan 与 Hoang D. Nguyen。题为《多智能体协作机制：一项关于大语言模型的综述》。刊于预印本《ArXiv》，编号 abs/2501.06322，2025 年。该文综述多个智能体如何协作。
• Wang 等人（2025）。作者为 Xingyao Wang、Boxuan Li、Yufan Song、Frank F. Xu、Xiangru Tang、Mingchen Zhuge、Jiayi Pan、Yueqi Song、Bowen Li、Jaskirat Singh、Hoang H. Tran、Fuqiang Li、Ren Ma、Mingzhang Zheng、Bill Qian、Yanjun Shao、Niklas Muennighoff、Yizhe Zhang、Binyuan Hui、Junyang Lin、Robert Brennan、Hao Peng、Heng Ji 与 Graham Neubig。题为《OpenHands：把人工智能软件开发者当作通用智能体的开放平台》。载于《第十三届学习表征国际会议》，2025 年。链接 https://openreview.net/forum?id=OJd3ayDDoF 。该文提出通用智能体与评测的开放接口。
• Xie 等人（2024）。作者为 Tianbao Xie、Danyang Zhang、Jixuan Chen、Xiaochuan Li、Siheng Zhao、Ruisheng Cao、T. Hua、Zhoujun Cheng、Dongchan Shin、Fangyu Lei、Yitao Liu、Yiheng Xu、Shuyan Zhou、Silvio Savarese、Caiming Xiong、Victor Zhong 与 Tao Yu。题为《OSWorld：在真实计算机环境中为开放式任务上的多模态智能体做基准》。刊于预印本《ArXiv》，编号 abs/2404.07972，2024 年。该文把计算机使用评测扩展到多种操作系统。
• Xu 等人（2024）。作者为 Frank F. Xu、Yufan Song、Boxuan Li、Yuxuan Tang、Kritanjali Jain、Meng Bao、Z. Wang、Xuhui Zhou、Zhitong Guo、Murong Cao、Ming-Hsuan Yang、Hao Lu、Amaad Martin、Zhe Su、L. Maben、Raj Mehta、Wayne Chi、Lawrence Jang、Yiqing Xie、Shuyan Zhou 与 Graham Neubig。题为《TheAgentCompany：在有后果的真实世界任务上为大语言模型智能体做基准》。刊于预印本《ArXiv》，编号 abs/2412.14161，2024 年。该文按工作区结果给企业任务打分。
• Xue 等人（2025）。作者为 Tianci Xue、Weijian Qi、Tianneng Shi、Chan Hee Song、Boyu Gou、D. Song、Huan Sun 与 Yu Su。题为《进步的幻觉？评估网页智能体的当前状态》。刊于预印本《ArXiv》，编号 abs/2504.01382，2025 年。该文指出现有网页智能体评测中的错误与偏差。
• Yao 等人（2024）。作者为 Shunyu Yao、Noah Shinn、Pedram Razavi 与 Karthik Narasimhan。题为《τ-bench：真实领域中工具、智能体与用户交互的基准》。刊于预印本《ArXiv》，编号 abs/2406.12045，2024 年。该文分析重复试验下交互任务的可靠性。
• Yehudai 等人（2025）。作者为 Asaf Yehudai、Lilach Eden、Alan Li、Guy Uziel、Yilun Zhao、Roy Bar-Haim、Arman Cohan 与 Michal Shmueli-Scheuer。题为《基于大语言模型的智能体评测综述》。刊于预印本《ArXiv》，编号 abs/2503.16416，2025 年。该文讨论轨迹评估和长程轨迹的挑战。
• Yoran 等人（2024）。作者为 Ori Yoran、Samuel Joseph Amouyal、Chaitanya Malaviya、Ben Bogin、Ofir Press 与 Jonathan Berant。题为《AssistantBench：网页智能体能解决现实且耗时的任务吗》。载于 Yaser Al-Onaizan、Mohit Bansal 与 Yun-Nung Chen 主编的《2024 年自然语言处理经验方法会议论文集》，第 8938–8968 页，美国佛罗里达州迈阿密，2024 年 11 月，计算语言学协会。数字对象标识符 10.18653/v1/2024.emnlp-main.505。链接 https://aclanthology.org/2024.emnlp-main.505/ 。该文把现实网页任务与参考答案比较。
• Zhang 等人（2025）。作者为 Shaokun Zhang、Ming Yin、Jieyu Zhang、Jiale Liu、Zhiguang Han、Jingyang Zhang、Beibin Li、Chi Wang、Huazheng Wang、Yiran Chen 与 Qingyun Wu。题为《哪个智能体导致任务失败，又在何时？论大语言模型多智能体系统的自动失败归因》。刊于预印本《ArXiv》，编号 abs/2505.00212，2025 年。该文把失败归因到特定智能体和步骤。
• Zheng 等人（2025）。作者为 Boyuan Zheng、Michael Y. Fatemi、Xiaolong Jin、Z. Wang、Apurva Gandhi、Yueqi Song、Yu Gu、Jayanth Srinivasa、Gaowen Liu、Graham Neubig 与 Yu Su。题为《SkillWeaver：网页智能体可以通过发现并打磨技能来自我改进》。刊于预印本《ArXiv》，编号 abs/2504.07079，2025 年。该文把经验提炼成可复用技能。
• Zheng 等人（2023）。作者为 Lianmin Zheng、Wei-Lin Chiang、Ying Sheng、Siyuan Zhuang、Zhanghao Wu、Yonghao Zhuang、Zi Lin、Zhuohan Li、Dacheng Li、E. Xing、Haotong Zhang、Joseph E. Gonzalez 与 Ion Stoica。题为《用 MT-Bench 和 Chatbot Arena 评判“把大语言模型当评判者”》。刊于预印本《ArXiv》，编号 abs/2306.05685，2023 年。该文考察评判者的位置偏差和冗长偏差。
• Zhou 等人（2023）。作者为 Shuyan Zhou、Frank F. Xu、Hao Zhu、Xuhui Zhou、Robert Lo、Abishek Sridhar、Xianyi Cheng、Tianyue Ou、Yonatan Bisk、Daniel Fried、Uri Alon 与 Graham Neubig。题为《WebArena：为构建自主智能体而设的现实网页环境》。刊于预印本《ArXiv》，编号 abs/2307.13854，2023 年。该文在自托管网页环境中评测智能体。
• Zhu 等人（2025）。作者为 Yuxuan Zhu、Tengjun Jin、Yada Pruksachatkun、Andy K. Zhang、Shu Liu、Sasha Cui、Sayash Kapoor、Shayne Longpre、Kevin Meng、Rebecca Weiss、Fazl Barez、Rahul Gupta、J. Dhamala、Jacob Merizian、Mario Giulianelli、H. Coppock、C. Ududec、Jasjeet Sekhon、Jacob Steinhardt、A. Kellerman、Sarah Schwettmann、Matei Zaharia、Ion Stoica、Percy Liang 与 Daniel Kang。题为《为构建严格的智能体基准确立最佳实践》。刊于预印本《ArXiv》，编号 abs/2507.02825，2025 年。该文指出智能体基准构造中的偏差与不严。
• Zhuge 等人（2024）。作者为 Mingchen Zhuge、Changsheng Zhao、Dylan R. Ashley、Wenyi Wang、Dmitrii Khizbullin、Yunyang Xiong、Zechun Liu、Ernie Chang、Raghuraman Krishnamoorthi、Yuandong Tian、Yangyang Shi、Vikas Chandra 与 Jurgen Schmidhuber。题为《Agent-as-a-Judge：用智能体评测智能体》。刊于预印本《ArXiv》，编号 abs/2410.10934，2024 年。该文提议用工具检查生成出来的工作区。以上五十条按原文顺序译出作者、题名、出处与链接。

附录 A 基准细节

A.1 标注过程细节

在标注过程中，专业标注员的任务是设计任务对，并在三种获准操作系统之一（Windows、macOS、Ubuntu）上录制长轨迹，且禁止使用人工智能。他们执行的每一个动作，都与截图一起存成结构化记录。此外，每一条轨迹还用 OBS 录制，得到 $166$ 小时的高分辨率录屏，占用 $11.1$ GB 存储。

##### 配对构造

任务被设计成差异最小的对。从一项种子任务出发，派生出第二项（即“子”）任务，使得在被指示去完成父任务时意外完成了子任务，会产生一种可以被归入下列之一的失败：误解、不良副作用和严重错误（见表 5）。反过来，一个在被要求完成子任务时完成了父任务的智能体，也会被视为失败，并在同样的三个类别里被独立归类；尽管错误类型常常相同，它有时也可能不同，因为二者并不必然具有对称关系。最后，标注员被要求使用同一子集的软件，独立地完成两项任务。

表 3：供应商报告的、覆盖 $850$ 条互异轨迹的工时。交付的合计超过原先 $1{,}960$ 小时的估计，因为校准引入了额外的审阅轮次。

表 4：逐阶段的基准账目。327 次移除只影响候选正例；AH-D、AH 和 AH-S 互不相交，并且穷尽审阅后的基准。

A.2 错误分类体系与校准量表

我们的三个标签展示了一条轨迹会被视为未能完成所给指令的全部方式。我们向标注员提供一份校准文档《错误类型定义与评测标准》，以确保标注团队之间对齐；它随补充材料一起提供。它包含关于表 5 所讨论概念的补充说明，例如一个决策流程、对一级的例子，以及一张恢复成本矩阵。

表 5：面向标注员的失败分类体系的操作边界。

A.3 划分模型与子集定义

我们的三个划分都按指令对分组，以防止信息在数据集之间泄漏。我们的 AH-D 子集包含 $162$ 条轨迹，其余 $1{,}211$ 条分布在其他划分上。对于其余条目，我们决定使用三个强开放模型的集成来识别真正有挑战的任务，使过程可复现：Qwen 3.5 122B-A10B、Inkling 和 Kimi K2.7 Code。每个模型被用作智能体评判者，对每个条目产生 8 次重复判决（以确保一致性），合计 24 次判决。我们把与真值至多匹配 18 次的条目分到 AgentHorizon，其余条目分到 AgentHorizon-Simple。

A.4 提示开发

我们在开发集（AH-D）上迭代地开发提示，检查可能出现的问题，包括模型缺少工具使用或截图使用。我们的最终提示呈现在图 4 中。

图 4：最终评测提示。

你正在评判一条 AgentHorizon 轨迹。评判框架、文件布局和错误类型定义位于工作目录中的 AGENTS.md / CLAUDE.md / GEMINI.md；请使用它们。

# 输入

轨迹 ID：`{{TRAJECTORY_ID}}`

轨迹内容不在你的上下文里。你必须从磁盘读取它。

先打开 `./agenthorizon_md/{{TRAJECTORY_ID}}.md`，以获得目标和动作序列。当 Markdown 含糊时，打开 `./agenthorizon_json/{{TRAJECTORY_ID}}.json` 处的结构化 JSON，或打开截图。不阅读轨迹就做一次性猜测是不可接受的。

## 截图

Markdown 中的每一步都以如下形式的截图链接结束：`![Step N screenshot](./data/media/images/<deliverable_id>/step_<N>.png)`。这些是工作目录中的本地相对路径；直接对该路径使用 `Read` 工具（或你的支架中的等价物）来查看图像。不要试图从任何外部 URL 获取截图——本地文件才是事实来源，模型可以内联查看它。

请至少看一张截图。

# 输出

用一个 JSON 对象回答：
{
 "success": true 或 false,
 "reasoning": "一到三句话，引用哪一层（核心目标、参数或约束）被满足或未被满足。",
 "confidence": "low" | "medium" | "high",
 "mistake_type": 当 success=true 时为 null，否则为下列之一：
 "Critical Mistake", "Bad Side Effect", "Misunderstanding of the Instruction"
}

说明：置信度是证据强度，不是判决。低置信度不等于失败。成功时 mistake_type 为 null。

A.5 更多数据集统计

在图 5 中，我们展示轨迹步数的分布：轨迹的中位数为 $121$ 步，第 90 百分位为 $186$，最大值为 $358$；$83$ 个数据点至少有 $200$ 步。

图 5：评测子集的决策步数分布。AH 的中位数为 $122$ 步，第 90 百分位为 $195$；AH-S 分别为 $118$ 和 $179$。

##### 桌面应用统计

我们的基准覆盖 $112$ 个桌面应用的使用，每项任务的均值为 $1.98$，中位数为 2。$83.2\%$ 的任务恰好使用两个应用，表明完成长程任务需要多个应用。

附录 B 的补充结果因正文字段长度限制另篇发布，地址为 https://openqa.cn/articles/agenthorizon-long-horizon-judges-2-zh 。

[^1]: https://vllm.ai/