PointerBench：表格几乎点满，字符和插入符仍把模型拉开

第二届面向企业任务的智能体人工智能基准与应用研讨会

PointerBench：细粒度图形界面定位的诊断基准

Valentino Sacco（Sapienza University of Rome；Warmwind AG）

脚注：该工作完成于在 Warmwind AG 实习期间。

Saurabh Pandey（Warmwind AG）

Alexander Florian Jercher（Warmwind AG）

Maximilian Schilling（Warmwind AG）

摘要

多模态大语言模型已经在计算机使用任务上表现出有希望的性能，从规划用户工作流，到把自然语言动作定位到精确的界面目标。现有的端到端基准主要强调长程任务完成，而图形界面定位基准仍然集中在常规控件和有限的一组专业界面上。我们引入 PointerBench，一套包含 1,500 个截图—指令对的诊断集，探测三项互补能力：电子表格中细薄子元素的识别与几何定位（PointerBench-Sheets）、长文本文档中的字符级定位（PointerBench-Text），以及跨越 100 个专业应用的混合图形界面定位（PointerBench-Pro）。我们为每项任务仔细标注了像素精确的目标几何，并同时评测通用多模态模型与 39 种专用图形界面定位配置。我们发现文本定位是最困难的设定：Claude Fable 5、GPT-5.6 Sol，以及领先的原生专用模型 UI-Venus-2-9B，在 PointerBench-Text 上的成功率分别为 $69.6\%$ 、 $53.4\%$ 和 $25.8\%$ ，尽管它们在整个 PointerBench 上的平均成功率分别达到 $83.2\%$ 、 $77.7\%$ 和 $54.5\%$ 。这些结果表明，前沿模型与专用模型在细粒度图形界面定位上仍有很大空间。我们在 https://github.com/warmwindOS/pointerbench 公开了该基准与评测代码。

1 引言

计算机使用智能体已经成为有希望的日常助手，能够自动化浏览器、桌面应用、移动设备以及专门的专业软件中的工作流（Deng et al., 2023; Zhou et al., 2024; Xie et al., 2024; Rawles et al., 2025; Li et al., 2025）。多模态智能体把推理与行动交错进行（Yao et al., 2023），结合长程规划（Erdogan et al., 2025）、外部工具使用（Schick et al., 2023; Qin et al., 2024）和视觉定位（Cheng et al., 2024; Gou et al., 2025）。对于“打开会议聊天”或“把单元格 B14 粘贴到单元格 E15”这类任务，成功执行既要求选出合适的动作序列，也要求把每一步定位到精确的屏幕坐标或区域（Zheng et al., 2024; Gou et al., 2025）。这在现代图形用户界面（GUI）中仍然困难，因为界面往往包含密集且视觉上含糊的交互目标；在高分辨率专业应用中，目标区域也很小（Li et al., 2025; Wu et al., 2025）。

现有评测衡量的是这个问题互补但不完整的侧面。Online-Mind2Web、WebArena 和 OSWorld 这类交互式基准，评测网站或可执行桌面环境中的长程任务完成（Xue et al., 2025; Zhou et al., 2024; Xie et al., 2024）。它们对研究规划与恢复是必要的，但端到端成功把推理、定位、执行和环境控制中的失败混在一起。ScreenSpot 和 ScreenSpot-Pro 这类静态基准把定位单独抽出来，并加快了视觉图形界面智能体的进展（Cheng et al., 2024; Li et al., 2025）。然而它们缺少细粒度动作，例如把光标放在电子表格边界上、放在两个字符之间，或放在一段被狭窄指定的文本跨度周围。这些基准上的快速进展，促使我们补充一类改变所请求动作几何形状的测试，用来诊断智能体执行精确控制的能力。

我们引入 PointerBench，一个细粒度诊断基准，包含三项各 500 个样例的任务，用来诊断这些缺失的能力（图 1）。PointerBench-Sheets 探测单元格、表头、颜色、相对引用、边缘、调整大小手柄和角点，并使用多种表格版式。PointerBench-Text 在六种语言中评测词、字符、标点、插入符和发票字段上的点与边界框。PointerBench-Pro 覆盖 100 个专业应用中的图标、文本和混合目标。所有输入都使用固定的 $1024\!\times\!768$ 坐标框，并附带可执行的评分器。

我们的贡献有两项：（i）一套诊断基准，通过三项具有精确定义目标几何的互补任务，把结构性、文本性和专业图形界面定位分开；（ii）一次同时覆盖通用多模态模型与专用图形界面定位配置的全面评测，揭示各子集之间并非平凡的名次逆转，以及字符级和区域级文本定位上持续存在的瓶颈。

图 1：PointerBench 评测电子表格几何、字符级文本目标和专业界面上的细粒度定位。结果揭示了很大的剩余空间，以及模型家族之间明显的差异。

2 相关工作

交互式计算机使用基准。Mind2Web 包含超过 2,000 项跨 137 个网站的开放式网页任务，并记录相应的动作序列（Deng et al., 2023）。WebArena 提供可复现的功能性网站，用于评测长程任务执行（Zhou et al., 2024），而 OSWorld 把这一范式扩展到真实的网页与桌面应用，并使用基于执行的评测器（Xie et al., 2024）。AndroidWorld 同样在真实移动应用上评测自主智能体（Rawles et al., 2025）。近期工作进一步研究长程智能体中高层规划与低层执行的分离（Erdogan et al., 2025）。这些基准测试的是完整的交互式智能体，而 PointerBench 有意去掉时间上的规划，以便单独考察一个已经被指定的动作能否被精确定位。

#### 图形界面定位。

ScreenSpot 引入了只使用截图的定位，覆盖移动、桌面和网页界面（Cheng et al., 2024），而 ScreenSpot-Pro 把这一设定扩展到密集的、高分辨率的专业应用（Li et al., 2025）。OSWorld-G 进一步把计算机使用定位分解为识别、文本匹配、版式推理和精确操作（Xie et al., 2025）。UI-Vision 通过元素定位、版式定位和动作预测，在 83 个桌面应用上提供细粒度离线评测（Nayak et al., 2025），而 FineState-Bench 在桌面、网页和移动界面上评测以状态为条件的定位，以及精确的图形界面状态设置（Ji et al., 2026）。与这些基准并行，专用图形界面智能体（Qin et al., 2025; Wang et al., 2025; Liu et al., 2026b; Zhou et al., 2025）和定位模型（Gou et al., 2025; Gu et al., 2025; Venus Team, 2026a; Venus Team, 2026b; Chen et al., 2026）已经大幅改进了常规控件上的定位。互补的进展包括定位架构（Wu et al., 2025; Ouyang et al., 2026; Jiang et al., 2026）、强化学习方法（Yang et al., 2025; Tang et al., 2026; Liu et al., 2026a; Yuan et al., 2025），以及推理时的预测聚合（Zhang et al., 2026; Du et al., 2026）。PointerBench 通过在受控的、像素精确的生成条件下系统隔离特定的子元素几何，来补充这些工作：细薄的电子表格边界、字符级和插入符级的文本位置，以及收得很紧的区域；同时 PointerBench-Pro 把覆盖面扩大到 100 个专业界面。这提供了一种可复现的定位错误诊断，独立于时间规划和环境执行。

3 PointerBench

任务设计。在交互环境中，一次定位错误可能把智能体带进非预期状态，并沿着后续动作传播（Xie et al., 2024; Xie et al., 2025）。例如，考虑一项电子表格任务，要求智能体调整某一列的大小，或选中某种特定颜色的单元格。这些动作用语言来说明很简单，却需要不同形式的细粒度定位：前者要求定位相邻列之间的一条细边界，后者要求在重复的网格里识别一个由视觉指定的区域。

PointerBench 通过三项互补的、各含 500 个样例的套件，把这些能力从长程规划中分离出来：PointerBench-Sheets 针对结构性与几何定位，PointerBench-Text 针对细粒度文本定位，PointerBench-Pro 评测异构专业界面上的定位。每个基准实例包含一张 $1024\!\times\!768$ 的截图、一条自然语言指令，以及用绝对像素坐标表达的目标。视任务而定，要求的输出要么是一个点，要么是一个边界框。点预测落在标注的目标区域之内即算成功。边界框预测要求至少 $0.90$ 的目标覆盖率和 $0.70$ 的预测精度；格式错误的输出计为失败。我们采用标准化的 $1024\!\times\!768$ 分辨率，有两个原因：第一，细粒度空间能力，例如定位 1–3 像素的电子表格分隔线、字符之间的插入符和单个字形，在更高分辨率下会因为相对目标面积缩小而明显变难；第二，更高分辨率会显著增加模型推理所花的时间。下采样到 $1024\!\times\!768$ 使评测在计算上更有效率，同时仍然单独考察子元素的几何精度。数据集构造与可复现性细节见附录。

表 1：三个 PointerBench 子集上的成功率（%）。最好与次好的结果分别用粗体和下划线标出。

3.1 前沿模型表现

表 1 报告我们评测中有代表性的一个子集，选择标准是覆盖六个模型家族、多代模型，以及很宽的定位能力范围。所有模型都在开启推理的条件下评测。对推理预算敏感性的分析，以及跨越 30 个以上多模态模型的完整评测（见图 1），报告在附录中。

Claude Fable 5 以 $83.2\%$ 的平均成功率领先 PointerBench，其后是 Claude Opus 5 的 $81.1\%$ 和 GPT-5.6 Sol 的 $77.7\%$ 。GPT-5.6 Luna、GPT-5.6 Terra 和 Claude Sonnet 4.6 分别以 $72.7\%$ 、 $72.3\%$ 和 $72.2\%$ 紧随其后。然而性能强烈依赖于任务。Opus 在 PointerBench-Sheets 上以 $98.8\%$ 领先，略高于 Sol 和 Fable 的 $97.8\%$ 与 $97.6\%$ 。三个模型在 PointerBench-Pro 上很接近，分别达到 $81.2\%$ 、 $82.0\%$ 和 $82.4\%$ ，而 PointerBench-Text 把它们分得更开：Fable 达到 $69.6\%$ ，Opus 为 $63.2\%$ ，Sol 为 $53.4\%$ 。在低端，Kimi K2.5 只达到 $5.7\%$ 。Gemini 3.7 Flash 和 Qwen3.8 Max 的官方分数分别为 $3.1\%$ 和 $2.8\%$ ，但这些结果主要由系统性的坐标框不遵从所主导，并在第 3.3 节单独分析。

表 2：专用图形界面定位配置在三个 PointerBench 子集上的成功率（%）（完整的 39 次运行评测见附录 G）。最好与次好的结果分别用粗体和下划线标出。

3.2 专用图形界面定位模型

因为专用图形界面智能体是在各自模型特定的坐标约定下训练的，我们使用每个模型原生的定位提示和解析器，评测 39 个开源权重的专用图形界面定位配置（参数量为 2B–32B）（表 2；完整的 39 次运行排行榜见附录 G）。在表 2 的方法家族中，多视图预测（MVP）在推理时聚合多个增强视图上的预测，是领先的界面专用方法，其 32B 骨干在每一条赛道上都最好（Sheets $68.4\%$ ，Text $34.0\%$ ，Pro $75.4\%$ ，平均 $59.3\%$ ）。在 MVP-32B 之后，靠后的模型之间出现跨套件的名次逆转：UI-Venus-2-9B（把领域特定的定位监督与强化学习配对）在 Pro 上排第二（ $73.6\%$ ，超过所有单视图的 32B 模型），而 GTA1-32B（一个直接预测点击坐标的、经强化学习训练的定位模型）在 Text 上（ $29.6\%$ ）和总体上（ $54.9\%$ ）排第二，OpenCUA-32B（在大规模多操作系统轨迹上训练）则在 Sheets 上（ $66.0\%$ ）排第二。就更小的模型（ $<9$ B）而言，MAI-UI-8B（一个经过指令调优的桌面/移动定位智能体）以 $51.3\%$ 的平均成绩最好，其后紧接 MVP-8B（ $51.2\%$ ）、UI-Venus-1.5-8B（ $51.0\%$ ）和 GTA1-7B（ $50.1\%$ ），再前面才是 OpenCUA-7B（ $47.3\%$ ）、UI-Venus-Ground-7B（ $46.2\%$ ）和 UI-TARS-1.5-7B（ $40.6\%$ ）。

3.3 分套件分析

PointerBench-Sheets。PointerBench-Sheets 单独考察电子表格界面的空间结构。在这里，成功的交互可能依赖于对网格的推理，而不只是认出一个常规的图形界面元素。该套件包括单元格、表头、基于颜色的目标、相对引用、细边界和调整大小手柄，以及单元格角点，从而把常规元素定位与结构性、几何定位分开。Sheets 是领先模型最强的套件，Opus、Sol 和 Fable 分别达到 $98.8\%$ 、 $97.8\%$ 和 $97.6\%$ 。常规的单元格和表头目标几乎被完美定位，而在更细的几何交互上性能下降：Fable 在行调整大小手柄上达到 $78.1\%$ ，说明接近完美的总体性能仍然可以掩盖细薄结构元素上的错误。

PointerBench-Text。PointerBench-Text 通过词、字符、标点、插入符位置和被严格指定的区域，探测细粒度文本定位。目标可能只占一行中很窄的一部分，或位于相邻字形之间；点任务和边界框任务跨越六种语言和多种文档表面。

表 3：按目标目的划分的 PointerBench-Text 准确率（%），上方为领先的前沿模型，下方为有代表性的界面专用配置。区域一列汇总边界框目标；其余列给点坐标预测打分。最好与次好的结果用粗体和下划线标出。

表 3 表明，前沿系统和专用系统都强烈依赖于目标的粒度。尽管常规定位很强（例如 UI-Venus-2-9B 在电子表格单元格/表头上达到 $89.0\%$ – $100.0\%$ ，在边界/调整大小手柄上为 $31.6\%$ – $55.8\%$ ，在相对偏移上为 $3.0\%$ ），PointerBench-Text 仍是所有专用配置的主要瓶颈，没有任何专用模型超过 $34.0\%$ （MVP-32B 为 $34.0\%$ ，GTA1-32B 为 $29.6\%$ ，UI-Venus-2-9B 为 $25.8\%$ ，MAI-UI-8B 为 $23.2\%$ ）。词定位最容易：Fable 达到 $90.2\%$ ，其后是 Opus（ $83.9\%$ ）、Sol（ $76.8\%$ ），以及领先的专用模型 GTA1-32B（ $70.5\%$ ）和 MVP-32B（ $69.6\%$ ）。准确率在更细的粒度上急剧下降：Opus 和 Sol 在字符上达到 $51.9\%$ / $48.1\%$ ，在标点上达到 $39.1\%$ / $56.5\%$ ，而领先的界面专用模型在字符上落到 $11.1$ – $18.5\%$ ，在插入符上落到 $22.5$ – $34.2\%$ （MAI-UI-8B 为 $19.3\%$ ）。区域定位要求对文本跨度或字段给出收紧的边界，对前沿模型仍然困难（Fable $56.0\%$ ，Opus $50.7\%$ ）。原生输出是点的专用模型按该点打分，因此在全部 134 项区域任务上得到 $0.0\%$ 。当模型返回一个框时，该框被打分：GUI-G2-7B（Tang et al., 2026）在区域上达到 $12.7\%$ ，UI-Venus-Ground-7B 达到 $11.2\%$ （在 PointerBench-Text 上总体为 $24.6\%$ ）。图 2 进一步分解插入符定位：紧挨着词之前、之后或词与词之间的放置并不平凡，没有任何前沿模型超过 $50\%$ 的准确率，界面专用模型保持在 $24\%$ 以下；而粗粒度的结构目标（行首、段落开始/结束）则被更可靠地定位。

图 2：PointerBench-Text 按放置目的划分的插入符准确率。

译注：原文 HTML 未提供图 2 的独立图像文件，此处只保留图注。

PointerBench-Pro。PointerBench-Pro 评测视觉上异构的专业界面中的定位。它跨越 100 个应用，目标包括图标、文本元素，以及下拉菜单、列表项、滑块、标签页和面板等界面控件。领先模型之间的性能是一致的，Fable、Opus、Sol 和 Luna 分别达到 $82.4\%$ 、 $81.2\%$ 、 $82.0\%$ 和 $79.4\%$ 。文本控件最容易，其次是其他界面控件，图标最难。图标只占样例的 $38.0\%$ ，却占汇总失败的 $57.3\%$ ，说明剩余的一项主要挑战在于把预期动作映射到正确的视觉控件，并凸显图标理解与界面语义是改进计算机使用智能体的重要目标。

坐标框遵从。尽管被明确指示使用绝对的 $1024\times 768$ 坐标，Gemini 3.7 Flash 和 Qwen3.8 Max 主要返回 $0$ – $1000$ 框中的坐标；确切提示报告在附录中。因此它们的官方分数分别为 $3.1\%$ 和 $2.8\%$ 。把可解析的预测统一转换到所要求的坐标框后，这两个分数升到 $78.1\%$ 和 $55.4\%$ ，使 Gemini 落入该基准领先模型的性能范围内。这表明定位性能可以强烈依赖于模型原生的坐标约定，并促使我们在归一化的输出表示下进行评测。

4 结论

我们引入了 PointerBench，一个面向电子表格结构、文本和专业界面的细粒度图形界面定位诊断基准。对前沿多模态系统和专用图形界面定位配置的评测表明，总体性能可以掩盖明显不同的定位能力。领先模型能够可靠地定位常规的电子表格控件和应用控件，却仍然被细薄的结构元素所难倒；当交互从词移到字符、插入符和被精确框定的区域时，文本定位下降；专业界面上的失败不成比例地集中在图标上。通过在单个定位基元的层面上暴露这些失败，PointerBench 为测量并改进计算机使用智能体中的精确视觉控制，提供了一个有针对性的测试台。

参考文献

• Chen et al. (2026) L. Chen, H. Zhou, C. Cai, J. Zhang, P. Tong, X. Zhang, Q. Kong, C. Liu, Y. Liu, W. Wang, Y. Wang, Q. Jin, and S. Hoi。UI-Ins：以多视角指令作为推理来增强图形界面定位。载于 The Fourteenth International Conference on Learning Representations。

• Cheng et al. (2024) K. Cheng, Q. Sun, Y. Chu, F. Xu, Y. Li, J. Zhang, and Z. Wu。SeeClick：利用图形界面定位来推进视觉图形界面智能体。载于 Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)，L. Ku, A. Martins, and V. Srikumar（编），泰国曼谷，第 9313–9332 页。外部链接：文档。

• Deng et al. (2023) X. Deng, Y. Gu, B. Zheng, S. Chen, S. Stevens, B. Wang, H. Sun, and Y. Su。Mind2Web：通向面向网页的通用智能体。载于 Advances in Neural Information Processing Systems，第 36 卷。外部链接：文档。

• Du et al. (2026) Y. Du, Y. Yan, F. Tang, Z. Lu, C. Zong, W. Lu, S. Jiang, and Y. Shen。通过区域一致性在测试时强化学习图形界面定位。载于 Proceedings of the AAAI Conference on Artificial Intelligence，第 40 卷，第 30593–30601 页。外部链接：文档。

• Erdogan et al. (2025) L. E. Erdogan, N. Lee, S. Kim, S. Moon, H. Furuta, G. Anumanchipalli, K. Keutzer, and A. Gholami。Plan-and-act：改进智能体对长程任务的规划。载于 Proceedings of the 42nd International Conference on Machine Learning，A. Singh, M. Fazel, D. Hsu, S. Lacoste-Julien, F. Berkenkamp, T. Maharaj, K. Wagstaff, and J. Zhu（编），Proceedings of Machine Learning Research，第 267 卷，第 15419–15462 页。

• Gou et al. (2025) B. Gou, R. Wang, B. Zheng, Y. Xie, C. Chang, Y. Shu, H. Sun, and Y. Su。像人那样在数字世界中导航：面向图形界面智能体的通用视觉定位。载于 The Thirteenth International Conference on Learning Representations。

• Gu et al. (2025) Z. Gu, Z. Zeng, Z. Xu, X. Zhou, S. Shen, Y. Liu, B. Zhou, C. Meng, T. Xia, W. Chen, et al.。Ui-venus 技术报告：用强化微调构建高性能界面智能体。arXiv 预印本 arXiv:2508.10833。

• Ji et al. (2026) F. Ji, J. Yang, Z. Song, Y. Wang, Z. Cui, Y. Li, Q. Jiang, and X. Chen。FineState-bench：为细粒度图形界面状态设置评测以状态为条件的定位。载于 Findings of the Association for Computational Linguistics: ACL 2026，M. Liakata, V. P. Moreira, J. Zhang, and D. Jurgens（编），美国加利福尼亚州圣迭戈，第 43073–43088 页。外部链接：文档，ISBN 979-8-89176-395-1。

• Jiang et al. (2026) Q. Jiang, J. Huo, X. Chen, Y. Xiong, Z. Zeng, Y. Chen, T. Ren, J. Yu, and L. Zhang。通过下一点预测检测任意对象。载于 Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，第 25472–25483 页。

• Li et al. (2025) K. Li, Z. Meng, H. Lin, Z. Luo, Y. Tian, J. Ma, Z. Huang, and T. Chua。ScreenSpot-pro：面向专业高分辨率计算机使用的图形界面定位。载于 Proceedings of the 33rd ACM International Conference on Multimedia，Proceedings of the ACM International Conference on Multimedia，第 8778–8786 页。外部链接：文档，ISBN 9798400720352。

• Liu et al. (2026a) Y. Liu, Z. Liu, S. Zhu, P. Li, C. Xie, J. Wang, X. Hu, X. Han, J. Yuan, X. Wang, S. Zhang, H. Yang, and F. Wu。InfiGUI-G1：用自适应探索策略优化推进图形界面定位。载于 Proceedings of the AAAI Conference on Artificial Intelligence，第 40 卷，第 32267–32275 页。外部链接：文档。

• Liu et al. (2026b) Z. Liu, J. Xie, Z. Ding, Z. Li, B. Yang, Z. Wu, X. Wang, Q. Sun, S. Liu, W. Wang, et al.。Scalecua：用跨平台数据扩展开源计算机使用智能体。载于 International Conference on Learning Representations，第 2026 卷，第 62707–62766 页。

• Nayak et al. (2025) S. Nayak, X. Jian, K. Q. Lin, J. A. Rodriguez, M. Kalsi, N. Chapados, M. T. Özsu, A. Agrawal, D. Vazquez, C. Pal, P. Taslakian, S. Gella, and S. Rajeswar。UI-vision：以桌面为中心、面向视觉感知与交互的图形界面基准。载于 Proceedings of the 42nd International Conference on Machine Learning，A. Singh, M. Fazel, D. Hsu, S. Lacoste-Julien, F. Berkenkamp, T. Maharaj, K. Wagstaff, and J. Zhu（编），Proceedings of Machine Learning Research，第 267 卷，第 45817–45851 页。

• Ouyang et al. (2026) M. Ouyang, K. Q. Lin, M. Z. Shou, and H. T. Ng。FocusUI：通过保持位置的视觉词元选择实现高效界面定位。载于 Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition。

• Qin et al. (2024) Y. Qin, S. Liang, Y. Ye, K. Zhu, L. Yan, Y. Lu, Y. Lin, X. Cong, X. Tang, B. Qian, S. Zhao, L. Hong, R. Tian, R. Xie, J. Zhou, M. Gerstein, D. Li, Z. Liu, and M. Sun。ToolLLM：促使大语言模型掌握 16000 个以上的真实世界 API。载于 The Twelfth International Conference on Learning Representations。

• Qin et al. (2025) Y. Qin, Y. Ye, J. Fang, H. Wang, S. Liang, S. Tian, J. Zhang, J. Li, Y. Li, S. Huang, et al.。UI-TARS：用原生智能体开创自动化图形界面交互。arXiv 预印本 arXiv:2501.12326。

• Rawles et al. (2025) C. Rawles, S. Clinckemaillie, Y. Chang, J. Waltz, G. Lau, M. Fair, A. Li, W. E. Bishop, W. Li, F. Campbell-Ajala, D. K. Toyama, R. J. Berry, D. Tyamagundlu, T. P. Lillicrap, and O. Riva。AndroidWorld：面向自主智能体的动态评测环境。载于 The Thirteenth International Conference on Learning Representations。

• Schick et al. (2023) T. Schick, J. Dwivedi-Yu, R. Dessì, R. Raileanu, M. Lomeli, E. Hambro, L. Zettlemoyer, N. Cancedda, and T. Scialom。Toolformer：语言模型可以教会自己使用工具。载于 Advances in Neural Information Processing Systems，第 36 卷。外部链接：文档。

• Tang et al. (2026) F. Tang, Z. Gu, Z. Lu, X. Liu, S. Shen, C. Meng, W. Wang, W. Zhang, Y. Shen, W. Lu, J. Xiao, and Y. Zhuang。GUI-G ${}^{2}$ ：面向图形界面定位的高斯奖励建模。载于 Proceedings of the AAAI Conference on Artificial Intelligence，第 40 卷，第 33214–33222 页。外部链接：文档。

• Venus Team (2026a) Venus Team。UI-venus-1.5 技术报告。

• Venus Team (2026b) Venus Team。UI-venus-2 技术报告。arXiv 预印本 arXiv:2609.00028。

• Wang et al. (2025) X. Wang, B. Wang, D. Lu, J. Yang, T. Xie, J. Wang, J. Deng, X. Guo, Y. Xu, H. Wu, et al.。OpenCUA：计算机使用智能体的开放基础。载于 Advances in Neural Information Processing Systems，第 38 卷。

• Wu et al. (2025) Q. Wu, K. Cheng, R. Yang, C. Zhang, J. Yang, H. Jiang, J. Mu, B. Peng, B. Qiao, R. Tan, S. Qin, L. Liden, Q. Lin, H. Zhang, T. Zhang, J. Zhang, D. Zhang, and J. Gao。GUI-actor：面向图形界面智能体的无坐标视觉定位。载于 Advances in Neural Information Processing Systems，第 38 卷。外部链接：文档。

• Xie et al. (2025) T. Xie, J. Deng, X. Li, J. Yang, H. Wu, J. Chen, W. Hu, X. Wang, Y. Xu, Z. Wang, Y. Xu, J. Wang, D. Sahoo, T. Yu, and C. Xiong。通过用户界面分解与合成来扩展计算机使用定位。载于 Advances in Neural Information Processing Systems，第 38 卷。外部链接：文档。

• Xie et al. (2024) T. Xie, D. Zhang, J. Chen, X. Li, S. Zhao, R. Cao, T. J. Hua, Z. Cheng, D. Shin, F. Lei, Y. Liu, Y. Xu, S. Zhou, S. Savarese, C. Xiong, V. Zhong, and T. Yu。OSWorld：在真实计算机环境中为开放式任务评测多模态智能体。载于 Advances in Neural Information Processing Systems，第 37 卷。外部链接：文档。

• Xue et al. (2025) T. Xue, W. Qi, T. Shi, C. H. Song, B. Gou, D. Song, H. Sun, and Y. Su。进步的幻觉？评估网页智能体的当前状态。载于 Second Conference on Language Modeling。

• Yang et al. (2025) Y. Yang, D. Li, Y. Dai, Y. Yang, Z. Luo, Z. Zhao, Z. Hu, J. Huang, A. Saha, Z. Chen, et al.。GTA1：图形界面测试时扩展智能体。arXiv 预印本 arXiv:2507.05791。

• Yao et al. (2023) S. Yao, J. Zhao, D. Yu, N. Du, I. Shafran, K. R. Narasimhan, and Y. Cao。ReAct：使语言模型中的推理与行动协同。载于 The Eleventh International Conference on Learning Representations。

• Yuan et al. (2025) X. Yuan, J. J. Zhang, K. Li, Z. Cai, L. Yao, J. Chen, E. Wang, Q. Hou, J. Chen, P. Jiang, and B. Li。SE-GUI：通过自进化强化学习增强图形界面智能体的视觉定位。载于 Advances in Neural Information Processing Systems，第 38 卷。

• Zhang et al. (2026) Y. Zhang, Z. Pan, Z. Zeng, S. Shen, C. Meng, and L. Zhu。Mvp：多视图预测改进图形界面定位。载于 Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，第 27482–27492 页。

• Zheng et al. (2024) B. Zheng, B. Gou, J. Kil, H. Sun, and Y. Su。若能定位，GPT-4V(ision) 就是通用网页智能体。载于 Proceedings of the 41st International Conference on Machine Learning，R. Salakhutdinov, Z. Kolter, K. Heller, A. Weller, N. Oliver, J. Scarlett, and F. Berkenkamp（编），Proceedings of Machine Learning Research，第 235 卷，第 61349–61385 页。

• Zhou et al. (2025) H. Zhou, X. Zhang, P. Tong, J. Zhang, L. Chen, Q. Kong, C. Cai, C. Liu, Y. Wang, J. Zhou, et al.。Mai-ui 技术报告：以真实世界为中心的基础图形界面智能体。arXiv 预印本 arXiv:2512.22047。

• Zhou et al. (2024) S. Zhou, F. F. Xu, H. Zhu, X. Zhou, R. Lo, A. Sridhar, X. Cheng, T. Ou, Y. Bisk, D. Fried, U. Alon, and G. Neubig。WebArena：用于构建自主智能体的真实网页环境。载于 The Twelfth International Conference on Learning Representations。

附录 A 基准构造与可复现性

PointerBench 包含三项各 500 个样例的套件，并共享同一接口：一张 $1024\!\times\!768$ 的截图、一条自然语言指令，以及像素精确的目标几何。Sheets 和 Text 由受控的界面描述以程序方式生成，而 Pro 由更大的一批生成的专业界面组装而成。发布的元数据保存评分器所使用的指令、目标几何、答案类型和诊断标签。我们开源了为它打分所需的基准元数据与评测脚本。

#### PointerBench-Sheets。

每个样例的产生方式是：采样一个可见的电子表格网格、版式、视觉风格和目标类型，然后把得到的界面连同它的指令和目标坐标一起渲染出来。可见表格通过行偏移、列偏移、风格变化和可选的应用装饰来变化，从而避免语义位置与屏幕坐标之间的固定对应。目标包括单元格和表头，也包括颜色、相对引用、调整大小手柄、边缘和角点。生成是确定的，每个样例产生一张不同的截图和一条元数据记录。

#### PointerBench-Text。

文本样例从具有精确字形几何的受控文档表面渲染而来。任务覆盖词、字符、标点、插入符位置、文本跨度和结构化文档字段，其中 366 个是点目标，134 个是边界框目标。后者包括词、行、字符、段落和发票字段区域。语言混合固定为 $50\%$ 英语，德语、法语、西班牙语、意大利语和荷兰语各 $10\%$ 。生成是确定的，并且只有在样例能确定唯一目标时才被保留。

#### PointerBench-Pro。

Pro 由生成的专业应用界面组装而成。候选目标跨应用采样，并加以平衡，使 100 个应用各自贡献五个样例。得到的套件包含 190 个图标目标、154 个文本目标和 156 个其他界面控件。对图标样例，指令明确要求图标本身，以避免与附近文本标签混淆。应用名称、类别、平台和来源标识符保留在发布的元数据中，使每个基准样例都能追溯到它的源界面。最终选择是确定的、可复现的。

附录 B 基准构成与几何

表 4 汇总 Sheets 套件的目标构成。100 个 Pro 应用的完整名单，以及所有样例的来源标识符，随基准一起分发。

表 4：PointerBench-Sheets 的任务构成。计数合计为 500 个样例。

表 5：PointerBench-Text 的任务构成。区域汇总边界框目标；其余各组要求点预测。

#### 专业应用覆盖。

图 3 按领域汇总所代表的 100 个应用。开发软件和创意软件提供最大的两组，其余样例跨越科学、工程、生产力、通信、企业、办公、操作系统和消费界面。

图 3：PointerBench-Pro 的应用领域覆盖。100 个应用各自贡献五个样例；括号中的数字表示每个领域中的应用数量。

#### 空间与几何覆盖。

图 4 显示目标中心的分布和目标面积。Sheets 遵循电子表格版式的规则几何，Text 散布在文档表面上，Pro 集中在菜单、工具栏和界面上部附近的其他控件。尽管如此，三个套件都覆盖坐标框中很宽的一部分。目标面积的中位数，Sheets 为 $0.215\%$ ，Text 为 $0.0286\%$ ，Pro 为 $0.129\%$ ；因此 Text 目标面积的中位数大约比 Sheets 的中位数小 $7.5\times$ ，比 Pro 的中位数小 $4.5\times$ 。

图 4：PointerBench 目标的空间与几何分布。上：归一化的目标中心分布及其边缘分布。下：目标面积占 $1024\!\times\!768$ 屏幕的百分比；虚线标出各套件的中位数。

面积本身可能掩盖高度各向异性的目标。例如，一条电子表格边界可能覆盖屏幕上可见的一段，同时宽度只有几个像素。因此图 5 分别报告目标的宽度和高度。在所评测的模型—套件配置上，面积最大的四分位数平均比面积最小的四分位数准确 $10.7$ 个百分点，尽管尺寸效应随套件而变化，并不能完全解释观察到的错误。

图 5：按套件划分的归一化目标宽度和高度，以对应屏幕维度的百分比表示，并使用对数尺度。

附录 C 评测协议与推理设置

所有模型接收相同的截图—指令对，并在基准坐标框中返回一个点或一个边界框。当预测坐标落在标注目标之内时，点预测即为正确。对边界框任务，令 $B_{p}$ 和 $B_{g}$ 表示预测框与标注框。我们计算

并且当 $\mathrm{coverage}\geq 0.90$ 且 $\mathrm{precision}\geq 0.70$ 时，把该预测计为正确。这一不对称准则强烈惩罚裁掉目标的情况，同时允许目标周围有适度的边距。

格式错误或不可用的输出计为失败。我们报告每个套件的二元成功率，以及它们的未加权平均。因为预测意图是可以直接执行的，官方分数使用模型在所要求坐标框中未经修改的输出。我们单独分析那些系统性使用另一种坐标约定的模型。

#### 提示。

基准中所有前沿模型运行都使用同一条系统提示，不做针对模型的修改：

你正在评测 PointerBench，一个图形界面定位基准。你将收到一张 1024x768 的截图和一条任务指令。使用绝对像素坐标，原点在图像左上角。不要返回归一化坐标。不要裁剪或缩放坐标框。对点任务，返回类似 {"point": [x, y]} 的 JSON。对边界框任务，返回类似 {"bbox": [x0, y0, x1, y1]} 的 JSON。

#### 推理设置。

基准中所有前沿模型评测都通过 OpenRouter 的提供方完成。原始的 $1024\!\times\!768$ 图像被直接提交，响应格式通过 JSON schema 强制。关闭推理的运行使用 512 个词元的响应上限。低档和中档设置使用 2,048 个词元的上限；中档另外使用 1,024 个词元的推理额度，而低档使用提供方的低努力配置，没有显式的推理词元上限。被过滤或预算耗尽的响应不会重试。确切的端点标识符、请求清单、哈希，以及逐样例输出，都包含在发布的评测产物中。

表 6：受控推理研究中六个模型可用的推理设置。短横线表示该设置不可用。

附录 D 推理预算敏感性

我们分别在六个模型各自可用的推理设置上评测它们，以测量同一批 1,500 个样例上对推理预算的敏感性。

表 7：在可用推理设置上的成功率（%）。

这种效应强烈依赖于模型。Luna 从关闭推理时的 $51.6\%$ 提高到低档的 $70.8\%$ 和中档的 $72.7\%$ 。Sol 同样从 $67.5\%$ 升到 $77.3\%$ 和 $77.7\%$ ，使低档推理对这个模型成为中档的一个接近近似。Sonnet 是非单调的：它的低档设置低于关闭推理的那一次运行，然后中档才达到 $72.2\%$ 。Fable 没有关闭推理的运行，但中档推理相对低档推理只把准确率提高 1.4 个百分点。中档推理把 Grok 从 $1.8\%$ 提高到 $8.7\%$ ，同时仍使它远远落后于领先模型，并且没有改进 Qwen。因此，主排名并不是统一分配更多推理词元的结果。

对 Sonnet、Luna 和 Sol，关闭档和低档的运行在样例层面精确配对。表 8 报告低档设置所纠正和所退步的样例数量。三种情形下的变化都具有统计显著性，包括 Sonnet 的小幅下降。

表 8：低档推理相对关闭推理的配对比较。被纠正表示从错误变为正确的转变；退步表示相反的转变。所报告的 $p$ 值使用双侧精确 McNemar 检验。

附录 E 补充诊断分解

#### 电子表格目标类型。

表 9 报告六个粗粒度 Sheets 组上的准确率。领先系统在单元格、表头、颜色和相对引用上接近完美，而细薄的结构目标仍然更不稳定。在 Fable、Opus、Sol 和 Luna 中，边缘准确率从 $81.0\%$ 到 $98.3\%$ ，角点准确率从 $89.7\%$ 到 $97.4\%$ 。Opus 在边缘上达到 $98.3\%$ ，在角点上达到 $94.9\%$ ，而 Fable 尽管在单元格、表头和颜色上是完美的，边缘上却降到 $91.4\%$ 。这些结果确认，很高的 Sheets 总体准确率可以掩盖细几何目标上的残余错误。

表 9：按目标组划分的 PointerBench-Sheets 准确率（%）。计数显示在列表头中。

#### 专业界面目标类型。

表 10 确认正文所报告的次序：文本元素最容易，其他界面控件处于中间，图标对每个领先模型都最难。在 Fable、Opus、Sol 和 Luna 中，文本准确率从 $89.0\%$ 到 $92.9\%$ ，其他控件为 $81.4$ – $85.9\%$ ，图标只有 $70.0$ – $75.3\%$ 。图标占 375 次汇总失败中的 215 次（ $57.3\%$ ），尽管只占样例的 $38.0\%$ ，确认图标定位仍然是专业界面中错误的主要来源。

表 10：按目标类型划分的 PointerBench-Pro 准确率（%）。

#### 语言。

表 11 为领先模型比较英语与非英语的 Text 样例。多语言性并不能解释 Text 瓶颈：Fable 在两组上表现相同（ $69.6\%$ ），Sol 几乎不变（ $53.2\%$ 对 $53.6\%$ ），Luna 在非英语样例上略强（ $45.6\%$ 对 $47.6\%$ ）。Opus 显示出最大的差异，从英语上的 59.6% 提高到非英语样例上的 66.8%。

表 11：按语言组划分的 PointerBench-Text 准确率（%）。每一组包含 250 个样例。

#### 边界框失败。

正文中的区域组包含 134 个边界框样例。表 12 把由此产生的失败分开。Fable 和 Opus 最常因为预测的框太大而失败，过大的预测对两个模型都占样例的 $26.1\%$ 。Sol 和 Luna 则最常裁掉所请求区域的一部分，分别为 $39.6\%$ 和 $41.8\%$ 。因此，即使在最强的模型之间，较低的区域准确率也不是来自同一种共享的失败模式。

表 12：134 个 PointerBench-Text 边界框目标上的结果分布（%）。被裁切和过大的框分别只未满足覆盖率或精度要求；“两者皆是”表示两项要求都未满足。

#### 坐标框遵从。

尽管提示明确要求绝对的 $1024\times 768$ 坐标，Gemini 3.7 Flash 和 Qwen3.8 Max 主要发出 $0$ – $1000$ 框中的坐标。因此我们在前面的诊断分析中省略了它们未经处理的分类级分解，因为坐标不匹配会把定位错误与输出表示混在一起。它们未经修改的预测仍留在官方排行榜中。作为一种诊断，把可解析的预测统一转换到所要求的坐标框，使 Gemini 的总体准确率从 $3.1\%$ 升到 $78.1\%$ ，使 Qwen3.8 Max 从 $2.8\%$ 升到 $55.4\%$ 。Qwen3.6 Flash 表现出同样的行为，在同样的转换下从 $1.5\%$ 升到 $31.9\%$ 。这些转换后的分数只作诊断，不用于排名。

表 13：坐标框诊断。官方分数使用未经修改的模型输出；转换后的分数施加一个固定的、从 $0$ – $1000$ 到 $1024\times 768$ 的变换，并且不是排行榜结果。

附录 F 完整模型评测

表 14：完整的 PointerBench 评测。三个基准套件上的成功率（%）。新评测的 Gemini 和 Qwen 条目使用官方原始输出，不做坐标框后处理。

表 14 包含全部 37 个被评测的系统，以及点击中心这一基线。

附录 G 完整的专用图形界面定位评测

表 15 报告 39 个开源权重专用图形界面定位配置（涵盖参数量从 2B 到 32B 的 35 个检查点）在全部 1,500 个 PointerBench 样例上的完整评测。与表 14 测试对统一绝对像素 JSON 提示的严格遵从不同，这里的每个专用模型都在其官方原生定位提示、坐标归一化（例如 UI-Venus-2-9B 和 UI-Venus-1.5-8B 使用 $[0,1000]$ 归一化坐标，MAI-UI-8B 和 MAI-UI-2B 使用 $[0,999]$ 缩放坐标，UI-TARS-1.5-7B 使用 Doubao 定位格式，GTA1 和 OpenCUA 使用 pyautogui.click），或推理时扩展包装器（MVP 和 GUI-RC [Du et al., 2026]）下被评测。在区域任务上，返回的框按框打分，只输出点的结果按点打分。

表 15：PointerBench 上的专用图形界面定位结果。三个套件上的成功率（%）。每一列中最好与次好的结果用粗体和下划线标出。

附录 H 补充局限

PointerBench 把单步图形界面定位从时间规划、恢复和环境动态中分离出来。因此它的分数不应被解释为对计算机使用智能体能力的完整度量；反过来说，在交互式基准上的成功，也不能保证对这里所考虑的细粒度目标具有稳健性。所有输入都使用固定的 $1024\!\times\!768$ 框和绝对像素坐标。该基准并不直接测量对任意显示分辨率、缩放策略或其他坐标表示的稳健性。

与其他通过封闭模型评测的公开基准一样，我们不能独立核实基准样例或密切相关的材料是否已经出现在专有的预训练语料中。PointerBench-Sheets 和 PointerBench-Text 是专门为该基准生成的，而 PointerBench-Pro 使用生成的专业界面，这减少了与已有图形界面定位数据集的直接重叠，但并没有消除接触到相似界面或任务的可能性。