CodexQA

行业与实践研究与基准测试

GraceBench:执行稳定性诊断的参考文献与附录

CodexQA 团队阅读约 31 分钟

GraceBench 正文的参考文献与附录。附录给出指标公式、指令粒度与结果受控比较、自动构造界面转移图的细节,以及生成标签对照人类专家的一致性。

本文目录

GraceBench:执行稳定性诊断的参考文献与附录

译注:本篇承接正文《GUI 智能体如何失败:用于执行稳定性诊断的 GraceBench》。以下从参考文献起,按原文顺序翻译附录 A 至附录 E。

参考文献

  • Android Developers(2026)。Android Developers。《Android debug bridge (adb)》。https://developer.android.com/tools/adb ,2026。访问日期:2026-09-26。
  • Apple(2026)。Apple。《Mlx》。https://github.com/ml-explore/mlx ,2026。访问日期:2026-09-26。
  • Bu 等人(2026)。Tianpeng Bu、Xin Liu、Qihua Chen、Hao Jiang、Shurui Li、Hongtao Duan、Lu Jiang、Lulu Hu、Bin Yang 与 Minying Zhang。《恢复策略引起的错误:面向稳健 GUI 智能体的基准与轨迹合成》。载于 Proceedings of the 43rd International Conference on Machine Learning,2026。URL https://openreview.net/forum?id=iJwDylm93H 。Spotlight;arXiv:2605.29447。
  • Chai 等人(2026a)。Yuxiang Chai、Shunye Tang、Han Xiao、Weifeng Lin、Hanhao Li、Jiayu Zhang、Liang Liu、Pengxiang Zhao、Guangyi Liu、Guozhi Wang、Shuai Ren、Rongduo Han、Haining Zhang、Siyuan Huang 与 Hongsheng Li。《A3:面向带必要状态过程评测的移动 GUI 智能体的 Android agent arena》,2026a。URL https://arxiv.org/abs/2501.01149 。Findings of ACL 2026。
  • Chai 等人(2026b)。Yuxiang Chai、Han Xiao、Xinyu Fu、Jinpeng Chen、Rui Liu 与 Hongsheng Li。《Ui-kobe:面向轻量图引导 GUI 智能体的知识导向行为探索》,2026b。URL https://arxiv.org/abs/2605.29534 。
  • Chen 等人(2025)。Jingxuan Chen、Derek Yuen、Bin Xie、Yuhao Yang、Gongwei Chen、Zhihao Wu、Yixing Li、Xurui Zhou、Weiwen Liu、Shuai Wang、Kaiwen Zhou、Rui Shao、Liqiang Nie、Yasheng Wang、Jianye Hao、Jun Wang 与 Kun Shao。《Spa-bench:面向智能手机智能体评测的综合基准》,2025。URL https://arxiv.org/abs/2410.15164 。ICLR 2025。
  • Dong 等人(2021)。Zhen Dong、Abhishek Tiwari、Xiao Liang Yu 与 Abhik Roychoudhury。《通过事件顺序探索检测 Android 中的不稳定测试》。载于 Proceedings of the 29th ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering,2021。doi: 10.1145/3468264.3468584 。
  • Feng 等人(2026)。Yunfei Feng、Xi Zhao、Cheng Zhang、Dahu Feng、Daolin Cheng、Jianqi Yu、Yubin Xia 与 Erhu Feng。《Mobiflow:通过轨迹融合做真实世界移动智能体基准》,2026。URL https://arxiv.org/abs/2604.09587 。
  • Genymobile(2026)。Genymobile。《scrcpy》。https://github.com/Genymobile/scrcpy ,2026。访问日期:2026-09-26。
  • Guo 等人(2025)。Linqiang Guo、Wei Liu、Yi Wen Heng、Tse-Hsun Chen 与 Yang Wang。《Agent-sama:具备状态意识的移动助手》,2025。URL https://arxiv.org/abs/2505.23596 。
  • Li 等人(2024)。Wei Li、William Bishop、Alice Li、Chris Rawles、Folawiyo Campbell-Ajala、Divya Tyamagundlu 与 Oriana Riva。《数据规模对界面控制智能体的影响》,2024。URL https://arxiv.org/abs/2406.03679 。
  • Liu 等人(2025)。Wei Liu、Linqiang Guo、Yi Wen Heng、Chenglin Li、Tse-Hsun Chen 与 Ahmed E. Hassan。《基于录屏的用户感知 GUI 响应性分析》,2025。URL https://arxiv.org/abs/2508.01337 。
  • Rawles 等人(2023)。Christopher Rawles、Alice Li、Daniel Rodriguez、Oriana Riva 与 Timothy Lillicrap。《Android in the wild:面向 Android 设备控制的大规模数据集》,2023。URL https://arxiv.org/abs/2307.10088 。
  • Rawles 等人(2025)。Christopher Rawles、Sarah Clinckemaillie、Yifan Chang、Jonathan Waltz、Gabrielle Lau、Marybeth Fair、Alice Li、William Bishop、Wei Li、Folawiyo Campbell-Ajala、Daniel Toyama、Robert Berry、Divya Tyamagundlu、Timothy Lillicrap 与 Oriana Riva。《Androidworld:面向自主智能体的动态基准环境》,2025。URL https://arxiv.org/abs/2405.14573 。ICLR 2025。
  • Song 等人(2025)。Yuanyi Song、Heyuan Huang、Qiqiang Lin、Yin Zhao、Xiangmou Qu、Jun Wang、Xingyu Lou、Weiwen Liu、Zhuosheng Zhang、Jun Wang、Yong Yu、Weinan Zhang 与 Zhaoxiang Wang。《Colorbench:用面向复杂长程任务的图结构框架评测移动智能体》,2025。URL https://arxiv.org/abs/2510.14621 。WWW 2026。
  • Sui 等人(2026)。Yifan Sui、Xin Huang、Hongbing Li、Fang Xu、Jiahe Lv、Haolong Yan、Yeqing Shen、Litao Liu、Zhimin Fan、Ziyang Meng、Jia Wang、Junbo Qi、Kaijun Tan、Zheng Ge、Xiangyu Zhang、Daxin Jiang 与 Osamu Yoshie。《Androiddaily:面向真实世界闭源应用上移动 GUI 智能体的可核验基准》,2026。URL https://arxiv.org/abs/2605.27761 。
  • Sun 等人(2025)。Yuchen Sun、Shanhui Zhao、Tao Yu、Hao Wen、Samith Va、Mengwei Xu、Yuanchun Li 与 Chongyang Zhang。《Gui-xplore:用一次探索增强可泛化的 GUI 智能体》,2025。URL https://arxiv.org/abs/2503.17709 。
  • Wen 等人(2024)。Hao Wen、Yuanchun Li、Guohong Liu、Shanhui Zhao、Tao Yu、Toby Jia-Jun Li、Shiqi Jiang、Yunhao Liu、Yaqin Zhang 与 Yunxin Liu。《Autodroid:由大语言模型驱动的 Android 任务自动化》。载于 Proceedings of the 30th Annual International Conference on Mobile Computing and Networking,第 543–557 页,2024。doi: 10.1145/3636534.3649379 。
  • Wu 等人(2024)。Qinzhuo Wu、Weikai Xu、Wei Liu、Tao Tan、Jianfeng Liu、Ang Li、Jian Luan、Bin Wang 与 Shuo Shang。《Mobilevlm:一个更好地理解界面内部与界面之间关系的视觉语言模型》,2024。URL https://arxiv.org/abs/2409.14818 。
  • Yang 等人(2025)。Leyang Yang、Ziwei Wang、Xiaoxuan Tang、Sheng Zhou、Dajun Chen、Wei Jiang 与 Yong Li。《Probench:用准确的过程信息评测 GUI 智能体》,2025。URL https://arxiv.org/abs/2511.09157 。AAAI 2026。
  • Yang 等人(2015)。Shengqian Yang、Hailong Zhang、Haowei Wu、Yan Wang、Dacong Yan 与 Atanas Rountev。《面向 Android 的静态窗口转移图(t)》。载于 Proceedings of the 30th IEEE/ACM International Conference on Automated Software Engineering,第 658–668 页,2015。doi: 10.1109/ASE.2015.76 。
  • Ye 等人(2025)。Jiabo Ye、Xi Zhang、Haiyang Xu、Haowei Liu、Junyang Wang、Zhaoqing Zhu、Ziwei Zheng、Feiyu Gao、Junjie Cao、Zhengxi Lu、Jitong Liao、Qi Zheng、Fei Huang、Jingren Zhou 与 Ming Yan。《Mobile-agent-v3:面向 GUI 自动化的基础智能体》,2025。URL https://arxiv.org/abs/2508.15144 。
  • Yu 等人(2026)。Mingxian Yu、Siqi Luo 与 Xu Chen。《Graphpilot:由知识图谱驱动、经一步大语言模型推理的 GUI 任务自动化》,2026。URL https://arxiv.org/abs/2601.17418 。
  • Zhang 等人(2025)。Chaoyun Zhang、Shilin He、Jiaxu Qian、Bowen Li、Liqun Li、Si Qin、Yu Kang、Minghua Ma、Guyue Liu、Qingwei Lin、Saravan Rajmohan、Dongmei Zhang 与 Qi Zhang。《以大语言模型为脑的 GUI 智能体:综述》,2025。URL https://arxiv.org/abs/2411.18279 。
  • Zhang 等人(2026)。Yuqing Zhang、Honghui Sheng、Xueyu Hu、Shengyu Zhang 与 Fei Wu。《Dac-bench:面向组合式移动 GUI 任务的决策意识基准》。载于 Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers),第 44578–44598 页,2026。doi: 10.18653/v1/2026.acl-long.2064 。
  • Zhong 等人(2026)。Hongbin Zhong、Fazle Faisal、Luis Franca、Tanakorn Leesatapornwongsa、Adriana Szekeres、Kexin Rong 与 Suman Nath。《Actionengine:经由状态机记忆,从反应式 GUI 智能体到程序式 GUI 智能体》,2026。URL https://arxiv.org/abs/2602.20502 。

译注:下列句子只把上面二十六条文献的著录角色再写一遍,不新增文献,也不改变顺序。第一条是安卓调试桥的官方文档,由 Android Developers 于二零二六年发布,访问日期为二零二六年九月二十六日。第二条是苹果机器学习框架的代码仓库说明,由 Apple 于二零二六年发布,访问日期相同。第三条讨论如何恢复由策略引起的错误,并为稳健的图形界面智能体建立基准和合成轨迹,发表于第四十三届国际机器学习大会,且为聚光灯论文。第四条提出带必要状态过程评测的安卓智能体竞技场,后被计算语言学协会年会的发现集收录。第五条研究面向轻量图引导界面智能体的知识导向行为探索。第六条给出智能手机智能体的综合评测基准,发表于二零二五年学习表征国际会议。第七条通过事件顺序探索检测安卓中的不稳定测试,发表于软件工程联合会议。第八条用轨迹融合构造真实世界移动智能体基准。第九条是开源投屏工具的仓库说明,由 Genymobile 于二零二六年发布。第十条提出具备状态意识的移动助手。第十一条讨论数据规模如何影响界面控制智能体。第十二条用录屏分析用户感知到的界面响应性。第十三条发布面向安卓设备控制的大规模野外数据集。第十四条发布面向自主智能体的动态安卓基准环境,发表于二零二五年学习表征国际会议。第十五条用图结构框架评测复杂长程移动任务,发表于二零二六年万维网大会。第十六条给出真实世界闭源应用上可核验的移动界面智能体基准。第十七条研究用一次探索增强可泛化的界面智能体。第十八条把大语言模型用于安卓任务自动化,发表于移动计算与网络国际会议。第十九条提出用于界面内部和界面之间理解的视觉语言模型。第二十条用准确的过程信息评测图形界面智能体,发表于二零二六年人工智能促进协会会议。第二十一条给出安卓静态窗口转移图,发表于自动化软件工程国际会议。第二十二条提出面向界面自动化的基础智能体系列的第三版。第二十三条用知识图谱支持一步推理的界面任务自动化。第二十四条综述以大语言模型为脑的图形界面智能体。第二十五条提出面向组合式移动界面任务的决策意识基准,发表于计算语言学协会二零二六年长文卷。第二十六条讨论经由状态机记忆,把反应式界面智能体推进到程序式界面智能体。

附录 A 任务到领域的映射

表 3:图 3 所使用的任务到领域映射。任务按其主要用户目标分组。括号中的名称表示一个应用内部的场景专属子图;六个抖音子图仍是同一张抖音应用级界面转移图的组成部分。

任务领域应用/场景归属任务数占比
社交与视频娱乐TikTok;Xiaohongshu;Hongguo Short Drama3319.53%
本地服务Douyin(Group Buying);Dianping2615.38%
电子商务Douyin(Mall);Douyin Mall2213.02%
账户与通用服务Douyin(Home Sidebar;Profile)169.47%
内容创作Douyin(Content Creation)158.88%
音乐Qishui Music148.28%
地图与出行Amap(Gaode Map)148.28%
数字阅读Fanqie Novel116.51%
新闻与资讯Toutiao105.92%
直播Douyin(Live)84.73%
合计10 个应用 / 10 张应用级 UTG169100.00%

附录 B 指标计算细节

本附录给出 GraceBench 所用指标的详细计算规则。设 \(G_{\tau}=(V_{\tau},E_{\tau})\) 为任务 \(\tau\) 的任务子图,其中顶点集是任务状态,边集是可执行转移;设 \(E_{\mathrm{req}}\subseteq E_{\tau}\) 为所需任务转移的集合。评测一条执行轨迹之后,GraceBench 识别缺失的必要边集合 \(M_{\tau}\subseteq E_{\mathrm{req}}\),已完成的必要边数等于必要边总数减去缺失边数,即

\[ C_{\mathrm{req}}^{\tau}=|E_{\mathrm{req}}|-|M_{\tau}|. \tag{5} \]

设 \(\mathcal{I}_{\tau}\) 表示对齐轨迹中可计分的动作步,排除 WAIT 和 COMPLETE。

#### 成功率。

成功率是在冻结的逐轨迹评测摘要中被标为成功的运行比例。对每项任务,指示函数在摘要报告成功时取一,否则取零:

\[ SR_{\tau}=\mathbf{1}[\text{评测摘要报告任务成功}], \tag{6} \]

任务成功标签直接取自所提供的摘要,并在汇总和事后分析全程保留。基准级成功率为

\[ SR=\frac{1}{N}\sum_{\tau=1}^{N}SR_{\tau}. \tag{7} \]

#### 完成率。

完成率衡量智能体完成的、任务所要求转移的比例,即已完成必要边数除以必要边总数:

\[ CR_{\tau}=\frac{C_{\mathrm{req}}^{\tau}}{|E_{\mathrm{req}}|}. \tag{8} \]

我们报告全部被评测任务上的宏平均 CR。

#### 偏离率。

偏离率衡量被标为偏离的可计分步占全部可计分步的比例:

\[ DR_{\tau}=\frac{|\{t\in\mathcal{I}_{\tau}:\ell_t=\mathit{deviation}\}|}{|\mathcal{I}_{\tau}|}. \tag{9} \]

我们报告全部被评测任务上的宏平均 DR。

#### 循环负担率。

设 \(L_{\tau}\) 为任务 \(\tau\) 中被检测到的循环事件所覆盖的步骤集合。设 \(\mathcal{D}_{\tau}\) 表示除完成动作之外的全部决策步;与可计分步集合不同,它包含等待,因为重复等待会消耗交互预算。对至少有一个循环的轨迹,循环步率等于循环所覆盖的步数除以决策步数:

\[ LBR_{\tau}=\frac{|L_{\tau}|}{|\mathcal{D}_{\tau}|}. \tag{10} \]

在主要结果中,循环负担只在发生循环的轨迹上汇总:

\[ LBR=\frac{\sum_{\tau:|L_{\tau}|>0}|L_{\tau}|}{\sum_{\tau:|L_{\tau}|>0}|\mathcal{D}_{\tau}|}. \tag{11} \]

#### 恢复成功率。

一次恢复机会始于智能体进入路径外状态。对任务 \(\tau\),偏离回合数 \(N_{\mathrm{dev}}^{\tau}\) 作分母,成功回到任务子图的回合数 \(N_{\mathrm{succ}}^{\tau}\) 作分子。当偏离回合数大于零时,恢复成功率等于成功回合数除以偏离回合数:

\[ RSR_{\tau}=\frac{N_{\mathrm{succ}}^{\tau}}{N_{\mathrm{dev}}^{\tau}}. \tag{12} \]

没有恢复机会的任务被排除在汇总的恢复分析之外。所报告的 RSR 在适用任务上汇集成功回合和机会,而不是对其各自比率取平均。

#### 平均恢复时延。

对每个成功恢复回合 \(i\),恢复时延是从第一次偏离步到轨迹回到任务子图的那一步之间的步数,也就是恢复时刻减去偏离时刻。平均恢复时延再对这些成功恢复回合取算术平均,分母是成功恢复的回合数:

\[ \mathrm{latency}_{i}=t_{i}^{\mathrm{rec}}-t_{i}^{\mathrm{dev}}. \tag{13} \]

ARL 在成功恢复回合上取平均:

\[ ARL=\frac{1}{N_{\mathrm{succ}}}\sum_{i=1}^{N_{\mathrm{succ}}}\mathrm{latency}_{i}. \tag{14} \]

#### 恢复能力。

恢复能力把恢复是否成功和恢复有多快结合起来。对每次恢复机会,若该次已经恢复,贡献是时延与一之间较大者的倒数,使更快的恢复得到更大的贡献;若没有恢复,贡献为零:

\[ c_{i}= \begin{cases} \dfrac{1}{\max(1,\mathrm{latency}_{i})}, & \text{若已恢复},\\ 0, & \text{否则}. \end{cases} \tag{15} \]

对 \(N_{\mathrm{dev}}^{\tau}>0\) 的任务,

\[ RA_{\tau}=\frac{1}{N_{\mathrm{dev}}^{\tau}}\sum_{i=1}^{N_{\mathrm{dev}}^{\tau}}c_{i}. \tag{16} \]

与 RSR 一样,没有恢复机会的任务被视为不适用,而不是被赋予完美恢复分数。所报告的 RA 在全部回合上汇集贡献 \(c_i\),再除以恢复机会总数。

附录 C 事后诊断消融

#### 数据集范围与可复现性。

正文和本附录中的每一项轨迹级分析都从同一批 3,718 条记录出发:11 个模型、169 项任务和两种指令条件。结果限制和指标可用性限制,在这套完整数据集内部定义被明确报告的支持集。78 个以错误结束的案例和 10 个无效启动案例的已完成重跑,按与主分析相同的核对规则纳入。既有的九模型摘要贡献 3,042 条记录。导入的 UI-TARS 与 GUI-Owl 包贡献其余 676 条记录。全部任务身份、指令、过程指标、计数分母和所报告的 SR 标签都保留自所提供的逐轨迹摘要。没有用单独的终态复核替换标签。导入包不含视频或截图字节,因此本分析复用既有评测,并不做新的视觉裁定。本附录其余部分提供第 4 节所引用的支持分析,包括按结果分层的不稳定、指令效应、结果受控比较、跨任务模型一致性、恢复相关性,以及预测成本消融。

#### 按结果分层的过程不稳定。

表 4 给出第 4.2 节所概括比较的完整版本,成功列、失败列和二者之差并排列出。

表 4:全部 3,718 条轨迹上,按最终任务结果划分的过程不稳定。差距为不成功减去成功。DR 在全部轨迹上平均;循环发生率是包含循环的轨迹比例;LBR 只在发生循环的轨迹上计算;RA 只在有恢复机会的轨迹上计算。

详细指令简洁指令
指标成功失败差距成功失败差距
DR0.08890.3067+0.21780.14120.3618+0.2206
循环发生率0.20660.6525+0.44590.27480.6520+0.3772
LBR0.42570.6390+0.21330.48400.6142+0.1302
RA0.72850.5668-0.16180.63940.5918-0.0476

C.1 指令粒度

#### 详细指导改善路径覆盖并减少偏离。

在一千八百五十九个匹配的模型与任务对上,详细指令和简洁指令分别产生六百三十九次和六百五十五次成功。简洁减去详细的成功率差异为 0.0086,百分之九十五区间从负的 0.0194 到正的 0.0371;完成率差异为负的 0.0301,区间从负的 0.0460 到负的 0.0145;偏离率差异为 0.0522,区间从 0.0332 到 0.0719。因此,在这一被评测的队列中,详细指令改善了任务所要求路径的覆盖程度,而关于智能体最终成功是否彼此不同的证据仍然并不充分,不能据此断言存在成功差异。终态成功和规定路径覆盖是不同的估计量:一项任务可以到达目标,而不完成每一条参考转移。图 6 表明效应随模型而变,表 5 保留每个所报告模型的方向。

图 6:全部 11 个模型上的指令效应

图 6:全部 11 个模型上的指令效应。简洁减详细的 SR 和 CR,带任务聚类的 95% 区间。每个模型有 169 对;汇总估计有 1,859 对。全部 88 次替换运行都在配对之前选定。

表 5:由表 2 所展示的四位小数汇总得到的简洁减详细差异。图 6 中的成对区间使用全部 11 个模型的完整逐轨迹记录。

模型\(\Delta\) SR\(\Delta\) CR\(\Delta\) DR\(\Delta\) LBR\(\Delta\) RA
UI-TARS-1.5-7B+0.0532+0.0687-0.0061-0.0561-0.0004
GUI-Owl-1.5-8B-Instruct+0.0710-0.0010+0.0501-0.0518-0.0163
DeepSeek-V4.1-Flash-0.1006-0.0936+0.0780+0.0173+0.0418
Qwen3.8-Max+0.0355-0.0354+0.0043+0.0158+0.0850
Qwen3.8-27B-0.0474-0.0684+0.0621+0.0120-0.0293
GLM-5.3-Flash+0.0296-0.0628+0.0560-0.0181-0.0045
Qwen3.8-Flash+0.0533+0.0962+0.0551-0.1098+0.1359
GPT-5.6 Sol+0.0000-0.1127+0.0633+0.0876+0.0071
GPT-5.5-0.0237-0.0927+0.0898+0.0652-0.0180
Gemini 3.1 Flash Lite+0.0533+0.0103+0.0689-0.0087-0.0673
Gemini 3.5 Flash-0.0296-0.0398+0.0532-0.0077-0.0334

#### 估计量与配对。

所有成对差异都是简洁减去详细。CR 和 DR 比较任务级分数;依赖机会的 LBR 和 RA 只在两个成员都适用时比较,这些成对均值不同于分母加权的排行榜估计量。

在 1,859 对中,426 对在两种条件下都成功,229 对只在简洁条件下成功,213 对只在详细条件下成功,991 对在两种条件下都不成功。双成功比较覆盖 123 项任务。自助样本有放回地抽取全部 169 个任务 ID,共 10,000 次(种子 20260923),并保留每个被抽到任务的全部合格记录。区间使用第 2.5 与第 97.5 百分位,并以这一模型集合为条件;它们不估计运行之间的设备变异。

表 6:两种描述都成功时的成对过程变化。依赖机会的比较使用各自的共同支持集。

度量配对数平均变化95% 任务聚类区间
DR4260.0467[0.0236, 0.0713]
循环发生率4260.0423[-0.0072, 0.0922]
LBR340.0339[-0.0653, 0.1232]
RA96-0.0911[-0.1717, -0.0133]
CR426-0.0591[-0.0879, -0.0325]

#### 构成与参考长度敏感性。

我们在逐一排除每个模型和每个场景之后,重复汇总的成对估计。下面的范围概括点估计,而不是不确定性区间。

表 7:简洁减详细效应的留一组外敏感性。

被排除单元SR 范围CR 范围DR 范围
一个模型[0.0024, 0.0195][-0.0427, -0.0218][0.0485, 0.0581]
一个场景[-0.0057, 0.0183][-0.0365, -0.0153][0.0345, 0.0598]

全部 26 项构成检查都保留负的 CR 区间和正的 DR 区间;全部 SR 区间都跨过零。我们还按参考路径长度在六步处划分任务,且并未为了最大化观察到的效应而选择该切点。较短路径(至多六步)有 880 对,CR 变化为 \(-0.0078\),区间为 \([-0.0329, 0.0167]\)。较长路径有 979 对,CR 变化为 \(-0.0502\),区间为 \([-0.0701, -0.0305]\)。

较长路径的区间有利于详细覆盖,而较短路径的区间跨过零;子组效应之间的差异本身并未被检验。场景估计是探索性的,样本量不齐,并未被选作独立的确认性检验。

图 7:场景专属的成对指令效应

图 7:场景专属的成对指令效应。纳入全部 11 个模型。区间对任务聚类重抽样;小场景的估计相应地更不精确。这些比较是探索性的,且未做多重性校正。

C.2 结果受控的稳定性比较

#### 结果受控的配对构造与敏感性。

对每项任务和每种条件,设 11 个模型中有 \(k\) 个成功。该层贡献 \(\binom{k}{2}+\binom{11-k}{2}\) 个结果内部的无序模型配对。我们要求 CR 差距至多为 0.00005,以做存储精度上的精确匹配,并要求每个被比较过程指标的两个值都存在。我们扫描 CR 容差 0.00005、0.05 和 0.10,以及过程差距阈值 0.10、0.20 和 0.30。由此得到的 54 种结果—指标—阈值设定使用相同的源记录。对主要阈值,任务聚类区间保留每个被抽到任务的全部相依模型配对。

图 8:全部 3,718 条轨迹上的结果受控过程诊断

图 8:全部 3,718 条轨迹上的结果受控过程诊断。(a)精确 CR 匹配、且过程差距至少为 0.2000 的配对;柱区分成功配对与失败配对,须线为任务聚类的 95% 区间。(b)上三角:共同支持集上的 Spearman 相关;下三角:控制任务、模型、条件、SR 和 CR 之后的残差相关。(c–d)精确 CR 匹配配对的阈值敏感性;阴影带为任务聚类的 95% 自助区间。

表 8:过程差距至少为 0.2000 的精确 CR 匹配配对。配对数不是独立样本量;区间按任务聚类。

结果指标大差距 / 合格比例95% 区间
成功DR410/17790.2305[0.1815, 0.2806]
成功LBR42/1010.4158[0.2778, 0.5333]
成功RA153/2870.5331[0.4492, 0.6227]
失败DR926/19390.4776[0.4417, 0.5128]
失败LBR425/8560.4965[0.4567, 0.5348]
失败RA860/14440.5956[0.5613, 0.6298]

一项更严格的描述性搜索把另外两个指标差距保持在至多 0.0500,同时要求目标差距至少为 0.2000 且 CR 精确。它得到 6 对 DR、16 对 LBR 和 7 对 RA。这表明单个指标可以区分一些原本相似的记录,但并不确立因果隔离。共同支持集上的相关分析包含 169 项任务上的 1,447 条轨迹;使用同一支持集,避免把指标关联与不同的缺失模式混在一起。

C.3 跨任务模型一致性

表 9 使用全部 3,718 条记录,而不按 SR 或 CR 筛选。我们用种子 20260926 生成 1,000 次划分,按场景和参考长度(至多六步相对多于六步)分层;一项任务的全部模型和两种指令留在同一子集。每个子集独立地在任务上汇总 DR,在含循环的轨迹上汇总 LBR,在恢复机会上汇总 RSR 和 RA,并在成功恢复上汇总 ARL。不可用分数不用零替换。所报告的范围描述对任务划分的敏感性,而不是来自独立重复实验的不确定性。对随机排序基线,我们固定全部划分专属的排序,并在全部 1,000 次划分上对子集 B 的模型身份施加同一次共享随机置换,以保留它们的相依性。单侧置换 \(p\) 值是 200,000 次置换(种子 20260927)中、跨子集平均 Spearman 相关至少达到观察值的比例。全部十项指标—条件检验在 Bonferroni 校正后仍然显著。把 RA 限制为由 off_path 发起的回合,在详细指令和简洁指令下得到平均排序相关 0.4388 和 0.7760,强化了恢复排序对机会构成的依赖。

表 9:模型画像的跨任务可复现性。在 1,000 次分层的 84/85 任务划分上,不相交任务子集上十一模型排序之间的平均 Spearman \(\rho\)(越高越可复现);方括号给出划分的中央 95%,而不是置信区间。单侧 \(p\) 值使用 200,000 次模型身份置换;十项检验在 Bonferroni 校正后全部仍然显著。

指标详细 \(\rho\)置换 \(p\)简洁 \(\rho\)置换 \(p\)
DR0.9516 [0.8636, 0.9909]\(<0.0001\)0.9228 [0.8182, 0.9727]\(<0.0001\)
LBR0.9284 [0.8182, 0.9909]\(<0.0001\)0.8381 [0.6727, 0.9636]0.0001
RSR0.8100 [0.6182, 0.9364]0.00020.8269 [0.7091, 0.9364]0.0002
ARL0.5816 [0.2455, 0.8727]0.00420.5880 [0.1998, 0.8636]0.0039
RA0.5983 [0.3000, 0.8818]0.00290.8508 [0.6361, 0.9636]\(<0.0001\)

C.4 及时恢复与结果的相关性

#### 匹配的恢复窗口分析。

我们检验:在实际路径偏离之后,一个被标注的恢复事件是否与最终任务完成相关。对每条轨迹,我们取第一次 off_path 回合,其从零开始的起始步至多为第 9 步,并观察接下来的三个决策,排除终态不匹配的起点和孤立的恢复标签。这在全部 169 项任务上产生 2,230 条合格轨迹。我们按任务、指令条件、三步起始箱和先前进展箱匹配轨迹,保留同时包含返回与不返回的层,并施加重叠权重。在由此得到的、覆盖 134 项任务的 1,035 条轨迹中,三个决策内返回的加权 SR 为 0.2591,没有返回的为 0.1275,差异为 0.1316,95% 任务聚类区间为 \([0.0800, 0.1829]\)。

#### 调整后的关联与敏感性。

在全部 2,230 条合格轨迹上,一项线性概率分析控制任务—条件与模型固定效应、起始箱和先前进展箱,估计 SR 差异为 0.1021 \([0.0604, 0.1438]\)。如图 9 所示,当要求随后三个决策都被观察到,或把起始限制在第 6 步或更早时,估计仍然为正。这一一致性把及时的路径返回与一个有后果的任务结果联系起来,而观察性设计并未控制自然发生的错误难度。

图 9:及时的路径返回与任务成功相关

图 9:及时的路径返回与任务成功相关。(a)在匹配任务、指令条件、偏离起始箱和先前进展箱之后的重叠加权 SR。(b)在起始和观察窗口限制下的调整后 SR 差异;点控制任务—条件与模型固定效应、起始箱和先前进展,须线为 95% 任务聚类区间。

#### 解释边界。

返回既不是任务成功的充分条件,也不是对 RA 时延加权的孤立验证:在从每一个观察到的 off_path 机会都恢复了的 1,301 条轨迹中,只有 408 条最终成功(SR=0.3136)。在控制是否发生返回之后,局部倒数时延分数增加 0.1,与 SR 差异 0.0047 \([-0.0039, 0.0133]\) 相关。因此该实验支持及时返回与结果的相关性,但不支持因果效应、最优时延函数,或对一般恢复能力按共同错误起点排序。

C.5 分组预测消融

具备可用性意识的基线 \(B\) 包含 SR、CR、模型、指令条件、场景、期望任务长度、图深度、循环是否发生,以及恢复机会是否发生。完整模型为 \(F=B\cup\{\mathrm{DR},\mathrm{LBR},\mathrm{RA}\}\)。我们对 \(\log(1+\mathrm{duration})\) 和已执行步数拟合固定 \(\alpha=10\) 的岭回归。全部 3,718 条记录都有有效的目标元数据;没有只选成功的筛选。五折交叉验证在三次固定的任务级划分上重复。一项任务的全部模型和两种条件留在同一折,类别编码和标准化只在训练折上拟合。不可用的 LBR 或 RA 仅在回归中编码为零,并且每次比较的两侧都包含可用性指示变量。区间按任务对固定的交叉拟合损失差异重抽样,自助期间不再重新拟合。它们量化该已拟合程序在任务上的变异,而不是训练不稳定的不确定性。相对于具备可用性意识的基线,加入全部三个过程指标使交叉验证 MSE 对步数降低 0.1504,对对数时长降低 0.1166。

图 10:全部 3,718 条记录上的分组预测消融

图 10:全部 3,718 条记录上的分组预测消融。点表示基线 MSE 减去增强模型 MSE;正值有利于增强。须线为 95% 任务聚类区间。标签以小数给出相对 MSE 降幅。蓝色行向具备可用性意识的基线加入一个指标;绿色行把被省略的指标加回另外两个。

表 10:条件留一增益。相对增益为小数;绝对 MSE 的单位在目标之间不同。

目标加入的指标相对增益MSE 降幅95% 区间
对数时长DR0.03360.0040[0.0015, 0.0065]
对数时长LBR0.04310.0052[0.0033, 0.0071]
对数时长RA0.06420.0079[0.0057, 0.0103]
步数DR0.05710.4599[0.2865, 0.6385]
步数LBR0.04160.3296[0.2165, 0.4413]
步数RA0.09290.7780[0.5955, 0.9621]

全部六项留一区间都位于零之上。单独加入 DR 的时长项反而有 MSE 降幅 0.0006,区间为 \([-0.0007, 0.0019]\)。这一负面结果把单独效用与条件互补性区分开,并予以保留。

#### 解释与仍然存在的局限。

智能体成功结果相同、路径覆盖相同,并不决定过程质量;匹配比较、阈值敏感性、共同支持集上的关联,以及条件成本增益,提供互补证据。这些分析本身并不验证标注准确性、证明统计独立,或识别唯一最优的指标定义;附录 E 在分层的视觉证据样本上另行审计标注准确性。时长可以反映推理速度、设备和采集时段;步数在数学上与 DR/LBR 的分母相关。RA 以自然发生的恢复机会及其难度、剩余预算和错误混合为条件。全部自助比较都是探索性的,且未做多重检验校正。导入的 GUI 模型包包含评测记录和计时元数据,但不含媒体字节;当前分析依赖冻结的已报告标签。

图 11:完整数据集中的全部 11 个模型

图 11:完整数据集中的全部 11 个模型。详细与简洁条件下的 SR、CR、DR 和 LBR,由实验全程使用的同一批 3,718 条逐轨迹记录重新计算。

附录 D 自动 UTG 探索细节

#### 智能体与测试用具的分解。

我们的探索器不是固定路径爬虫。它把语义决策与确定性的设备操作分开:智能体识别当前 GUI 状态、选择与业务相关的动作并赋予稳定的状态名,而外部测试用具负责证据采集、动作执行、图序列化、风险门控和一致性检查。这一设计使同一执行协议能够覆盖异构应用,而不必在运行时编码应用专属的导航路径。探索之前,我们做一次短侦察,并定义应用专属的价值主脊,例如购物的搜索—商品—购物车、媒体的信息流—播放—评论,或阅读应用的图书详情—阅读器—目录。低价值的设置分支只在价值主脊已被覆盖之后才展开。

算法 1 以证据为据构造应用级 UTG

译注:原文在此给出算法 1 的标题。算法步骤写在随后各小节中,HTML 未单独给出可转录的伪代码块。

#### 观察与证据采集。

默认观察等待 \(2\) 秒让界面稳定,然后通过 ADB(Android Developers,2026)记录三种同步证据来源:(i)用 exec-out screencap -p 得到的无损 PNG 截图;(ii)来自 dumpsys window 的焦点包和 Activity;(iii)来自 uiautomator dump 的界面层次,并有压缩转储作为后备。对于打开阅读器或媒体详情页这类异步转移,智能体请求第二次、等待更长的观察,而不是把中间加载帧当作一个状态。每次观察连同其截图和 XML 路径、时间戳、可见文本、候选控件、可滚动区域和哈希,存储为一条 JSON 记录。文件按 step_XXXX_<label> 索引,以便每次图更新都能追溯到原始证据。

#### 状态签名与匹配。

XML 解析器移除小于 \(6\times 6\) 像素的无效区域,并按标签和量化到八像素网格的中心坐标对控件去重。每次观察至多保留 60 个点击候选、24 个稳定控件和 12 个可滚动区域。包含长数字、价格、热度计数、用户名或其他易变值的个性化字符串被排除在稳定控件集合之外。测试用具由 PNG 计算 16 个十六进制字符的截图哈希,并由

\[ (\text{Activity},\ \text{节点数},\ \text{可点击数},\ \text{前 18 个稳定控件}) \]

计算结构哈希。这些基于 SHA-1 的哈希是确定性的身份提示,不是安全原语。智能体先提供一个稳定的语义状态名;当若干节点共享该规范化名称时,测试用具用精确截图哈希(\(+160\))、精确结构哈希(\(+120\))、匹配的 Activity(\(+100\))、待定状态(\(+80\))以及既有证据/子节点来解析锚点。Activity 冲突施加 \(-40\) 惩罚。最终合并决定还检查模态是否存在、滚动位置、所选标签页和语义角色,防止仅仅因为共享一个 Activity,就把视觉上不同的面板或滚动后的详情状态合并。

#### 候选生成与优先级。

对一个 XML 控件 \(c\),初始点击分数为

\[ s_{\mathrm{tap}}(c)=8\mathbb{I}_{\mathrm{clickable}}+5\mathbb{I}_{\mathrm{labeled}}+6\sum_{k\in K_{H}}\mathbb{I}[k\in\mathrm{label}(c)]-12\mathbb{I}_{\mathrm{risk}}, \tag{17} \]

其中高价值概念集合包含搜索、播放、评论、筛选、列表、阅读和滚动。可点击、有标签、命中高价值词和属于风险分别以指示函数加减权重。解析器还把每个标记为可滚动的区域转换成有方向的滑动候选。垂直区域产生向上和向下动作,水平区域产生向左和向右动作;当界面层次不暴露可滚动容器时,阅读器页面获得翻页候选。因此滑动是一等的图边,而不是后备动作。

待定动作队列按

\[ \begin{aligned} s_{\mathrm{plan}}(a)={}&10n_{H}(a)+w_{\mathrm{priority}}+18\mathbb{I}_{\mathrm{swipe}}+4\mathbb{I}_{\mathrm{up/left}}\\ &-100\mathbb{I}_{\mathrm{risk}}-80\mathbb{I}_{\mathrm{needs\ review}}-15\mathbb{I}_{\mathrm{recollect}} \end{aligned} \tag{18} \]

排列未解决的边,其中对关键、高、普通和低优先级,\(w_{\mathrm{priority}}\in\{30,20,5,-10\}\)。该队列是建议性的:智能体在检查当前视觉证据和业务价值之后选择一个动作。测试用具随后恰好执行一次点击、滑动、返回或文本输入。一次滑动持续 420 ms,并在可用时约束在观察到的可滚动边界内;否则使用相对屏幕的后备区域。

#### 图更新与在线挂载守卫。

在序列化的树投影中,每条概念上的 UTG 边表示为 \(\text{状态}\rightarrow\text{动作记录}\rightarrow\text{状态}\);在图定义中,动作仍是边的属性。动作记录存储 gesture、direction、bounds、priority、status 和 risk;状态记录和动作记录都保留截图、XML、Activity、结构哈希和观察路径。在一条待定边进入正常队列之前,一个轻量挂载守卫检查当前父节点、提议动作、目标状态和兄弟上下文。例如,评论或选集这类仅播放器可用的动作不能直接挂在搜索/排行列表之下,关闭一个浮层也不应直接转移到无关浮层。检查失败会写入 mount_check.status=needs_review,设置 blocked=true,把目标标为 needs_reobserve=true,并将其移出正常待定队列。这一局部守卫在线运行;全树审计保留给已完成的价值主脊里程碑和最终交付。

#### 安全与终止。

执行门同时使用显式元数据和词法红线类别,覆盖支付、提交订单、充值、提现、认证、授权、外部分享、发布和账户资产变更。风险条目可以表示为 risk=true 且 status=defer 的边界边,但产生副作用的确认并不执行。提交搜索和应用筛选被明确当作安全例外。每次核验过的转移之后,核对只在每个非风险目标都有证据或已探索的子节点时,才把动作标为完成;被阻塞、有风险和被推迟的边按设计保持未解决。当应用价值主脊已被覆盖,且剩余队列只含风险、阻塞、重复或低价值分支时,探索停止。最后,我们人工复核状态名和证据,去重等价状态,核验返回转移,并把规范图与其可视化副本同步。

D.1 UTG 结构覆盖

表 11 报告最终规范化 UTG 的一份可审计清单。规范化把 3,265 条采集到的状态观察映射为 2,909 个规范 GUI 状态:合并仅视口不同或仅动态内容不同的重复项,同时保留模态状态、所选标签页、滚动位置和语义角色上与任务相关的差异。一条观察到的转移是唯一的 \((\text{源状态},\text{动作标签},\text{目标状态})\) 三元组,且两个端点都有规范状态映射。我们把 83 个未解决的目标观察排除在转移计数之外,而不是把它们当作已核验的图边。分支状态至少有两个不同的出动作—目标对。

表 11:十张应用级 UTG 的结构覆盖。状态为规范 GUI 状态;转移为不同的、以动作为条件的观察到的边;分支状态至少暴露两个不同的出动作—目标对。任务步数由 169 条整理后的参考路径计算,并把冷启动计为一次动作。

应用任务数状态数转移数分支状态平均 / 最大步数
Douyin63827763916.60 / 11
Dianping12206237299.25 / 10
Douyin Mall12268311416.42 / 12
Fanqie Novel11312361388.00 / 15
Amap14171189337.14 / 9
Hongguo14370399478.93 / 11
Qishui Music14145162136.21 / 9
TikTok9163177197.33 / 13
Toutiao10137148246.20 / 8
Xiaohongshu10310369395.40 / 9
合计1692,9093,1163747.02 / 15

这份清单确认,每个基准应用都由一张经过复核的非平凡图表示,任务套件由 3,116 条观察到的转移和 374 个承载决策的分支状态支持。连同每项任务的路径长度,这些统计支持 GraceBench 所声明的任务与安全范围内的结构覆盖充分性。它们并不意味着穷尽覆盖底层应用所暴露的全部功能。

#### 任务级状态支持。

我们进一步衡量有多少局部图结构支持每项被建模的任务。对任务 \(\tau\),设 \(S_{\tau}\) 为其整理后的专家路径所匹配到的既有规范 GUI 状态之并。在存在多条路线见证时,我们保留满足指令显式入口约束的非冗余路线。仅有动作的端点,以及没有对应规范状态的任务状态,不制造合成节点。我们把 UTG 转移上的无向一跳闭包定义为

\[ N_{1}(S_{\tau})=S_{\tau}\cup\{v\in V:\exists u\in S_{\tau},\ (u,a,v)\in E\ \lor\ (v,a,u)\in E\}. \tag{19} \]

该闭包包含匹配到的任务状态本身,以及由一个被建模动作连接的每一个不同前驱或后继。它衡量任务路线周围可用的局部状态上下文,而不是断言每个相邻状态都属于一条合法完成路径。

表 12:支持每个任务子图的规范状态。统计覆盖全部 169 项任务。置信区间为非参数任务自助区间,重抽样 10,000 次,种子 20260925。

度量均值95% CI中位数IQR范围
核心任务状态5.91[5.62, 6.18]6[5, 7][1, 11]
额外的一跳状态35.19[32.88, 37.66]34[24, 43][6, 102]
一跳闭包41.09[38.62, 43.69]40[30, 49][7, 112]
每项任务的扩展因子\(7.20\times\)[6.82, 7.59]\(7.14\times\)[5.33, 8.80][2.80, 15.50]

一项任务匹配到的核心平均包含 5.91 个规范状态,而纳入直接相连的一跳上下文后,这一数字增至 41.09 个状态,并额外增加 35.19 个不同状态。每项任务的平均扩展为 \(7.20\times\);在这一定义下,每项任务由其匹配路径状态加上更大的一组直接相邻状态表示。该统计量化局部结构支持,并不声称穷尽的应用覆盖。

附录 E 对生成转移标签的人类专家审计

#### 转移抽样与复核协议。

我们冻结了一个视觉核验总体:3,042 条轨迹,包含 34,767 条带有本地核验过的 MP4 证据的转移。676 条没有媒体字节、只有汇总的导入记录被排除。以种子 20260926,我们按执行模型、指令条件和场景抽样,每个非空层至少保留一条轨迹。得到的 313 条轨迹包含 3,487 条转移,即合格转移总体的 0.1003。复核者看到任务、专家路径、原子动作,以及按动作对齐的五帧有序故事板(动作前、起始、动作后、响应和稳定帧),而模型身份、条件、自动标签和终态结果保持隐藏。

专家智能体为精确的专家边状态匹配,以及 Deviation、Recovery 和 Loop 事件生成初始诊断标签。人类专家随后在盲法条件下独立复核抽样的转移故事板,并为每个诊断字段产生参考二值标签。主要复核冻结之后,一位人类专家裁定字段级分歧;全部 3,487 条转移都得到解决。人类专家担任审计者和标注者,而不是实验受试者,因此该审计不是人类受试者实验。

Cohen 的 \(\kappa\) 在专家智能体生成的二值标签与经人类裁定的参考标签之间计算。对每个诊断字段,专家智能体输出和经人类裁定的参考各自为 3,487 条抽样转移中的每一条提供一个二值标签。裁定后的标签被用作人类参考,以衡量生成标签与人类专家标签的一致性。

表 13:生成标签与人类专家标签的一致性。Cohen 的 \(\kappa\) 在 3,487 条抽样转移上,比较专家智能体生成的二值标签与经人类裁定的参考标签。

字段Cohen 的 \(\kappa\)
状态匹配0.7980
偏离0.7952
恢复0.7663
循环0.8656

觉得有用,转给同事

微信扫码

用微信扫一扫,在手机上打开后即可转发。

用 RSS 订阅

提交勘误