AgentHorizon：评测长程计算机使用任务上的智能体评判者（续）

本文是《AgentHorizon：评测长程计算机使用任务上的智能体评判者》的续篇，只收录附录 B。前篇地址为 https://openqa.cn/articles/agenthorizon-long-horizon-judges-zh 。

附录 B 补充结果

B.1 计算与预处理

##### 推理

我们使用专有模型的官方 API，并通过 vLLM 在 H100 GPU 上运行开放权重评判者。

##### 输入表示

对于直接评判做法，我们为轨迹中的每一步送入一张截图和一个动作；为了保证合理的上下文长度，我们把每张截图缩小到 $512{\times}332$ 像素。对于无法支持更长上下文的开放权重模型，连续四帧被合并成一幅 $2{\times}2$ 拼图。我们的发布固定了环境版本，并提供确切的预处理和评测脚本以复现实验。

表 6：主要智能体评判配置的资源使用。均值在全部 $1{,}373$ 条轨迹上计算，除非某个支架省略了相应的遥测；自托管行没有边际 API 费用。

表 6 各行的均值如下。GPT-5.5 在 Codex 上平均输入词元五十一万三千五百五十六，工具调用 18.6 次，图像 11.9 张，每条轨迹 0.4035 美元。Gemini 3.1 Pro 在 Gemini CLI 上输入词元约一百三十九万，工具 24.2 次，图像 30.2 张，费用 0.6172 美元。Claude Opus 4.7 在 Claude Code 上输入词元五十五万四千三百八十七，工具 9.2 次，图像 7.8 张，费用 0.6592 美元。Qwen 3.6 27B 在 OpenCode 上输入词元二十四万三千四百四十，工具 8.1 次，图像 6.0 张，自托管费用记为零。GPT-5.4 mini 在 Codex 上费用 0.1066 美元。Qwen 3.6 35B-A3B 费用为零。Claude Haiku 4.5 费用 0.1216 美元。Gemini 3.1 Flash Lite 费用 0.0949 美元。两个 Gemma 4 行的费用都为零，而且它们查看的图像更少。

B.2 错误类型召回

为补充我们二元评测的结果，我们还在表 7 中纳入细粒度的失败类型召回。我们发现 Bad Side Effect 的召回最低，表明模型很难把副作用与其他错误类型区分开，校准较差。

表 7：主要智能体评判配置在完整基准上的精确错误类型召回。分母为 273 个 Critical Mistake、232 个 Bad Side Effect 和 339 个 Misunderstanding；畸形输出计为不正确。

表 7 三列分别是严重错误、副作用和误解的精确召回。GPT-5.5 为 77.7、24.1 和 72.9。Gemini 3.1 Pro 为 57.5、7.3 和 87.3。Claude Opus 4.7 为 75.8、12.1 和 71.4。Qwen 3.6 27B 为 60.4、5.6 和 74.3。GPT-5.4 mini 为 60.8、2.6 和 74.6。Qwen 3.6 35B-A3B 为 63.0、6.0 和 53.1。Claude Haiku 4.5 为 58.6、8.6 和 53.4。Gemini 3.1 Flash Lite 为 62.3、1.7 和 29.2。Gemma 4 26B-A4B 为 47.6、0.0 和 18.6。Gemma 4 31B 为 74.0、0.0 和 27.1。副作用一列在全体主要评判者里都是最低的。两个 Gemma 行的副作用召回为零。分母按三种错误类型分开计算。

B.3 用更多支架评测

在表 8 中，我们报告每一个在不止一个智能体支架上被评测的模型，其中 GPT-5.5 和 Qwen 3.6 27B 在 Codex 和 OpenCode 上都做了评测，从而可以公平比较。我们发现，GPT-5.5 从 Codex 换到 OpenCode 时表现低 3.7 个百分点，而 Qwen 在 OpenCode 上的平衡准确率低 1.2 个百分点，在 OpenHands 上低 20.4 个百分点。基于这些结果，我们可以得出结论：支架的选择可以实质性地影响评判者的表现，并鼓励使用原生接口（例如 GPT 家族使用 Codex），或者使用若干开放支架，以了解哪一个更合适。

表 8：在最终 AH 和 AH-S 划分上、于多种智能体接口下评测的模型。所有运行使用提示 P9 和相同的基准输入。AH 正例和 AH 负例使用固定分母 227 和 301；AH-S 平衡使用 234 个正例和 449 个负例。缺失或畸形输出计为不正确。†* 标出表 2 所报告的主要接口。*

表 8 在同一提示下比较支架。GPT-5.5 在 Codex 上的平衡准确率为 80.9，换到 OpenCode 降为 77.2。Qwen 3.6 27B 在 Codex 上为 71.6，在 OpenCode 上为 70.4，在 OpenHands 上降到 51.2。Gemini 3.1 Flash Lite 在 Gemini CLI 上为 52.1，在 OpenCode 上为 51.3，在 Codex 上为 47.8，在 OpenHands 上为 46.1。匕首号标出表 2 里的主要接口。

B.4 去掉必要信息的效应

我们研究从传给评判者的输入中去掉指令的效应，这会使该任务变得不可能（因为两条轨迹都应当看起来有效），结果见表 9。我们发现，去掉指令和动作日志会使平衡准确率接近随机（47.8% 到 49.8%），而去掉截图则导致很差的表现（57.7%）。这突出表明，轨迹本身并没有提供足够的信息来预测成功，而截图为做出恰当评判提供了重要信息。

表 9：消融结果，评测哪些轨迹组件对于评判一条轨迹是必要的。该表逐行保留指令、截图和动作日志的有无，以及真正例、假负例、假正例、真负例和平衡准确率。

[^1]: https://vllm.ai/