当智能体失败时：六个基准上的分项结果

当智能体失败时：六个基准上的分项结果

这篇是《当智能体失败时：模型还是支架，谁该负责？》的附录 D。前半在 https://openqa.cn/articles/model-or-harness-blame-zh ，参考文献和附录 A 到 C 在 https://openqa.cn/articles/model-or-harness-appendix-ac-zh 。下面是 SWE-bench-45、Terminal-Bench 2、VitaBench、LOCA-Bench、ClawMark、AgentSkillOS 的分项结果和完整资源表。

附录 D 基准特定结果

以下各节保留支撑正文跨基准发现的完整基准级表格与基准特定分析。

D.1 SWE-bench-45

表 13 报告完整的 SWE-bench-45 结果。若干配置中四次最优与四次均值之间的差距相当大。例如，MiniMax M3 搭配 OpenCode 在其模型块中取得最高的四次最优与四次均值。19.4 个点的差距把至少一次试验中的成功与全部四次执行的平均成功区分开来。支架排名依赖于模型：Codex CLI 对 DeepSeek V4 Flash Preview 与 Qwen3.6-35B-A3B 取得最高四次均值，OpenCode 对 MiniMax M3 与 Kimi K2.7 取得最高四次均值。

表 13：SWE-bench-45 四次最优与四次均值成功率（%；第 A.3 节）。加粗/下划线：每个核心模型内的最佳/次佳，含并列。固定参照不参与高亮。

##### SWE-bench-45 运行有效性。

四模型面板包含 2,880 次计划 SWE 执行。固定的 GPT-5.5–Codex 与 DeepSeek V4 Pro 0813–DeepSeek 支架参照各自在相同 45 项任务上贡献一个单独的 180 次运行面板。此处有效提交是评测器补丁应用阶段所接受的非空补丁；正确性不计入运行有效性。表 14 报告单基准有效完成率矩阵及其 SWE 内的模型与支架汇总。

表 14：SWE-bench-45 有效完成率（%）。A：四模型矩阵与固定参照。B：核心面板支架/模型成对胜率、均值、type-7 第 25 百分位数与最小值。这些单基准汇总不同于表 10 中平衡的三模型、六基准汇总。

DeepSeek 把跨支架接近上限的运行有效性与 36.11% 的最佳四次均值成功率结合起来。在其他模型中，OpenCode 与 Pi CLI 对每个模型都在超过 87% 的运行中产生干净的、可供评测器使用的完成。Kimi 在 DeepAgents 下的有效完成率最低。Codex CLI 表现出相反的模型依赖：其对 Qwen 的有效完成率比对 Kimi 高 58.9 个百分点。最终解决了议题的 25 次运行不计入有效完成，因为它们异常终止，这说明评测器交接与任务成功是不同的。两个固定参照都把接近上限的有效完成率与可观的四次最优–四次均值差距结合起来，从而把运行有效性与可重复的议题解决分开。

表 15：SWE-bench-45 加性有效完成率交互残差（百分点），在四模型 SWE 面板上中心化。

轨迹证据把与这些残差一致的机制定位出来。在相同的计划支撑上，DeepAgents 为 Kimi 记录的 RuntimeError 失败几乎是 MiniMax 的两倍，而 Qwen 为零。Codex CLI 在全部 Qwen 运行中正常终止，并且在同样的 180 次尝试中，比 Kimi 多产生 106 次可供评测器使用的补丁。这些 SWE 特定残差指导轨迹检查，并依赖于比较面板。它们的幅度在图 4 的匹配三模型计算中减弱；纳入 DeepSeek 会改变中心化基线，并得到此处报告的四模型数值。

D.2 Terminal-Bench 2

表 16：Terminal-Bench 2 在全部 89 项任务上的结果：四个模型、四个支架，以及固定参照。最优/均值：四次最优/四次均值。

在 Terminal-Bench 2 的全部 89 项任务上，性能在模型–支架配置之间差异很大。Pi CLI 具有最强的四模型宏平均，四次均值比次席 OpenCode 高 1.3 个百分点。其最大的模型特定优势在 Kimi 上，它在两项指标上都领先，四次均值比 OpenCode 高 4.8 个点。对于 Qwen，Codex CLI 在四次最优上领先，并在四次均值上与 Pi CLI 并列。其他模型的排序发生变化：DeepAgents 在 DeepSeek 的四次均值上领先，并在四次最优上与 Pi CLI 并列，而 OpenCode 在 MiniMax M3 的两项指标上都领先。领先支架因模型而异。

从模型角度看，DeepSeek V4 Flash Preview 总体上仍然最强，而 Qwen 获得最低平均。支架选择仍然影响每个模型：对于 MiniMax，OpenCode 的四次均值比 DeepAgents 高 18.0 个百分点。较大的四次最优–四次均值差距把偶发的任务成功与重复执行中的稳定表现区分开来。

支架排名依赖于模型：Codex CLI 在 Qwen 的四次最优上领先，并在四次均值上与 Pi CLI 并列；Pi CLI 在 Kimi 上领先；DeepAgents 在 DeepSeek 的四次均值上领先，并在四次最优上与 Pi CLI 并列；OpenCode 在 MiniMax 上领先。这些逆转刻画了跨完整系统配置的模型依赖性能，这些配置组合了提示、适配器、动作模式格式化、上下文管理与运行时设定。

两个固定参照在结果上都超过每一个核心配置。GPT-5.5–Codex 在四次最优与四次均值上都比 DeepSeek V4 Pro 0813–DeepSeek 支架高 13.5 个百分点。两个系统都不是完全干净的。超过三分之一的 DeepSeek 支架运行异常终止，而其最终验证器交接率接近上限；因此其有效完成失败几乎完全来自异常终止。七次非正常运行仍然获得满分任务得分。Terminal-Bench 2 表明，官方任务分数与执行有效性指标捕捉的是系统性能的不同方面。

D.3 VitaBench

表 17 报告严格工具权限下的四次最优与四次均值。对每一个模型–支架配置，跨领域交互在两项指标下都是最难的设定。在核心面板中，最佳跨领域配置的四次均值比最佳单领域配置低 20.8 个百分点；四次最优差距为 13 个点。支架效应仍然依赖于模型。按合计四次均值，Codex CLI 在 DeepSeek 上领先，DeepAgents 在 MiniMax 上领先，OpenCode 在 Kimi 上领先，Pi CLI 在 Qwen 上领先。按合计四次最优，Codex CLI 在 DeepSeek、MiniMax 与 Kimi 上领先，而 Pi CLI 在 Qwen 上领先。

在核心配置之间，未舍入的合计四次最优与合计四次均值之差大约为 23–32 个百分点。因此，这些配置至少成功一次的任务集合，明显宽于它们在重复执行中可靠解决的任务集合。固定的 DeepSeek V4 Pro 0813–DeepSeek 支架参照有 25.1 个点的四次最优–四次均值差距，其四次均值超过每一个核心配置以及 GPT-5.5–Codex。两个参照都不参与模型内的格式标注。

表 17：严格工具权限下的 VitaBench 四次最优/四次均值成功率（%）：每个环境 100 项任务、四次独立试验（400 次尝试）（第 A.3 节）。跨领域合并配送、到店与 OTA；合计对四个环境等权平均。加粗/下划线：每个核心模型与指标的最佳/次佳，含并列。固定参照不参与高亮。

##### VitaBench 运行有效性。

四模型严格面板包含 25,600 次计划尝试。DeepSeek 支架参照在相同的任务–试验支撑上贡献一个单独的 1,600 次运行面板，并达到 100% 有效完成率。表 18 报告完整的单基准过程剖面。

表 18：严格权限下的 VitaBench 过程指标。A：有效完成率（%）以及模型/支架汇总。B：四模型交互残差（百分点）。C：支架级正常终止、有效交接与有效完成率（%）。D：固定参照。

VitaBench 的有效完成率接近上限：每个核心配置的有效完成率至少为 98%，基准内加性残差都在零的一个百分点以内。合计四次均值在核心配置之间跨度为 28.1 个百分点，领先支架因模型而异。因此 VitaBench 隔离出这样一种情形：即使几乎每一次运行都成功执行并交接，模型–支架的结果差异仍然存在。两个固定参照都达到 100% 有效完成率，而 DeepSeek 支架的四次均值比 GPT-5.5–Codex 高 7.6 个点，进一步例示了在相同运行有效性水平上的结果差异。

资源使用也显示出模型条件化的差异。对于 DeepSeek，Pi CLI 每次尝试使用的词元不到 Codex CLI 的一半，而四次均值仅落后不到 0.2 个百分点。这些完全覆盖的单元格使用与第 6.4 节跨基准资源分析相同的核算规则。

D.4 LOCA-Bench

##### 主要结果。

表 19 报告主结果。Codex CLI 是每个模型块内的最佳支架。其对 MiniMax M3 的优势尤其大：Codex CLI 的四次均值比次席 DeepAgents 高 63 个百分点。对其余每个模型，它相对次佳支架的领先大约为 15–20 个点。MiniMax–Codex 的四次均值比 GPT-5.5–Codex 高 11 个点，并在四次最优上超过两个固定参照。

表 19：四模型、四支架面板及固定参照在 LOCA-Bench 256K 上的四次最优/四次均值成功率（%）。加粗标出每个核心模型与指标的最佳支架；参照除外。

##### 运行有效性。

四模型面板包含 $4\times 4\times 75\times 4=4{,}800$（4,800）次执行，每个固定系统参照在相同 75 项任务上贡献 300 次运行。正常退出条件要求 status=success。有效交接条件要求有限的最终状态评测器结果，包括在随后异常后端退出之前记录的结果。仅当两个条件都成立时，一次运行才是干净的。表 20 报告所得四模型面板。

表 20：LOCA-Bench 有效完成率（%）。A：四模型矩阵；B：固定参照；C：核心面板支架/模型成对胜率、均值、type-7 第 25 百分位数与最小值。

该交互远大于支架整体平均所暗示的幅度。对于同一个 DeepAgents 接口，DeepSeek 的有效完成率比 Kimi 高 79 个百分点。对于 MiniMax，Codex CLI 比 DeepAgents 高 65.7 个点。DeepAgents 在全部四个模型配置中的有效状态率等于其有效完成率，而其他支架的有效状态率处于或接近上限。正常执行失败构成 LOCA 有效完成率损失的大部分；正常停止之后的最终状态评测贡献的损失相对较少。同一点可见于表 21 的四模型双重中心化残差。两个原生参照的有效完成率都低于若干核心配置，它们的非正常运行保留评测器记录，但任务分数为零。

表 21：LOCA-Bench 加性有效完成率交互残差（百分点），在四模型面板上中心化。

##### 支架与模型效应。

表 22 中的边际均值表明，在该设定下支架选择的效应大于模型选择。支架边际均值之间的极差是模型边际均值极差的 2.6 倍（四次均值），四次最优则为 3.5 倍。平方和分解同样把大部分聚合配置变异归于支架主效应，其次是交互，然后是模型主效应（表 22，下面板）。这些份额描述聚合配置均值之间变异的分布。

表 22：LOCA-Bench 边际结果与配置变异的描述性份额（%）。边际均值在四个模型或四个支架上平均。

模型–支架交互产生排名逆转。MiniMax 在 DeepAgents 与 Codex CLI 下最佳，DeepSeek 在 OpenCode 下最佳，Kimi 在 Pi CLI 下最佳。因此模型排名以执行框架为条件。

##### 词元效率与运行时证据。

对于 DeepSeek，Codex CLI 每次尝试使用的词元大约比 Pi CLI 少 86%，同时四次均值提高 21.7 个百分点。更高的成功率还扩大了其资源优势：每次成功的词元大约低 92%。

轨迹状态使系统级解释更具体。我们在表 23 中展示 Kimi 上的运行时错误比较。在同样的 300 次尝试中，Codex 的运行时错误比次席 OpenCode 少 114 次，并且没有类似超时的失败。一些非 Codex 运行在错误状态之外仍记录了评测器判定正确的环境状态，从而把最终状态正确性与过程终止及结果回写分开。DeepAgents 还表现出递归限制与部分状态恢复事件；该切片中的 OpenCode 错误一律类似超时；Pi CLI 表现出类似超时的退出与管道破裂。这些观察通过上下文组织、工具协议与运行时可靠性来刻画 LOCA-Bench 性能。

表 23：Kimi K2.7 的运行时错误证据（每个支架 300 次尝试）。

在 256K、多工具、精确状态机制下，支架边际均值之间的变异超过模型边际均值之间的变异。轨迹分析刻画了已评测系统在上下文选择、工具结果管理与停止行为上的差异。

D.5 ClawMark

表 24 报告三个模型在四个支架上以及固定原生参照的 ClawMark 结果。OpenCode 取得最强的核心面板聚合结果，三个模型都获得高分。M3 在各支架上表现出最均衡的高分剖面，在 OpenCode、DeepAgents、Pi 与 Codex 下都保持竞争力。K2 表现出最尖锐的支架依赖：它在 OpenCode 下取得最高的四次均值点估计，并在 DeepAgents 下保持竞争力，而在 Pi 下四次均值为 11.93，在 Codex 下为 11.96。Qwen 在四个支架上表现出广泛兼容，峰值分数低于最强的 M3 与 K2 配置。GPT-5.5–Codex 参照的四次均值比最强核心配置 Kimi–OpenCode 高 4.0 个分数点，并在四次最优上同样领先。这些结果表明，支架选择直接影响模型能力在任务执行中如何表达，从而促使在模型–支架层面进行解释。

第 6.2.3 节使用严格的响应级标注，以完全可观察的跨支架分母与任务级不确定性，考察 K2 的结果–有效性差异。

各支架在如何维持长程执行上也有差异。OpenCode 通常通过相对紧凑的轨迹达到高分，以更少的执行步骤把模型决策转化为可执行动作与状态更新。DeepAgents 通常产生更长的轨迹，记录的执行步骤大幅更多。这种延长的执行增加了暴露于轮级超时以及外部服务或传输失败的机会。一些被中断的轨迹仍然获得可观的量规得分，表明终止前已取得有意义的进展。Pi 与 Codex 对 Qwen 与 M3 仍然有效，其表现更强地依赖于模型在遵循预期结构化动作协议上的一致性。

表 24：ClawMark 四次最优/四次均值结果（%）。分数使用连续评测器分数；完全成功要求运行分数为 1。加粗/下划线：每个核心模型与指标的最佳/次佳，含并列。固定原生参照不参与高亮。

##### ClawMark 运行有效性。

核心面板包含 4,800 次计划尝试，固定原生参照在相同 100 项任务上再贡献 400 次尝试。每个配置的有效交接率都是 100，因此有效完成率由正常终止决定。表 25 报告所得矩阵与单基准交互残差。

表 25：ClawMark 过程指标。A：核心面板有效完成率（%），含模型/支架汇总以及单独的固定参照。B：核心面板加性交互残差（百分点）。

对于 Kimi，Pi CLI 与 Codex CLI 把接近上限的有效完成率与较低的四次均值分数结合起来，从而把有效完成与解题表现分开。对于 MiniMax，OpenCode 在有效完成率比较中领先并超过其加性基线，而对于 Kimi，正残差转移到 Pi CLI 与 Codex CLI。Qwen 具有最高的模型侧有效完成率胜率，但其最大正残差出现在 DeepAgents。即使在同一个长程职场基准内，这些有效完成率模式也随支架与模型而变化。

原生参照在分数四次均值上领先，但有效完成率排名低于五个核心配置。全部 31 次非正常运行都保留评测器分数，其中八次完全成功，表明结果与终止指标捕捉的是执行的不同方面。

在能够维持任务执行的配置中，OpenCode 把最强的聚合结果与相对紧凑的轨迹结合起来。对于 MiniMax M3，它每次尝试使用的词元大约比 DeepAgents 少 44%。Kimi K2.7 在 Pi CLI 与 Codex CLI 下把低词元负载与低任务分数结合起来，说明把资源使用与结果放在一起解释的价值。

D.6 AgentSkillOS

表 26 报告每个配置的官方评测器分数。更大的技能池改变的是排序，而不是使所有配置均匀平移。在主 200 技能条件下，OpenCode 在 MiniMax 与 Qwen 上领先，而在 900 技能压力条件下，Pi CLI 在这两个模型上都领先。Pi CLI 在两种条件下对 Kimi 都最强。因此技能池规模与模型、支架共同交互。

表 26：AgentSkillOS 四次运行的平均任务分数：200 技能（主条件），900（匹配的压力条件）。加粗/下划线：每个核心模型–条件块的最佳/次佳；固定参照除外。

##### AgentSkillOS 运行有效性。

每种技能池条件在平衡的三模型面板上贡献 1,440 次计划尝试。主要的跨基准分析使用 skill_200；skill_900 是压力条件，它改变可见的技能选择负担，同时保持任务、模型与支架匹配。表 27 报告两种条件的完整过程汇总。

表 28 表明，压力条件以不同方式改变各支架的有效完成。把可见技能池从 200 增加到 900，使 OpenCode 的模型平均有效完成率下降 26.7 个百分点，但使 Pi CLI 上升 6.4 个点。它们的有效完成率胜率朝相反方向移动。在配对层面，两种条件下 Codex CLI 对 MiniMax 的运行干净程度都低于加性基线的预测，但对 Qwen 则更干净。技能池规模的效应共同取决于用于技能选择与执行的模型和支架。

表 27：AgentSkillOS 过程指标（%）。A/B：有效完成率以及模型/支架汇总（成对胜率、均值、type-7 第 25 百分位数与最小值）。C：正常退出率与有效输出率。原生参照与平衡面板汇总保持分开。

表 28：AgentSkillOS 加性有效完成率交互残差（百分点）。残差在每种技能池条件内分别中心化。

D.7 完整资源结果

##### 主词元负载。

表 29 报告具有完整词元核算的主配置的平均词元负载，包括固定系统参照。

表 29：具有完整词元核算的配置的平均主词元负载（每次计划尝试的百万词元）。短横线表示评测面板之外的配置。AgentSkillOS 使用 skill_200。固定参照作为完整系统报告，与跨支架指数分开。

##### 完整配置矩阵。

表 30 给出第 6.4 节所使用的完整资源矩阵。它包含 111 个基准–条件–模型–支架单元格，包括 AgentSkillOS 压力条件与全部固定参照。每个单元格都有结果与精确的词元覆盖值。对于 LOCA-Bench，任务局部的提供方合计覆盖全部 4,800 次计划尝试；异常终止之前消耗的词元予以保留。

表 30：按基准、条件、模型与支架划分的资源结果。结果：官方四次均值或任务分数；词元负载：百万词元/次尝试；每成功词元：百万词元。覆盖率是具有词元核算的计划尝试百分比。

出处：Shao Zhang, Hangfan Zhang, Yuanyuan Shi, Hao Li, Min-Le Su, Kangcong Li, Jingping Wang, Chunjiang Mu, Chen Zhang, Yang Chen, Bo Zhang, Shuyue Hu，When Agents Fail: Model or Harness—Who’s to Blame?，2026-10-23，https://arxiv.org/abs/2610.32483，CC BY 4.0。