Industry & PracticeTechniques & Tutorials
当
111 个评测设定、52,168 条轨迹上，四种通用支架的排名随模型而变。OpenCode 的跨模型契合排第一，但任务分数和有效完成率常常偏向不同配对。
In this piece
当智能体失败时：模型还是支架，谁该负责？
###### 摘要
大语言模型智能体把模型与执行支架（连接模型与工具、环境和执行循环的软件层）组合在一起，因此智能体基准表现反映的是它们的联合行为。我们认为，支架因此应当通过其与底层模型的交互来加以评估。我们建立一个综合五项互补度量的框架：（i）有效完成率（Valid Completion Rate，VCR；尝试是否正常结束并交出可评分结果，不论任务对错），即智能体正常结束并交付可评估结果的可靠程度，不论任务正确与否；（ii）模型–支架契合，即对给定模型而言，支架通过有效完成支持任务达成的程度；（iii）跨模型契合，即支架在所评估模型上的总体适配性；（iv）交互残差，即被组件级汇总所掩盖的、特定配对的执行优势与劣势；（v）词元负载，即智能体执行的词元需求，包括失败的尝试。我们用四个核心模型评估四种通用支架（OpenCode、Codex CLI、Pi CLI 与 DeepAgents），并加上两个固定的原生模型–支架系统，基准共六个，涵盖上下文管理、工具使用、长上下文规划、多模态交互与产物交接。计入原生参照与压力条件，111 个评估设定产生 52,168 条轨迹。支架排名随模型与基准而变化；任务表现与有效完成可能偏向不同的配对，相近的任务分数也可能伴随不同的执行剖面。OpenCode 在跨模型表现上排名第一，而 DeepSeek V4 Flash Preview 在共享的四基准面板上，跨各支架保持持续较高的平均有效完成率。这些发现支持评估模型–支架交互、在模型中训练可迁移的支架使用能力，以及适应模型与任务的支架设计。
1 引言
图 1：模型–支架评估框架概览。
经典观点把智能体描述为面向目标的系统：它们持续感知环境、维持内部状态、选择动作，并通过反馈改进行为（Wooldridge and Jennings, 1995；Wang et al., 2024）。大语言模型智能体通过把大语言模型（LLM）整合进一个可执行系统来实现这一范式，以便在外部环境中感知、推理与行动（Yao et al., 2023）。在系统层面，大语言模型智能体将其模型与一个执行层组合起来，该执行层即智能体支架，它把模型连接到环境（Guo et al., 2026；Kwa et al., 2025；Yao et al., 2026）。支架提供观察处理、上下文管理、工具与动作接口、工作流控制、状态管理、执行、评估与错误处理等机制。通过控制信息如何被呈现给模型、以及模型的输出如何被执行，支架塑造智能体行为与任务表现（Zhang et al., 2025b）。
在这一系统观点下，端到端基准表现反映的是模型–支架系统的联合行为，而不是仅仅反映模型能力（Yang et al., 2024；Yao et al., 2026）。然而，大多数基准仍然以任务为中心：它们依据任务成功或聚合奖励来评估固定的模型–支架配置，同时把支架当作设置的一部分。这些评估概括的是系统级成功；执行诊断与交叉比较则为表现来源提供互补的视角。失败可能反映模型能力不足、支架使用低效，或支架在观察处理、动作接口、状态管理或恢复方面的局限（Ma et al., 2024；Zhu et al., 2026；Yao et al., 2026）。一项实证问题研究报告，失败仅在特定模型行为与支架的解析、控制流或上下文处理相互作用时才会发生（Chen et al., 2026）。反之，高表现可能部分反映支架面向任务的工作流或额外计算（Lou et al., 2026；Lee et al., 2026）。对照研究表明，在模型与任务固定的情况下，更换支架可以改变表现与排名（Zhu et al., 2026；Yao et al., 2026）。因此，理解智能体失败，需要通过交叉比较与执行证据来考察模型、支架以及二者的特定配对。这一评估把未能解决任务，与异常终止或无效的评估器交接区分开来：一次运行可能有效完成却并未解决任务，也可能尽管异常终止仍获得任务计分。
所缺失的评估对象位于模型–支架的边界。模型的支架使用能力取决于它与给定支架交互的有效程度：同一接口、动作空间或反馈机制，可能易于被某一个模型使用，却对另一个模型构成挑战；而同一模型在不同支架设计下也可能行为不同（Yang et al., 2024；Yao et al., 2026）。因此，支架难度应当被理解为一种依赖模型的交互成本，它由支架的观察格式、动作接口、状态管理、控制流与恢复机制所引入。当这一成本超过模型的支架使用能力时，支架可能使模型无法实现其底层能力；当支架提供大量面向任务的支持时，它可能通过贡献一部分解题过程来提高表现。现有的任务级评估把这些效应混同为单一结果，因而难以把模型能力与支架效应区分开（Messick, 1995；Zhu et al., 2026；Yao et al., 2026）。因此，评估智能体既要考察任务达成，也要考察有效完成，还要考察这些结果如何随模型–支架配对而变化。
我们建立指标，通过任务表现与运行有效性来分析模型–支架交互。有效完成率衡量尝试以正常终止并完成有效评估器交接的频率，不论任务正确与否。模型–支架契合与跨模型契合分别针对单个模型以及跨模型，概括来自有效完成的任务表现。我们分析它们的诊断价值与稳健性、失败模式以及资源使用。我们为本研究实现一个共用的智能体适配器，在相互匹配的任务与受控的执行条件下保留原生执行循环。我们在六个基准上，把四种通用支架——DeepAgents、OpenCode、Pi CLI 与 Codex CLI——与多个模型相交叉：SWE-bench-45（Jimenez et al., 2024；Chowdhury et al., 2024）、Terminal-Bench 2（Merrill et al., 2026）、VitaBench（He et al., 2026）、LOCA-Bench（Zeng et al., 2026）、ClawMark（Meng et al., 2026）以及 AgentSkillOS（Li et al., 2026）。固定的原生系统补充完整系统参照。图 1 概括该评估框架。
支架排名在任务表现与运行有效性两方面都随模型与基准而变化，而这两者可能使同一模型偏向不同的支架。二者的联合分布能够在成功率相近的配置之间区分执行剖面：干净运行可能留下未解决的任务，而不干净的运行可能成功，或获得连续分数计分。超出模型平均值与支架平均值的、特定配对的有效完成率偏差，其正负号也会随基准而改变。资源使用随模型与任务而变化：最轻的支架随配置而不同，较低的词元使用也可能伴随较低的结果。低用量可能反映过早终止；高用量可能包含反复失败的动作。跨模型契合在所评估面板上识别出一个稳定的总体领先者，但模型特定的偏好与中间名次取决于该面板的模型与基准。
这些发现促使我们对任务表现与运行有效性做联合评估：二者的联合分布识别出经由有效完成所取得的任务进展，而资源使用描述其成本。支架使用应当作为一种可跨接口迁移的能力来训练与评估，包括动作构造、反馈使用、恢复与停止。支架设计应当使观察、恢复与资源控制策略适应模型与任务。
2 相关工作
##### 支架设计与优化。
大语言模型智能体把模型耦合到一个执行层，该执行层构造观察、暴露动作、维持状态并闭合反馈回路。ReAct 使这一回路显式化，而 SWE-agent 与 OpenHands 表明接口与运行时基础设施如何塑造智能体行为（Yao et al., 2023；Yang et al., 2024；Wang et al., 2025）。一条并行的研究路线把周围系统当作优化目标：GPTSwarm 优化智能体图，ADAS 与 AFlow 则在由代码定义的智能体系统与工作流上搜索（Zhuge et al., 2024；Hu et al., 2025；Zhang et al., 2025a）。更新近的方法依据执行反馈来优化约束、上下文、完整的支架实现或可编辑的智能体代码（Lou et al., 2026；Lee et al., 2026；Xu et al., 2026b；Zhang et al., 2026a；Zhang et al., 2026b；Lin et al., 2026）。这些方法表明，周围程序可以实质性地改变固定模型的表现。这些方法聚焦于智能体系统优化。评估交互难度、解题结构以及特定配对的兼容性，是一项互补目标。
##### 支架评估。
大多数智能体基准报告的是完整系统的任务结果（Liu et al., 2024；Mialon et al., 2024；Yao et al., 2025；Fu et al., 2026）；AgentBoard 增加了进展与轨迹诊断，但仍以任务为中心（Ma et al., 2024）。近期工作通过交叉原生支架与模型，或使用带有标准化轨迹的共享适配器，来处理执行层混杂（Yao et al., 2026；Zheng et al., 2026；Wang et al., 2026a）。Harness-Bench 与支架演化分析进一步表明，支架效应依赖于模型（Zhang et al., 2026a）。其他研究建议报告支架–模型配对、资源使用与失败剖面，并匹配反馈预算与留出任务（Vats and Golev, 2026；Wang et al., 2026b）。轨迹级缩放研究进一步把有用反馈与原始资源支出区分开（Zhang et al., 2026c）。这些研究以完整配置的排名与诊断，补充对最终成功的测量。我们的工作跨模型–支架配对测量任务表现与运行有效性，评估二者对有效运行的联合贡献，并量化特定配对相对于可加的组件平均值的偏差。
3 预备知识
解释智能体分数，需要指明产生这些分数的模型、支架与任务条件（Messick, 1995）。我们首先描述模型与支架如何形成一个可执行智能体，然后把任务表现与运行有效性区分开，并说明对二者的联合评估如何刻画有效运行。我们还确立比较模型–支架配对的条件。
[图片下载失败 2610.32483v1/figures/model_harness_formulation_simplified_v3.png: HTTP Error 404: Not Found]
图 2：模型–支架的组合与执行循环。支架准备模型上下文并执行已获批准的动作；模型输出 \(y_{t}\) 与已执行动作 \(a_{t}\) 彼此不同。
3.1 模型–支架配置
大语言模型智能体把一个语言模型与一个执行支架组合起来，以便与外部环境交互；该环境持有任务状态，例如仓库文件或应用记录。模型提出文本或工具使用；智能体支架准备模型上下文并管理动作执行（Guo et al., 2026；de Macedo, 2026）。模型提议不同于已执行动作，后者的结果与错误会反馈进入后续步骤（Yao et al., 2023；Yang et al., 2024）。对于以 \(m\) 与 \(h\) 为索引的模型 \(M_{m}\) 与支架 \(H_{h}\)，可执行智能体为 \(\mathsf{Agent}_{m,h}=H_{h}[M_{m}]\)。环境与任务成功准则留在支架之外。图 2 概括这一循环；第 3.2 节定义其接口。
3.2 形式化运行时接口
在交互步骤 \(t\)，环境具有状态 \(e_{t}\)，暴露原始信号 \(x_{t}\sim\Omega(\,\cdot\mid e_{t}\,)\)，接受可执行动作 \(a_{t}\)，并按 \(e_{t+1}\sim T(\,\cdot\mid e_{t},a_{t}\,)\) 演化，其中 \(\Omega\) 与 \(T\) 是观察核与转移核。这一部分可观察的交互模型（Kaelbling et al., 1998）规定了环境接口。模型 \(M_{m}\) 是一个条件生成器，其输出提议 \(y_{t}\) 可以包含文本、结构化的工具使用提议或控制建议。
我们将支架定义为具有六个接口的有状态运行时：
| \(H_{h}=\langle\operatorname{Observe}_{h},\operatorname{Context}_{h},\operatorname{Control}_{h},\operatorname{Act}_{h},\operatorname{Update}_{h},\operatorname{Govern}_{h}\rangle.\) |
|---|
\(\operatorname{Observe}_{h}\) 把原始反馈转换成模型可用的观察；\(\operatorname{Context}_{h}\) 选择并格式化指令、历史、工具描述、记忆与产物；\(\operatorname{Control}_{h}\) 协调生成、重试、恢复、委派、对输入的请求以及停止；\(\operatorname{Act}_{h}\) 把模型提议映射到工具或环境操作；\(\operatorname{Update}_{h}\) 持久化运行时记忆与产物；而 \(\operatorname{Govern}_{h}\) 强制实施权限、预算、校验、核验与交接。这一分解把支架视为运行时基底，而不是提示包装（Guo et al., 2026；de Macedo, 2026）。
支架维持运行时记忆 \(\mu_{t}\)：跨步骤保留的、被选中的交互信息，其形式为摘要、记忆条目、产物引用以及执行簿记。这一实现层面的记录不同于外部环境状态 \(e_{t}\)。对于任务目标 \(g\)，观察、上下文与生成接口为
| \(o_{t}=\operatorname{Observe}_{h}(x_{t},\mu_{t}),\qquad c_{t}=\operatorname{Context}_{h}(g,o_{\leq t},\mu_{t}),\qquad y_{t}\sim M_{m}(\,\cdot\mid c_{t}\,).\) |
|---|
此处 \(o_{\leq t}\) 表示直到步骤 \(t\) 的观察历史。支架解释并治理 \(y_{t}\)，执行已获批准的动作，并把环境反馈纳入记忆更新 \(\mu_{t}\to\mu_{t+1}\)。一次模型调用可能导致零个或多个已执行动作，而环境转移方程描述的是单个动作 \(a_{t}\)。重复生成与并行生成、子智能体、持久记忆以及自适应的运行时记忆，都是这同一组合的实例。
3.3 运行维度与受控比较
在这一执行循环的基础上，我们区分模型–支架运行的两个维度：任务表现，即最终状态在多大程度上满足任务的成功准则；以及运行有效性，即执行是否正常终止并带有可供评估器消费的状态，不论正确与否。同一接口可以在不同模型与任务上施加不同要求（Cronbach et al., 1972）。任务成功与中间动作的正确性描述解题过程，而任务计分可能在异常终止之后仍然保留。因此，我们为了诊断而分开评估这两个维度，并为了刻画有效运行而联合评估它们：同一尝试经由有效完成所取得的任务表现。
交叉比较独立地改变模型与支架，固定其中一个而改变另一个。任务实例与外部条件，包括工具访问与资源限制，都被加以匹配，以便把配对效应与任务条件的变化分离开（Fisher, 1935）。每个支架保留其原生执行循环以及捆绑在一起的设计选择，因此比较的单元是完整的模型–支架系统（Holland, 1986）。
4 指标设计
我们首先测量任务表现与运行有效性，然后在每一个维度上比较各支架，并通过契合加以联合比较。交互残差描述超出模型平均值与支架平均值的有效完成率偏差，而资源指标量化执行成本。跨基准汇总使用平衡面板：同一批模型与支架，在所有被纳入基准上的每一种组合中都得到评估。本研究所用的面板与重复次数在第 5 节中规定。
##### 任务表现与运行有效性。
官方评估器的结果在 \(R\) 次重复上取平均，用以测量任务表现。对于任务 \(i\) 与重复 \(r\) 上的运行有效性，令 \(N_{i,r}\) 指示正常终止，\(V_{i,r}\) 指示可供评估器消费的提交或最终状态。一次干净运行达成有效完成，\(U_{i,r}=N_{i,r}V_{i,r}=1\)，不论正确与否。对于基准任务集为 \(\mathcal{T}\) 的每一个模型–支架配对，有效完成率为
| \(\mathrm{VCR}=\frac{1}{\ | \mathcal{T}\ | \,R}\sum_{i\in\mathcal{T}}\sum_{r=1}^{R}U_{i,r}.\) | (1) |
|---|
平均有效完成率对每一个模型–支架配对，在所纳入的各基准之间等权平均这些比率。我们以百分比报告有效完成率与平均有效完成率。第 6.2.2 节把异常终止，与正常终止之后的无效交接区分开。
##### 结果胜率与有效完成率胜率。
为了跨基准比较每一个维度，我们在每一个模型–基准区块内，用指示函数 \(\mathbf{1}(\cdot)\) 给支架 \(h\) 相对于 \(h^{\prime}\neq h\) 记分：
| \(w_{h,h^{\prime}}=\mathbf{1}(s_{h}>s_{h^{\prime}})+0.5\cdot\mathbf{1}(s_{h}=s_{h^{\prime}}).\) |
|---|
此处，\(s_{h}\) 对结果胜率而言是主要结果，对有效完成率胜率而言是有效完成率。胜率概括跨基准的成对排序；聚合与报告惯例见第 A.4 节。
##### 模型–支架契合与跨模型契合。
就联合评估而言，契合比较的是同一模型在各支架上经由有效完成所获得的任务分数。令 \(S_{i,r}^{m,h,b}\in[0,1]\) 为模型 \(m\)、支架 \(h\) 与基准 \(b\) 的归一化官方任务分数，并保留部分计分。有效尝试贡献其任务分数；无效尝试贡献零。在全部排定尝试上的均值为
| \(J_{m,h,b}=\frac{1}{\ | \mathcal{T}_{b}\ | R}\sum_{i\in\mathcal{T}_{b}}\sum_{r=1}^{R}U_{i,r}^{m,h,b}S_{i,r}^{m,h,b}.\) | (2) |
|---|
对每一个模型与基准，令 \(J^{\star}_{m,b}=\max_{h^{\prime}}J_{m,h^{\prime},b}\) 为候选面板中观察到的最佳支架分数（Dolan and Moré, 2002）。模型–支架契合以 \(100F_{m,h}\) 报告，它在基准集合 \(\mathcal{B}\) 上等权平均 \(J_{m,h,b}/J^{\star}_{m,b}\)；跨模型契合取所评估模型集合 \(\mathcal{M}\) 上的几何平均：
| \(F_{m,h}=\frac{1}{\ | \mathcal{B}\ | }\sum_{b\in\mathcal{B}}\frac{J_{m,h,b}}{J^{\star}_{m,b}},\qquad\mathrm{Cross\text{-}Model\ Fit}(h)=100\left(\prod_{m\in\mathcal{M}}F_{m,h}\right)^{1/\ | \mathcal{M}\ | }.\) | (3) |
|---|
两个指数的取值范围都是从 0 到 100。例如，模型–支架契合为 80，意味着对该模型而言达到由有效完成得到的最佳观察分数的 80%，并在各基准上等权平均。跨模型契合在所评估的模型上为支架排名；其几何平均会惩罚偏低的、特定于模型的契合（Fan et al., 2023）。
##### 联合分数的解释与聚合。
对于二元基准，\(J\) 是既成功又达成有效完成的排定尝试所占比例；对于连续基准，它是来自有效完成的任务分数贡献的均值。当有效完成率为正时，\(J=\mathrm{VCR}\times\mathbb{E}[S\mid U=1]\)，这里把有效完成率用作分数。恒等式 \(\mathbb{E}[S]=\mathbb{E}[US]+\mathbb{E}[(1-U)S]\) 把官方分数分解为来自有效完成的贡献与来自其他尝试的贡献。
##### 交互残差。
令 \(v_{m,h}\) 表示平衡面板上的平均有效完成率（%）。我们以百分点，把依赖于面板的、相对于模型与支架之可加平均值的偏差量化为
| \(\Delta_{m,h}=v_{m,h}-v_{m,\cdot}-v_{\cdot,h}+v_{\cdot,\cdot}.\) | (4) |
|---|
此处，点表示在相应维度上的等权平均。正值表示有效完成率高于可加基线所预测的水平。
##### 资源指标。
词元负载是全部排定尝试（包括失败）上的平均词元消耗。每次干净运行的词元数与每次成功的词元数，是把总消耗分别除以相应计数。比较要求在相互匹配的模型–基准区块中具有 100% 的词元覆盖。词元使用上的胜出偏向更低的负载；保持结果的胜出要求负载不更高、官方结果不更低，并且至少有一个不等式是严格的。帕累托前沿占比衡量一个支架在其中未被支配的区块所占比例。相对负载概括相互匹配的模型–基准区块之内的词元需求；其聚合详见第 A.4 节。词元量化的是逻辑体量（第 D.7 节）。
##### 不确定性与敏感性。
我们使用 2,000 个成对的任务簇自助重复样本，按基准分层，并在 VitaBench 内按环境分层。被抽中的任务保留全部重复以及模型–支架观测。每一次重复都重新计算结果、运行有效性、交互、契合以及匹配的资源统计量，包括每一个契合区块的最佳支架参照，以及依据提供方词元记录得到的词元负载。我们报告逐点的百分位 95% 区间，不做多重性调整；单元格层面的资源汇总仍然是描述性的。这些区间概括所评估基准套件内部、任务层面的抽样变异。留一基准分析评估对基准构成的依赖。
5 实验设置
我们使用第 4 节中的指标，在匹配任务上评估模型–支架配对（支架指承载模型，并管理工具、上下文与执行循环的运行环境）。实现与评测器细节见附录 A。
5.1 基准套件
我们选取的基准要求在外部环境或持久工件中采取闭环行动，能够从规定状态出发、借助官方评测器进行匹配重放，并覆盖互补的、对支架敏感的需求。表 1 汇总了它们的任务数量与交互需求。
| 基准 | 任务数 | 关键交互需求 |
|---|---|---|
| SWE-bench-45 ( Jimenez et al., 2024 ; Chowdhury et al., 2024 ) | 45 | 仓库编辑、测试、补丁交接 |
| Terminal-Bench 2 ( Merrill et al., 2026 ) | 89 | 有状态终端交互 |
| VitaBench ( He et al., 2026 ) | 400 | 多轮服务、领域 API |
| LOCA-Bench ( Zeng et al., 2026 ) | 75 | 长上下文规划、精确状态完成 |
| ClawMark ( Meng et al., 2026 ) | 100 | 多日工作流、状态变更、多模态输入 |
| AgentSkillOS ( Li et al., 2026 ) | 30 | 技能选择、工件交接 |
表 1：基准覆盖范围与对支架敏感的交互需求。
5.2 模型与支架
我们评估四种通用支架：DeepAgents（LangChain，无日期）、OpenCode（Anomaly，2026）、Pi CLI（Earendil Inc. and Contributors，无日期）和 Codex CLI（OpenAI，2025）。核心模型为 DeepSeek V4 Flash Preview（DeepSeek-AI，2026b）、MiniMax M3（MiniMax，2026）、Kimi K2.7（Moonshot AI，2026）和 Qwen3.6-35B-A3B（Qwen Team，2026）。 两组固定的原生参照补充交叉面板：GPT-5.5 xhigh（OpenAI，2026）搭配 Codex CLI，以及 DeepSeek V4 Pro 0813（DeepSeek-AI，2026c）搭配 DeepSeek Harness（DeepSeek-AI，2026a）。
5.3 评测协议
##### 匹配执行。
我们的通用智能体适配器初始化任务，并通过每种支架的原生接口连接模型。它匹配工具权限、资源预算与终止条件，同时保留原生提示、观察与行动接口、上下文管理以及执行循环，包括恢复与停止。原始基准评测器在不变的任务语义与成功标准下对结果评分。
##### 评测面板。
在每个基准内，所有受支持的配置都以 \(R = 4\) 次重复运行相同任务；比较时固定任务与重复次数，只改变一个组件。四个基准使用完整的 \(4 \times 4\) 模型–支架面板；ClawMark 与 AgentSkillOS 使用 \(3 \times 4\) 面板，因为 DeepSeek V4 Flash Preview 缺少所需的多模态支持。跨基准汇总使用共同的三模型、四支架面板，共 72 种配置、35,472 次预定尝试。该面板采用 AgentSkillOS 的主条件；固定参照与压力条件另行报告。固定原生系统在交叉指数之外提供匹配的完整系统参照（第 B.3 节）。在全部核心面板、固定参照以及 AgentSkillOS 压力条件上，我们分析了 52,168 条轨迹。
##### 评分与汇总。
主要结果是四次重复上的官方任务得分均值，按各基准的情况采用二元成功或连续给分。操作有效性要求正常终止以及向评测器的有效交接，不论任务是否正确。基准特定评分与跨基准汇总见第 A.3 节与第 A.4 节。
6 结果与启示
为理解智能体失败，我们在各模型–支架配对上考察任务达成、有效完成与资源使用。我们回应三个研究问题：
- RQ1：模型–支架交互。任务表现、有效完成与资源使用如何随模型–支架配对及基准而变化？
- RQ2：跨模型契合。在联合评估任务表现与有效完成时，各支架在不同模型上如何比较？
- RQ3：指标有效性与稳健性。所提出的指标在任务得分之外增加了哪些信息，其结论对汇总选择以及所评测的模型与基准有多敏感？
| 模型 | 支架 | SWE-bench-45 | Terminal-Bench 2 | VitaBench | LOCA-Bench | ClawMark | AgentSkillOS | |||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 最佳 | 均值 | 最佳 | 均值 | 最佳 | 均值 | 最佳 | 均值 | 最佳 | 均值 | |||
| DeepSeek V4 Flash Preview | DeepAgents | 40.00 | 31.11 | 61.80 | 45.79 | 69.00 | 38.00 | 40.00 | 20.67 | – | – | – |
| OpenCode | 42.22 | 32.22 | 53.93 | 40.45 | 71.50 | 45.38 | 53.33 | 31.00 | – | – | – | |
| Pi CLI | 46.67 | 35.56 | 61.80 | 44.66 | 75.75 | 48.94 | 42.67 | 29.00 | – | – | – | |
| Codex CLI | 46.67 | 36.11 | 50.56 | 37.64 | 77.00 | 49.06 | 76.00 | 50.67 | – | – | – | |
| MiniMax M3 | DeepAgents | 55.56 | 31.11 | 46.07 | 21.63 | 77.25 | 51.00 | 33.33 | 24.00 | 75.06 | 54.78 | 80.07 |
| OpenCode | 82.22 | 62.78 | 55.06 | 39.61 | 75.50 | 49.38 | 32.00 | 21.00 | 82.39 | 69.62 | 93.49 | |
| Pi CLI | 71.11 | 52.22 | 53.93 | 33.15 | 77.25 | 49.25 | 21.33 | 12.67 | 78.34 | 62.58 | 85.39 | |
| Codex CLI | 55.56 | 30.56 | 51.69 | 34.55 | 77.50 | 45.06 | 93.33 | 87.00 | 77.25 | 58.49 | 36.44 | |
| Kimi K2.7 | DeepAgents | 31.11 | 15.56 | 44.94 | 30.62 | 66.00 | 43.06 | 17.33 | 8.33 | 72.56 | 58.65 | 89.92 |
| OpenCode | 66.67 | 48.89 | 53.93 | 39.04 | 68.50 | 44.38 | 42.67 | 27.67 | 81.83 | 70.36 | 84.94 | |
| Pi CLI | 51.11 | 42.22 | 59.55 | 43.82 | 68.75 | 40.25 | 50.67 | 34.33 | 12.08 | 11.93 | 95.91 | |
| Codex CLI | 28.89 | 10.56 | 48.31 | 31.74 | 72.00 | 41.44 | 86.67 | 54.00 | 12.20 | 11.96 | 55.66 | |
| Qwen3.6- 35B-A3B | DeepAgents | 31.11 | 15.00 | 40.45 | 26.40 | 59.25 | 27.69 | 14.67 | 8.67 | 68.58 | 52.71 | 74.01 |
| OpenCode | 42.22 | 22.22 | 40.45 | 26.12 | 58.75 | 30.88 | 34.67 | 21.00 | 76.25 | 63.62 | 76.12 | |
| Pi CLI | 33.33 | 25.00 | 43.82 | 28.65 | 59.50 | 31.19 | 28.00 | 15.00 | 76.91 | 52.61 | 56.23 | |
| Codex CLI | 44.44 | 26.67 | 47.19 | 28.65 | 51.75 | 22.88 | 70.67 | 36.33 | 75.19 | 61.21 | 63.06 | |
| GPT-5.5 xhigh + Codex CLI | 86.67 | 65.56 | 76.40 | 60.39 | 69.00 | 46.56 | 90.67 | 76.00 | 82.54 | 74.31 | 97.57 | |
| DeepSeek V4 Pro 0813 + DeepSeek Harness | 88.89 | 70.56 | 62.92 | 46.91 | 79.25 | 54.13 | 90.67 | 73.33 | – | – | – |
表 2：主要结果（0–100；评分见第 A.3 节）。最佳/均值：四次取最佳（Best-of-4，四次重复中的最佳结果）/四次取均值（Mean-of-4，四次重复的均值）；ClawMark：连续得分；AgentSkillOS：任务得分（skill_200）。加粗/下划线：每个核心模型与每个指标下的最佳/次佳支架，含并列。固定参照不参与高亮与交叉分析。破折号：未评测；两个 DeepSeek 模型均缺少 ClawMark 与 AgentSkillOS 所需的多模态支持。
6.1 模型–支架交互
##### 任务表现与操作有效性偏向不同配对。
更换支架可以在同一基准内逆转模型排名（RQ1）。在 SWE-bench-45 上，DeepSeek V4 Flash Preview 搭配 Codex CLI 时优于 MiniMax，而 MiniMax 搭配 OpenCode 时领先（表 2）。支架偏好也取决于指标：对 Kimi 而言，OpenCode 在结果胜率（Outcome Win Rate，该配对在任务结果上胜过对照配对的比率）上领先，Pi CLI 在有效完成率胜率上领先；对 Qwen 而言，则分别由 Codex CLI 与 OpenCode 领先（图 3）。在 LOCA-Bench 上，MiniMax–Codex 也优于两套原生参照（第 B.3 节）。
图 3：平衡的六基准面板上的任务表现与操作有效性，以结果胜率与有效完成率胜率汇总。有效完成率（Valid Completion Rate，VCR）是正常终止并完成有效评测器交接的尝试所占比例。每个点代表一个模型–支架配对；水平与垂直须线给出各自的逐点 95% 任务簇自助法区间。虚线：50%（中性）。
##### 跨支架一致的有效完成。
DeepSeek V4 Flash Preview 在 SWE-bench-45、Terminal-Bench 2、VitaBench 与 LOCA-Bench 上，于全部四种支架中都保持较高的平均有效完成率：91.30%–93.98%，极差为 2.68 个百分点。任务结果仍然取决于支架与基准（表 2）。
##### 配对特有的偏离补充组件平均值。
MiniMax–OpenCode 与 Kimi–Pi 超过加性有效完成率基线，其正向汇总残差的逐点自助法区间不含零（图 4）。偏离因基准而异：Kimi–Codex 在 SWE-bench-45 上低于基线，但在 LOCA-Bench 上高于基线。方向相反的偏离在汇总中可能相互抵消，因此基准级剖面能揭示被汇总摘要掩盖的交互。
[图片下载失败 2610.32483v1/sec6_interaction_residuals_compact.png: HTTP Error 404: Not Found]
图 4：平衡的三模型面板上的加性有效完成率交互残差（Interaction Residuals，配对相对于加性基线的偏离；单位为个百分点）。∗ 标记逐点 95% 任务簇自助法区间不含零的情形。基准单元格报告基准特定的点估计。
##### 跨模型契合补充模型特定选择。
OpenCode 的跨模型契合最高，且在全部三个模型上的契合相近（RQ2；图 5）。Codex CLI 在 Qwen 上领先，但其较低的 Kimi 契合拉低了汇总值。每一项契合都相对于该模型在各基准上观察到的最佳支架：汇总值支持选择一套共用支架，而模型特定剖面则指导对已知模型的选择。
图 5：平衡的六基准面板上的模型–支架契合（Model–Harness Fit，相对该模型在各基准上最佳观察联合得分所保留的比例）与跨模型契合（Cross-Model Fit，在多个模型上汇总后的这一保留比例）（0–100）。须线：逐点 95% 配对任务簇自助法区间。数值越高，保留的最佳观察联合得分越多。
| 支架 | MiniMax M3 | Kimi K2.7 | Qwen3.6 | 跨模型 |
|---|---|---|---|---|
| OpenCode | 86.86 [85.11, 88.50] | 87.06 [83.02, 90.94] | 88.55 [80.84, 93.36] | 87.48 [84.06, 89.99] |
| Pi CLI | 73.73 [69.87, 77.73] | 76.16 [71.99, 80.27] | 81.70 [74.88, 84.98] | 77.13 [73.49, 79.62] |
| Codex CLI | 72.37 [68.59, 76.61] | 60.45 [56.84, 63.91] | 91.21 [85.55, 93.44] | 73.62 [70.54, 75.82] |
| DeepAgents | 60.56 [56.35, 64.62] | 61.29 [57.11, 65.48] | 71.29 [63.99, 76.22] | 64.20 [60.57, 66.94] |
表 3：平衡的六基准面板上的契合（0–100）。方括号给出逐点 95% 配对任务簇自助法区间。
6.2 联合结果与执行诊断
##### 任务达成与有效完成可能分叉。
非干净尝试仍可能获得任务给分，而干净尝试也可能使任务未被解决（图 6 与图 7）。我们通过连续得分贡献、执行阶段以及一项 ClawMark 行动实现审计来考察这一分叉。
图 6：全部 64 种配置的联合结果–有效性份额（\(n\)：每个配对的尝试次数）。条形合计为 100%；NCS 给出非干净成功（%）。每项任务四次重复；固定参照除外。
#### 6.2.1 连续得分分解
对 ClawMark 与 AgentSkillOS（skill_200），我们将平均得分分解为干净贡献与非干净贡献。设 \(z_i\) 为尝试 \(i\) 在 0–100 标度上的官方得分，\(U_i\) 为其干净运行指示，\(n\) 为预定尝试次数：
| \(\mathrm{平均得分}=\frac{1}{n}\Bigl(\underbrace{\sum_{i:U_{i}=1}z_{i}}_{\text{干净}}+\underbrace{\sum_{i:U_{i}=0}z_{i}}_{\text{非干净}}\Bigr).\) | (5) |
|---|
干净贡献与非干净贡献之和等于原始平均得分（图 7）。
图 7：合计为平均得分的干净/非干净贡献。右列：有效完成率（%）。ClawMark：每种配置 400 次尝试；AgentSkillOS（skill_200）：120 次。每项任务四次重复；固定参照除外。
在 ClawMark 上，Kimi–DeepAgents 的平均得分比完全干净的 Kimi–Codex 高出 46.7 分，其中近三分之一来自非干净尝试。在 AgentSkillOS 上，MiniMax–Codex 在干净尝试内的均值比其总体任务得分高出 58.4 分，但干净尝试只覆盖预定运行的三分之一略多。
#### 6.2.2 执行阶段分解
我们将非干净运行划分为正常前损失（异常终止）与正常后交接损失（正常终止但没有有效的评测器状态）。这些互斥阶段与有效完成率合计为 100%（图 8）。
图 8：平衡的三模型面板上的互斥执行阶段：干净完成、正常前损失与正常后交接损失合计为 100%。各分面分别按（a）支架与（b）基准报告均值。固定参照除外。
DeepAgents 在正常终止之前损失的运行数，几乎是正常后交接损失的十倍。OpenCode 与 Pi CLI 呈现相同模式，但比率更低；Codex CLI 的损失在两个阶段之间大致均衡。
Terminal-Bench 2、LOCA-Bench 与 ClawMark 主要暴露正常前失败，而 VitaBench 接近上限。SWE-bench-45 与 AgentSkillOS 也暴露交接损失；AgentSkillOS 在该阶段比 SWE-bench-45 多损失 3.4 个百分点的尝试。
正常前损失将诊断指向接口遵从、超时与恢复；交接损失指向停止、收尾与提交校验。干净完成后的低分则将轨迹检查指向规划、行动实现与任务特定支持。
#### 6.2.3 案例研究：行动实现与干净完成
我们在 ClawMark 上审计 Kimi K2.7，以考察所陈述的行动意图是否成为可执行行动。Codex CLI 与 Pi CLI 的有效完成率分别达到 100.00% 与 99.25%，得分却只有 11.96 与 11.93。OpenCode 的得分比 Codex CLI 高 58.4 分，有效完成率为 88.00%；DeepAgents 得分为 58.65，有效完成率为 53.25%（表 4）。
一项脚本化指标识别严格行动实现缺口：推理中出现前瞻性行动意图，但在同一条被接受的响应中既没有结构化行动，也没有非空白的可见文本。提供方重试与无工具的上下文压缩生成被单独处理。原生记录与控制流对每种支架的全部 400 次尝试进行分类；对 48 次超时的 OpenCode 尝试，其无回退控制流确定未记录阶段中不存在严格缺口。
| 支架 | 得分均值 | 有效完成率 | 受影响尝试 % [95% CI] | 每次受影响尝试的事件数 |
|---|---|---|---|---|
| Codex CLI | 11.96 | 100.00 | 6.75 [4.50, 9.25] | 1.00 |
| DeepAgents | 58.65 | 53.25 | 0.00 [0.00, 0.00] | – |
| OpenCode | 70.36 | 88.00 | 0.00 [0.00, 0.00] | – |
| Pi CLI | 11.93 | 99.25 | 40.50 [36.25, 44.75] | 1.32 |
表 4：ClawMark 上对 Kimi K2.7 的严格行动实现审计。每种支架有 400 次尝试。方括号给出逐点 95% 任务簇自助法区间。对无事件单元格，[0,0] 反映在所观察样本内经验自助法变异为零。破折号表示未定义的比率。
严格缺口影响 6.75% 的 Codex CLI 尝试与 40.50% 的 Pi CLI 尝试，OpenCode 与 DeepAgents 中则没有。Pi 的受影响尝试数是 Codex 的六倍，且事件反复出现；Codex 每次受影响尝试有一个事件。这一模式与各支架之间的得分分裂相吻合，而在 Codex 与 Pi 各自内部，受影响尝试的得分比未受影响尝试低不到 1.3 分。
恢复策略不同：Codex 会重试格式错误的行动 JSON，Pi 仅在延续角色错误后重启，OpenCode 没有外部回退，DeepAgents 则运行一次收尾过程。除一次 Codex 事件外的全部 Codex 事件以及每一次 Pi 事件都没有关联的后续响应；其余那一次 Codex 重试未得到解决。因此，高有效完成率可以与行动实现缺口并存。轨迹级诊断因而补充有效完成率。
6.3 指标验证与稳健性
针对 RQ3，我们比较契合的组成部分，并评估排名对抽样、归一化参照以及面板构成的敏感性。
| 胜率（%） | 契合变体（0–100） | ||||
|---|---|---|---|---|---|
| 支架 | 结果 | 有效完成率 | 仅结果 | 算术 | 跨模型 |
| OpenCode | 72.22 | 73.15 | 87.84 | 87.49 | 87.48 |
| Pi CLI | 49.07 | 58.33 | 78.20 | 77.20 | 77.13 |
| Codex CLI | 43.52 | 45.37 | 74.56 | 74.68 | 73.62 |
| DeepAgents | 35.19 | 23.15 | 68.15 | 64.38 | 64.20 |
表 5：共同三模型面板上的比较指标与契合消融。仅结果变体以 \(S\) 替换 \(US\)；算术变体替换跨模型几何平均。汇总细节：第 A.4 节。
##### 契合组成部分与诊断价值。
仅结果变体去掉有效完成门槛；算术变体替换跨模型几何平均（表 5）。联合得分与官方得分在 72 个基准级单元格中的 37 个上重合；只从有效完成计给分，则使其余 35 个单元格的得分下降。对 SWE-bench-45 上的 MiniMax，这逆转了 DeepAgents–Codex 的排序：DeepAgents 的官方得分为 31.11、联合得分为 25.56，而 Codex 在两种度量下均为 30.56。在 ClawMark 上，非干净尝试为 Kimi–DeepAgents 的得分贡献 17.43 分，是单元格级最大差距。
相对算术变体，几何汇总使 Codex CLI 的指数降低 1.06 分，是四种支架中降幅最大的。两种替换都保持总体排序；仅结果变体也保持每个模型的支架排序。
##### 不确定性与面板敏感性。
Pi–Codex 的跨模型契合之差为 3.50 分，逐点 95% 配对自助法区间为 \([-0.26, 7.05]\)（重抽样见第 4 节）。
| 省略项 | DA | OC | Pi | CX | 排序 | |
|---|---|---|---|---|---|---|
| 模型 | MiniMax | 66.10 | 87.80 | 78.88 | 74.26 | OC > Pi > CX > DA |
| 模型 | Kimi | 65.71 | 87.70 | 77.61 | 81.25 | OC > CX > Pi > DA |
| 模型 | Qwen | 60.92 | 86.96 | 74.94 | 66.14 | OC > Pi > CX > DA |
| 基准 | SWE-45 | 68.86 | 86.06 | 75.45 | 77.75 | OC > CX > Pi > DA |
| 基准 | TB2 | 63.29 | 86.29 | 73.66 | 71.91 | OC > Pi > CX > DA |
| 基准 | Vita | 57.82 | 85.26 | 73.40 | 70.69 | OC > Pi > CX > DA |
| 基准 | LOCA | 72.63 | 96.23 | 84.82 | 67.98 | OC > Pi > DA > CX |
| 基准 | Claw | 63.60 | 84.98 | 80.19 | 76.23 | OC > Pi > CX > DA |
| 基准 | Skill | 58.87 | 86.01 | 74.88 | 76.59 | OC > CX > Pi > DA |
表 6：省略一个模型或基准后的跨模型契合。计算细节：第 A.4 节。DA：DeepAgents；OC：OpenCode；Pi：Pi CLI；CX：Codex CLI。
省略任一支架会保持其余支架的相对排序，但当被省略的支架曾提供最佳得分参照时，它们的分数会改变。在省略任一单个模型或基准后重新计算契合，OpenCode 仍居首位（表 6）。中间名次有变化：省略 Kimi 会使 Codex CLI 位于 Pi CLI 之上，而省略 LOCA-Bench 会使其位于 DeepAgents 之下。
##### 留一模型选择诊断。
对每个留出的模型，我们用其余两个模型选择一种支架，并对照该留出模型的完整支架面板评估其契合。结果胜率、有效完成率胜率、仅结果契合与联合契合在全部三个折上都选择 OpenCode。它是 MiniMax 与 Kimi 的最佳支架；其 Qwen 契合比 Codex CLI 低 2.66 分（表 7）。这一回顾性诊断比较的是在已观察模型之间的选择。
| 留出模型 | 所选契合 | 最佳支架 | 最佳契合 | 遗憾 |
|---|---|---|---|---|
| MiniMax M3 | 86.86 | OpenCode | 86.86 | 0.00 |
| Kimi K2.7 | 87.06 | OpenCode | 87.06 | 0.00 |
| Qwen3.6 | 88.55 | Codex CLI | 91.21 | 2.66 |
表 7：留一模型选择诊断。契合、仅结果契合、结果胜率与有效完成率胜率在使用其余两个模型时均选择 OpenCode。遗憾是留出模型的最佳单支架契合与所选契合之差，单位为契合分。
6.4 资源使用与重复运行行为
##### 资源使用为支架选择提供信息。
在完整的主要比较区块上，Pi CLI 在词元使用胜率上领先，OpenCode 在保持结果的胜率与帕累托前沿份额上领先（表 8）。在 LOCA-Bench 上，Codex CLI 对每个模型都有最高的结果与最低的每次成功词元数。在 ClawMark 上，OpenCode 以更少的词元在全部三个模型上优于 DeepAgents，而 Kimi 的低负载 Pi 与 Codex 运行得分分别只有 11.93 与 11.96。词元负载（Token Load，一次尝试所消耗的词元量）必须与结果一起阅读：低负载可能反映过早失败，高负载可能包含反复的无效行动。
| 支架 | 词元使用胜率 | 保持结果的胜率 | 帕累托前沿份额 | 相对负载 |
|---|---|---|---|---|
| DeepAgents | 51.85 [44.44, 53.70] | 14.81 [11.11, 22.22] | 50.00 [27.78, 55.56] | 1.095 [1.043, 1.159] |
| OpenCode | 44.44 [40.74, 51.85] | 35.19 [31.48, 44.44] | 61.11 [50.00, 72.22] | 1.150 [1.112, 1.202] |
| Pi CLI | 55.56 [50.00, 61.11] | 24.07 [20.37, 33.33] | 50.00 [38.89, 66.67] | 0.906 [0.827, 0.967] |
| Codex CLI | 48.15 [44.44, 51.85] | 24.07 [16.67, 27.78] | 55.56 [44.44, 61.11] | 0.877 [0.838, 0.927] |
表 8：匹配的资源比较（18 个完整的主要模型–基准区块；72 个单元格）。前三列：%；方括号：逐点 95% 自助法区间；加粗/下划线：最佳/次佳。定义与重抽样：第 4 节。
#### 6.4.1 重复运行结果与压力条件
图 9：重复运行差距与资源尾部。（a）76 种核心交叉配置上的四次取最佳减去四次取均值；粗线段：四分位距；实心点：中位数。（b）90 个同时具备两种统计量、完全覆盖的主要单元格上，词元负载的均值对中位数；虚线：相等。三个最偏斜的单元格被标出。
在图 9（a）的全部 76 种配置中，四次取最佳都高于四次取均值。VitaBench 的中位差距最大，大约比 LOCA-Bench 的最小差距高出 14 个百分点。MiniMax–OpenCode 在 SWE-bench-45 上的差距为 19.4 分。固定参照在 SWE-bench-45、Terminal-Bench 2 与 VitaBench 上呈现相同模式。任务成功的逐次运行变异，与可靠的协议完成并存。
在压力条件下，对每种配置而言，VitaBench 的 Cross 环境都比每一个单领域环境更难。将 AgentSkillOS 的技能池从 200 增至 900，使 GPT-5.5–Codex 的任务得分下降幅度大于有效完成率。
#### 6.4.2 资源剖面与失败尾部
词元负载强烈右偏：在 90 个完全覆盖的主要单元格中，有 89 个的均值超过中位数，三个被标出的均值大约是其中位数的七到十二倍（图 9（b））。在一个模型–基准区块内，支架负载可以相差一个数量级以上；最轻的支架随模型与基准而变化。表 30 报告全部 111 个主要、压力条件与固定参照单元格的词元负载、每次成功词元数与覆盖情况。
##### 失败尾部与固定系统。
Qwen–Pi 在 SWE 上词元最高的 5% 运行，消耗了该配置约 83% 的词元，失败尝试几乎占其全部词元使用。固定系统也呈现很大的基准差异：GPT-5.5–Codex 在 ClawMark 上每次尝试使用的词元，约为 VitaBench 上的十四倍。DeepSeek V4 Pro 0813–DeepSeek Harness 在 LOCA-Bench 上的用量比 VitaBench 高出两个数量级以上，两个单元格的词元覆盖都是完整的；失败尝试消耗了其 Terminal-Bench 2 词元的四分之三以上。
6.5 对评测、训练与支架设计的启示
##### 评测。
排名逆转促使在匹配任务上进行交叉评测。使用以模型为条件的结果、有效完成率与执行诊断，以区分任务失败与执行或交接失败。跨模型契合支持在模型之间共用一种支架；基准剖面、不确定性与资源使用揭示配对差异及其代价。
##### 模型训练。
原生支架与混合支架的强化学习提供来自多样执行接口的轨迹（Xu et al., 2026a；Song et al., 2026；Wei et al., 2026）。我们的排名逆转促使将相同训练任务与多种支架配对，以培养可迁移的行动实现、反馈利用、恢复与停止。非干净成功促使把任务奖励与执行有效性反馈结合起来。在匹配的训练预算下，于留出任务与未见支架上评估结果、有效完成率与契合。
##### 支架设计。
使用模型特定的契合与有效完成率剖面，指导接口、恢复与上下文管理的选择。反馈应区分被拒绝的操作与已执行的操作，压缩应保留与任务相关的状态。使资源限制适配模型与任务，限制失败重试，并检测停滞与重复行动。为校验与交接预留预算。组件消融可以评估哪些机制改善结果。
7 结论
我们提出了一个框架，通过任务表现、有效完成与资源使用来评估模型–支架交互。在六个基准上，支架排名取决于模型与任务，相近的任务得分可以伴随不同的执行剖面。这些发现表明，解释智能体失败需要同时考察两个组件及其特定配对。必须把任务失败与执行或交接失败区分开：有效完成可能使任务仍未解决，而异常终止也可以与任务给分并存。模型–支架契合与跨模型契合概括经由有效完成所达成的任务表现，而有效完成率与轨迹诊断提供任务得分之外的执行失败信息。这些发现支持评估模型–支架配对，并设计能跨模型可靠、高效运行的支架。它们也促使把使用支架的能力当作训练目标，目标是在多样的执行接口上维持强的任务表现与有效完成，包括训练期间未见过的支架。
出处：Shao Zhang, Hangfan Zhang, Yuanyuan Shi, Hao Li, Min-Le Su, Kangcong Li, Jingping Wang, Chunjiang Mu, Chen Zhang, Yang Chen, Bo Zhang, Shuyue Hu，When Agents Fail: Model or Harness—Who’s to Blame?，2026-10-23，https://arxiv.org/abs/2610.32483，CC BY 4.0。
Found it useful? Pass it on
Scan with WeChat to open it on your phone and forward it.