Industry & PracticeResearch & Benchmarks
TraceTrial 结果: 模型、 维 度 与 失败 状态
同一 95 项任务上,Claude Code 的任务通过率最高(44.0%),OpenClaw 的 Harness 宏平均最高(72.0%)。双层全通过只有 8.4%。1700 次共同失败里,842 次激活了候选链接。

In this piece
5.3 Harness–模型交互
表 7:模型 × Harness 主要结果。每个固定模型区块对每个 Harness 评测 95 项任务。汇总体合并九个模型。结果列是百分比:通过要求全部 Agent 准则都成立,Agent 分数与 Harness 宏观是运行级分数的平均,微观汇总准则。双净要求两层都通过,链接记录候选链接,绝对表示有 Harness 零分且没有 Agent 零分,分层是 50/50 均值。资源列对有效记录到的用量取平均:输入、输出与总 Token 以千(k)计,以及按冻结的、依模型而定的价格估算的 Agent 成本(美元)。不含评判成本。
表 7:模型 × Harness 主要结果。每个固定模型区块对每个 Harness 评测 95 项任务。汇总体合并九个模型。结果列
| Harness | 通过 | 分数 | 微观 | 宏观 | 双净 | 链接 | 绝对 | 分层 | 输入(k) | 输出(k) | 总计(k) | 估算成本(美元) |
|---|
全部模型(9 个模型;每个 Harness 855 次运行)
| Harness | 通过 | 分数 | 微观 | 宏观 | 双净 | 链接 | 绝对 | 分层 | 输入(k) | 输出(k) | 总计(k) | 估算成本(美元) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Code | 44.0 | 75.9 | 71.5 | 71.2 | 9.1 | 22.7 | 34.9 | 73.5 | 569.4 | 9.5 | 578.8 | 0.436 |
| Codex | 35.8 | 70.7 | 60.2 | 59.8 | 2.8 | 28.1 | 33.0 | 65.2 | 606.9 | 10.2 | 617.2 | 0.595 |
| DeepSeek Harness | 40.0 | 73.3 | 69.5 | 68.8 | 9.8 | 21.8 | 30.2 | 71.0 | 361.5 | 11.2 | 372.7 | 0.446 |
| OpenClaw | 38.2 | 71.7 | 71.9 | 72.0 | 11.7 | 26.0 | 26.5 | 71.8 | 670.8 | 9.2 | 680.0 | 0.633 |
| 全部 Harness | 39.5 | 72.9 | 68.3 | 67.9 | 8.4 | 24.6 | 31.1 | 70.4 | 552.1 | 10.0 | 562.1 | 0.528 |
DeepSeek-V4-Pro(每个 Harness 95 项任务)
| Harness | 通过 | 分数 | 微观 | 宏观 | 双净 | 链接 | 绝对 | 分层 | 输入(k) | 输出(k) | 总计(k) | 估算成本(美元) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Code | 43.2 | 72.5 | 71.6 | 71.2 | 8.4 | 22.1 | 34.7 | 71.9 | 603.5 | 12.9 | 616.5 | 0.115 |
| Codex | 30.5 | 68.4 | 59.9 | 59.3 | 0.0 | 27.4 | 30.5 | 63.8 | 580.1 | 13.0 | 593.1 | 0.046 |
| DeepSeek Harness | 37.9 | 69.9 | 68.6 | 67.9 | 10.5 | 25.3 | 27.4 | 68.9 | 325.0 | 11.4 | 336.4 | 0.043 |
| OpenClaw | 38.9 | 72.0 | 71.9 | 71.9 | 11.6 | 25.3 | 27.4 | 72.0 | 605.0 | 10.8 | 615.8 | 0.094 |
Gemini 3.7 Flash(每个 Harness 95 项任务)
| Harness | 通过 | 分数 | 微观 | 宏观 | 双净 | 链接 | 绝对 | 分层 | 输入(k) | 输出(k) | 总计(k) | 估算成本(美元) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Code | 40.0 | 74.1 | 70.4 | 69.7 | 8.4 | 21.1 | 31.6 | 71.9 | 590.7 | 10.3 | 601.0 | 0.247 |
| Codex | 38.9 | 73.8 | 62.5 | 62.0 | 7.4 | 23.2 | 31.6 | 67.9 | 622.2 | 13.1 | 635.3 | 0.226 |
| DeepSeek Harness | 44.2 | 74.6 | 70.8 | 70.0 | 8.4 | 25.3 | 35.8 | 72.3 | 496.0 | 11.6 | 507.6 | 0.416 |
| OpenClaw | 38.9 | 74.2 | 75.1 | 74.8 | 10.5 | 26.3 | 28.4 | 74.5 | 975.9 | 10.6 | 986.5 | 0.772 |
GLM-5.3(每个 Harness 95 项任务)
| Harness | 通过 | 分数 | 微观 | 宏观 | 双净 | 链接 | 绝对 | 分层 | 输入(k) | 输出(k) | 总计(k) | 估算成本(美元) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Code | 43.2 | 76.0 | 73.7 | 73.1 | 9.5 | 21.1 | 33.7 | 74.6 | 639.3 | 13.9 | 653.2 | 0.408 |
| Codex | 28.4 | 68.6 | 59.1 | 59.3 | 2.1 | 28.4 | 26.3 | 63.9 | 627.1 | 8.2 | 635.3 | 0.189 |
| DeepSeek Harness | 44.2 | 75.5 | 71.4 | 70.5 | 9.5 | 17.9 | 34.7 | 73.0 | 380.6 | 14.5 | 395.1 | 0.226 |
| OpenClaw | 41.1 | 67.5 | 69.7 | 70.1 | 12.6 | 25.3 | 28.4 | 68.8 | 606.1 | 10.2 | 616.3 | 0.180 |
GPT-5.6-Sol(每个 Harness 95 项任务)
| Harness | 通过 | 分数 | 微观 | 宏观 | 双净 | 链接 | 绝对 | 分层 | 输入(k) | 输出(k) | 总计(k) | 估算成本(美元) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Code | 44.2 | 79.6 | 72.8 | 72.6 | 11.6 | 21.1 | 32.6 | 76.1 | 559.5 | 4.7 | 564.2 | 0.814 |
| Codex | 41.1 | 71.8 | 57.6 | 56.4 | 3.2 | 25.3 | 37.9 | 64.1 | 1427.8 | 10.9 | 1438.7 | 1.649 |
| DeepSeek Harness | 36.8 | 73.2 | 71.3 | 70.4 | 11.6 | 22.1 | 25.3 | 71.8 | 298.3 | 2.6 | 300.9 | 0.361 |
| OpenClaw | 42.1 | 71.5 | 71.1 | 71.2 | 14.7 | 29.5 | 27.4 | 71.4 | 606.7 | 5.1 | 611.8 | 0.974 |
Grok-4.6(每个 Harness 95 项任务)
| Harness | 通过 | 分数 | 微观 | 宏观 | 双净 | 链接 | 绝对 | 分层 | 输入(k) | 输出(k) | 总计(k) | 估算成本(美元) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Code | 55.8 | 81.6 | 71.9 | 71.9 | 10.5 | 18.9 | 45.3 | 76.7 | 531.1 | 7.2 | 538.3 | 0.509 |
| Codex | 44.2 | 72.9 | 59.6 | 59.5 | 5.3 | 21.1 | 38.9 | 66.2 | 292.6 | 4.2 | 296.9 | 0.462 |
| DeepSeek Harness | 43.2 | 75.6 | 71.4 | 70.6 | 10.5 | 18.9 | 32.6 | 73.1 | 315.7 | 11.9 | 327.6 | 0.378 |
| OpenClaw | 33.7 | 70.8 | 68.5 | 69.0 | 8.4 | 24.2 | 25.3 | 69.9 | 541.6 | 4.4 | 546.0 | 0.822 |
HY3(每个 Harness 95 项任务)
| Harness | 通过 | 分数 | 微观 | 宏观 | 双净 | 链接 | 绝对 | 分层 | 输入(k) | 输出(k) | 总计(k) | 估算成本(美元) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Code | 32.6 | 69.5 | 69.7 | 69.2 | 6.3 | 30.5 | 26.3 | 69.3 | 798.9 | 15.0 | 813.9 | 0.044 |
| Codex | 30.5 | 64.2 | 59.3 | 59.0 | 1.1 | 35.8 | 29.5 | 61.6 | 415.9 | 13.7 | 429.6 | 0.026 |
| DeepSeek Harness | 28.4 | 64.8 | 65.8 | 65.7 | 6.3 | 30.5 | 22.1 | 65.2 | 247.0 | 11.2 | 258.2 | 0.018 |
| OpenClaw | 29.5 | 70.0 | 72.7 | 72.7 | 11.6 | 29.5 | 17.9 | 71.4 | 659.5 | 18.5 | 678.0 | 0.041 |
Kimi K3(每个 Harness 95 项任务)
| Harness | 通过 | 分数 | 微观 | 宏观 | 双净 | 链接 | 绝对 | 分层 | 输入(k) | 输出(k) | 总计(k) | 估算成本(美元) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Code | 49.5 | 78.2 | 71.1 | 70.6 | 11.6 | 21.1 | 37.9 | 74.4 | 358.1 | 4.8 | 362.9 | 0.613 |
| Codex | 42.1 | 74.0 | 61.3 | 60.9 | 2.1 | 28.4 | 40.0 | 67.4 | 573.9 | 7.7 | 581.6 | 0.379 |
| DeepSeek Harness | 43.2 | 74.4 | 71.5 | 70.5 | 10.5 | 16.8 | 32.6 | 72.4 | 281.7 | 6.1 | 287.8 | 0.225 |
| OpenClaw | 40.0 | 73.8 | 73.6 | 73.5 | 10.5 | 22.1 | 29.5 | 73.7 | 580.8 | 5.7 | 586.6 | 0.351 |
Opus 5(每个 Harness 95 项任务)
| Harness | 通过 | 分数 | 微观 | 宏观 | 双净 | 链接 | 绝对 | 分层 | 输入(k) | 输出(k) | 总计(k) | 估算成本(美元) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Code | 53.7 | 83.4 | 71.8 | 71.9 | 7.4 | 16.8 | 46.3 | 77.6 | 379.4 | 3.7 | 383.1 | 0.660 |
| Codex | 30.5 | 70.3 | 60.8 | 60.5 | 2.1 | 34.7 | 28.4 | 65.4 | 482.8 | 7.6 | 490.4 | 2.121 |
| DeepSeek Harness | 49.5 | 79.3 | 72.3 | 71.4 | 13.7 | 17.9 | 35.8 | 75.4 | 551.5 | 16.9 | 568.5 | 2.071 |
| OpenClaw | 41.1 | 76.1 | 73.8 | 73.9 | 11.6 | 23.2 | 29.5 | 75.0 | 822.3 | 7.7 | 830.0 | 2.168 |
Qwen3.8-Max(每个 Harness 95 项任务)
| Harness | 通过 | 分数 | 微观 | 宏观 | 双净 | 链接 | 绝对 | 分层 | 输入(k) | 输出(k) | 总计(k) | 估算成本(美元) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Code | 33.7 | 68.3 | 70.5 | 70.2 | 8.4 | 31.6 | 25.3 | 69.3 | 663.8 | 12.6 | 676.4 | 0.517 |
| Codex | 35.8 | 72.1 | 61.4 | 61.0 | 2.1 | 28.4 | 33.7 | 66.5 | 436.7 | 13.4 | 450.2 | 0.258 |
| DeepSeek Harness | 32.6 | 71.8 | 62.5 | 62.6 | 7.4 | 21.1 | 25.3 | 67.2 | 357.9 | 14.2 | 372.1 | 0.279 |
| OpenClaw | 38.9 | 69.0 | 70.6 | 70.9 | 13.7 | 28.4 | 25.3 | 70.0 | 638.8 | 9.7 | 648.5 | 0.290 |
表 7 的固定模型区块在相同的 95 项任务上比较全部四个 Harness。在每一个模型分组中,Codex 的 Harness 宏观率都是最低的。OpenClaw 在六个模型上最高,而 Claude Code 在 GLM-5.3、GPT-5.6-Sol 和 Grok-4.6 上领先。模型内 Harness 极差为 10.0–16.2 个百分点:Qwen3.8-Max 的差距最小,GPT-5.6-Sol 的差距最大。 Agent 成功呈现出另一种交互。Grok-4.6 从 OpenClaw 的 33.7% 到 Claude Code 的 55.8%,相差 22.1 个百分点。Opus 5 的范围更宽,从 Codex 的 30.5% 到 Claude Code 的 53.7%,相差 23.2 个百分点。对 Gemini 3.7 Flash 而言,DeepSeek Harness 的 Agent 成功率最高(44.2%),而 OpenClaw 的 Harness 宏观率最高(74.8%)。对 Qwen3.8-Max 而言,OpenClaw 在两项指标上都领先。这些固定总体对照表明,一个模型所观察到的任务成功取决于其 Harness 配置,而且最强的任务结果不必与最强的执行层得分重合。
表 8:按可靠性维度划分的 Harness 微观得分(%)。每一行中,四个 Harness 使用相同的任务与九个模型。
| 维度 | 任务数 | Claude Code | Codex | DeepSeek Harness | OpenClaw |
|---|---|---|---|---|---|
| 上下文 | 15 | 74.5 | 62.0 | 64.3 | 61.6 |
| 执行 | 27 | 64.7 | 51.5 | 65.3 | 77.1 |
| 治理 | 9 | 72.3 | 74.2 | 68.8 | 80.5 |
| 生命周期 | 19 | 71.3 | 53.0 | 71.7 | 65.9 |
| 可观测性 | 7 | 88.7 | 76.5 | 86.8 | 85.0 |
| 工具 | 17 | 71.5 | 65.6 | 71.5 | 70.2 |
| 验证 | 1 | 93.7 | 95.2 | 82.5 | 88.9 |
表 9:按分类维度划分的可靠性。完整 3,420 次运行网格上的准则通过率与 Agent 任务成功率(%,越高越好)。
| 维度 | 任务数 | 运行数/H | Claude Code | Codex | DeepSeek Harness | OpenClaw | 汇总体 H 微观 | Agent 通过 |
|---|---|---|---|---|---|---|---|---|
| 上下文 | 15 | 135 | 74.5 | 62.0 | 64.3 | 61.6 | 65.6 | 45.2 |
| 执行 | 27 | 243 | 64.7 | 51.5 | 65.3 | 77.1 | 64.6 | 49.2 |
| 治理 | 9 | 81 | 72.3 | 74.2 | 68.8 | 80.5 | 74.0 | 27.2 |
| 生命周期 | 19 | 171 | 71.3 | 53.0 | 71.7 | 65.9 | 65.5 | 43.6 |
| 可观测性 | 7 | 63 | 88.7 | 76.5 | 86.8 | 85.0 | 84.3 | 43.3 |
| 工具 | 17 | 153 | 71.5 | 65.6 | 71.5 | 70.2 | 69.7 | 21.4 |
| 验证 | 1 | 9 | 93.7 | 95.2 | 82.5 | 88.9 | 90.1 | 8.3 |
| 全部任务 | 95 | 855 | 71.5 | 60.2 | 69.5 | 71.9 | 68.3 | 39.5 |
注。运行数/H 统计每个 Harness 的运行次数:每项任务九个模型。在每一行内,加粗并加底纹标出最高的 Harness 微观率,下划线标出次高;在所示精度上并列的,共享这些标记。汇总体 H 微观跨各 Harness 汇总准则计数;Agent 通过要求全部 Agent 准则都成立。汇总体列不参与排序。全部任务汇总的是完整网格,而不是所显示的七个维度比率。每项任务只属于一个维度。
译注:下表逐行读出,数字与原文一致,不删行。
在「全部模型(9 个模型;每个 Harness 855 次运行)」中,Claude Code 的任务通过率为 44.0,智能体分数为 75.9,Harness微观通过率为 71.5,Harness宏平均为 71.2,双层全通过比例为 9.1,候选链接比例为 22.7,仅Harness未通过比例为 34.9,分层均分为 73.5,平均输入千token为 569.4,平均输出千token为 9.5,平均合计千token为 578.8,估计费用美元为 0.436。
在「全部模型(9 个模型;每个 Harness 855 次运行)」中,Codex 的任务通过率为 35.8,智能体分数为 70.7,Harness微观通过率为 60.2,Harness宏平均为 59.8,双层全通过比例为 2.8,候选链接比例为 28.1,仅Harness未通过比例为 33.0,分层均分为 65.2,平均输入千token为 606.9,平均输出千token为 10.2,平均合计千token为 617.2,估计费用美元为 0.595。
在「全部模型(9 个模型;每个 Harness 855 次运行)」中,DeepSeek Harness 的任务通过率为 40.0,智能体分数为 73.3,Harness微观通过率为 69.5,Harness宏平均为 68.8,双层全通过比例为 9.8,候选链接比例为 21.8,仅Harness未通过比例为 30.2,分层均分为 71.0,平均输入千token为 361.5,平均输出千token为 11.2,平均合计千token为 372.7,估计费用美元为 0.446。
在「全部模型(9 个模型;每个 Harness 855 次运行)」中,OpenClaw 的任务通过率为 38.2,智能体分数为 71.7,Harness微观通过率为 71.9,Harness宏平均为 72.0,双层全通过比例为 11.7,候选链接比例为 26.0,仅Harness未通过比例为 26.5,分层均分为 71.8,平均输入千token为 670.8,平均输出千token为 9.2,平均合计千token为 680.0,估计费用美元为 0.633。
在「全部模型(9 个模型;每个 Harness 855 次运行)」中,全部 Harness 的任务通过率为 39.5,智能体分数为 72.9,Harness微观通过率为 68.3,Harness宏平均为 67.9,双层全通过比例为 8.4,候选链接比例为 24.6,仅Harness未通过比例为 31.1,分层均分为 70.4,平均输入千token为 552.1,平均输出千token为 10.0,平均合计千token为 562.1,估计费用美元为 0.528。
在「DeepSeek-V4-Pro(每个 Harness 95 项任务)」中,Claude Code 的任务通过率为 43.2,智能体分数为 72.5,Harness微观通过率为 71.6,Harness宏平均为 71.2,双层全通过比例为 8.4,候选链接比例为 22.1,仅Harness未通过比例为 34.7,分层均分为 71.9,平均输入千token为 603.5,平均输出千token为 12.9,平均合计千token为 616.5,估计费用美元为 0.115。
在「DeepSeek-V4-Pro(每个 Harness 95 项任务)」中,Codex 的任务通过率为 30.5,智能体分数为 68.4,Harness微观通过率为 59.9,Harness宏平均为 59.3,双层全通过比例为 0.0,候选链接比例为 27.4,仅Harness未通过比例为 30.5,分层均分为 63.8,平均输入千token为 580.1,平均输出千token为 13.0,平均合计千token为 593.1,估计费用美元为 0.046。
在「DeepSeek-V4-Pro(每个 Harness 95 项任务)」中,DeepSeek Harness 的任务通过率为 37.9,智能体分数为 69.9,Harness微观通过率为 68.6,Harness宏平均为 67.9,双层全通过比例为 10.5,候选链接比例为 25.3,仅Harness未通过比例为 27.4,分层均分为 68.9,平均输入千token为 325.0,平均输出千token为 11.4,平均合计千token为 336.4,估计费用美元为 0.043。
在「DeepSeek-V4-Pro(每个 Harness 95 项任务)」中,OpenClaw 的任务通过率为 38.9,智能体分数为 72.0,Harness微观通过率为 71.9,Harness宏平均为 71.9,双层全通过比例为 11.6,候选链接比例为 25.3,仅Harness未通过比例为 27.4,分层均分为 72.0,平均输入千token为 605.0,平均输出千token为 10.8,平均合计千token为 615.8,估计费用美元为 0.094。
在「Gemini 3.7 Flash(每个 Harness 95 项任务)」中,Claude Code 的任务通过率为 40.0,智能体分数为 74.1,Harness微观通过率为 70.4,Harness宏平均为 69.7,双层全通过比例为 8.4,候选链接比例为 21.1,仅Harness未通过比例为 31.6,分层均分为 71.9,平均输入千token为 590.7,平均输出千token为 10.3,平均合计千token为 601.0,估计费用美元为 0.247。
在「Gemini 3.7 Flash(每个 Harness 95 项任务)」中,Codex 的任务通过率为 38.9,智能体分数为 73.8,Harness微观通过率为 62.5,Harness宏平均为 62.0,双层全通过比例为 7.4,候选链接比例为 23.2,仅Harness未通过比例为 31.6,分层均分为 67.9,平均输入千token为 622.2,平均输出千token为 13.1,平均合计千token为 635.3,估计费用美元为 0.226。
在「Gemini 3.7 Flash(每个 Harness 95 项任务)」中,DeepSeek Harness 的任务通过率为 44.2,智能体分数为 74.6,Harness微观通过率为 70.8,Harness宏平均为 70.0,双层全通过比例为 8.4,候选链接比例为 25.3,仅Harness未通过比例为 35.8,分层均分为 72.3,平均输入千token为 496.0,平均输出千token为 11.6,平均合计千token为 507.6,估计费用美元为 0.416。
在「Gemini 3.7 Flash(每个 Harness 95 项任务)」中,OpenClaw 的任务通过率为 38.9,智能体分数为 74.2,Harness微观通过率为 75.1,Harness宏平均为 74.8,双层全通过比例为 10.5,候选链接比例为 26.3,仅Harness未通过比例为 28.4,分层均分为 74.5,平均输入千token为 975.9,平均输出千token为 10.6,平均合计千token为 986.5,估计费用美元为 0.772。
在「GLM-5.3(每个 Harness 95 项任务)」中,Claude Code 的任务通过率为 43.2,智能体分数为 76.0,Harness微观通过率为 73.7,Harness宏平均为 73.1,双层全通过比例为 9.5,候选链接比例为 21.1,仅Harness未通过比例为 33.7,分层均分为 74.6,平均输入千token为 639.3,平均输出千token为 13.9,平均合计千token为 653.2,估计费用美元为 0.408。
在「GLM-5.3(每个 Harness 95 项任务)」中,Codex 的任务通过率为 28.4,智能体分数为 68.6,Harness微观通过率为 59.1,Harness宏平均为 59.3,双层全通过比例为 2.1,候选链接比例为 28.4,仅Harness未通过比例为 26.3,分层均分为 63.9,平均输入千token为 627.1,平均输出千token为 8.2,平均合计千token为 635.3,估计费用美元为 0.189。
在「GLM-5.3(每个 Harness 95 项任务)」中,DeepSeek Harness 的任务通过率为 44.2,智能体分数为 75.5,Harness微观通过率为 71.4,Harness宏平均为 70.5,双层全通过比例为 9.5,候选链接比例为 17.9,仅Harness未通过比例为 34.7,分层均分为 73.0,平均输入千token为 380.6,平均输出千token为 14.5,平均合计千token为 395.1,估计费用美元为 0.226。
在「GLM-5.3(每个 Harness 95 项任务)」中,OpenClaw 的任务通过率为 41.1,智能体分数为 67.5,Harness微观通过率为 69.7,Harness宏平均为 70.1,双层全通过比例为 12.6,候选链接比例为 25.3,仅Harness未通过比例为 28.4,分层均分为 68.8,平均输入千token为 606.1,平均输出千token为 10.2,平均合计千token为 616.3,估计费用美元为 0.180。
在「GPT-5.6-Sol(每个 Harness 95 项任务)」中,Claude Code 的任务通过率为 44.2,智能体分数为 79.6,Harness微观通过率为 72.8,Harness宏平均为 72.6,双层全通过比例为 11.6,候选链接比例为 21.1,仅Harness未通过比例为 32.6,分层均分为 76.1,平均输入千token为 559.5,平均输出千token为 4.7,平均合计千token为 564.2,估计费用美元为 0.814。
在「GPT-5.6-Sol(每个 Harness 95 项任务)」中,Codex 的任务通过率为 41.1,智能体分数为 71.8,Harness微观通过率为 57.6,Harness宏平均为 56.4,双层全通过比例为 3.2,候选链接比例为 25.3,仅Harness未通过比例为 37.9,分层均分为 64.1,平均输入千token为 1427.8,平均输出千token为 10.9,平均合计千token为 1438.7,估计费用美元为 1.649。
在「GPT-5.6-Sol(每个 Harness 95 项任务)」中,DeepSeek Harness 的任务通过率为 36.8,智能体分数为 73.2,Harness微观通过率为 71.3,Harness宏平均为 70.4,双层全通过比例为 11.6,候选链接比例为 22.1,仅Harness未通过比例为 25.3,分层均分为 71.8,平均输入千token为 298.3,平均输出千token为 2.6,平均合计千token为 300.9,估计费用美元为 0.361。
在「GPT-5.6-Sol(每个 Harness 95 项任务)」中,OpenClaw 的任务通过率为 42.1,智能体分数为 71.5,Harness微观通过率为 71.1,Harness宏平均为 71.2,双层全通过比例为 14.7,候选链接比例为 29.5,仅Harness未通过比例为 27.4,分层均分为 71.4,平均输入千token为 606.7,平均输出千token为 5.1,平均合计千token为 611.8,估计费用美元为 0.974。
在「Grok-4.6(每个 Harness 95 项任务)」中,Claude Code 的任务通过率为 55.8,智能体分数为 81.6,Harness微观通过率为 71.9,Harness宏平均为 71.9,双层全通过比例为 10.5,候选链接比例为 18.9,仅Harness未通过比例为 45.3,分层均分为 76.7,平均输入千token为 531.1,平均输出千token为 7.2,平均合计千token为 538.3,估计费用美元为 0.509。
在「Grok-4.6(每个 Harness 95 项任务)」中,Codex 的任务通过率为 44.2,智能体分数为 72.9,Harness微观通过率为 59.6,Harness宏平均为 59.5,双层全通过比例为 5.3,候选链接比例为 21.1,仅Harness未通过比例为 38.9,分层均分为 66.2,平均输入千token为 292.6,平均输出千token为 4.2,平均合计千token为 296.9,估计费用美元为 0.462。
在「Grok-4.6(每个 Harness 95 项任务)」中,DeepSeek Harness 的任务通过率为 43.2,智能体分数为 75.6,Harness微观通过率为 71.4,Harness宏平均为 70.6,双层全通过比例为 10.5,候选链接比例为 18.9,仅Harness未通过比例为 32.6,分层均分为 73.1,平均输入千token为 315.7,平均输出千token为 11.9,平均合计千token为 327.6,估计费用美元为 0.378。
在「Grok-4.6(每个 Harness 95 项任务)」中,OpenClaw 的任务通过率为 33.7,智能体分数为 70.8,Harness微观通过率为 68.5,Harness宏平均为 69.0,双层全通过比例为 8.4,候选链接比例为 24.2,仅Harness未通过比例为 25.3,分层均分为 69.9,平均输入千token为 541.6,平均输出千token为 4.4,平均合计千token为 546.0,估计费用美元为 0.822。
在「HY3(每个 Harness 95 项任务)」中,Claude Code 的任务通过率为 32.6,智能体分数为 69.5,Harness微观通过率为 69.7,Harness宏平均为 69.2,双层全通过比例为 6.3,候选链接比例为 30.5,仅Harness未通过比例为 26.3,分层均分为 69.3,平均输入千token为 798.9,平均输出千token为 15.0,平均合计千token为 813.9,估计费用美元为 0.044。
在「HY3(每个 Harness 95 项任务)」中,Codex 的任务通过率为 30.5,智能体分数为 64.2,Harness微观通过率为 59.3,Harness宏平均为 59.0,双层全通过比例为 1.1,候选链接比例为 35.8,仅Harness未通过比例为 29.5,分层均分为 61.6,平均输入千token为 415.9,平均输出千token为 13.7,平均合计千token为 429.6,估计费用美元为 0.026。
在「HY3(每个 Harness 95 项任务)」中,DeepSeek Harness 的任务通过率为 28.4,智能体分数为 64.8,Harness微观通过率为 65.8,Harness宏平均为 65.7,双层全通过比例为 6.3,候选链接比例为 30.5,仅Harness未通过比例为 22.1,分层均分为 65.2,平均输入千token为 247.0,平均输出千token为 11.2,平均合计千token为 258.2,估计费用美元为 0.018。
在「HY3(每个 Harness 95 项任务)」中,OpenClaw 的任务通过率为 29.5,智能体分数为 70.0,Harness微观通过率为 72.7,Harness宏平均为 72.7,双层全通过比例为 11.6,候选链接比例为 29.5,仅Harness未通过比例为 17.9,分层均分为 71.4,平均输入千token为 659.5,平均输出千token为 18.5,平均合计千token为 678.0,估计费用美元为 0.041。
在「Kimi K3(每个 Harness 95 项任务)」中,Claude Code 的任务通过率为 49.5,智能体分数为 78.2,Harness微观通过率为 71.1,Harness宏平均为 70.6,双层全通过比例为 11.6,候选链接比例为 21.1,仅Harness未通过比例为 37.9,分层均分为 74.4,平均输入千token为 358.1,平均输出千token为 4.8,平均合计千token为 362.9,估计费用美元为 0.613。
在「Kimi K3(每个 Harness 95 项任务)」中,Codex 的任务通过率为 42.1,智能体分数为 74.0,Harness微观通过率为 61.3,Harness宏平均为 60.9,双层全通过比例为 2.1,候选链接比例为 28.4,仅Harness未通过比例为 40.0,分层均分为 67.4,平均输入千token为 573.9,平均输出千token为 7.7,平均合计千token为 581.6,估计费用美元为 0.379。
在「Kimi K3(每个 Harness 95 项任务)」中,DeepSeek Harness 的任务通过率为 43.2,智能体分数为 74.4,Harness微观通过率为 71.5,Harness宏平均为 70.5,双层全通过比例为 10.5,候选链接比例为 16.8,仅Harness未通过比例为 32.6,分层均分为 72.4,平均输入千token为 281.7,平均输出千token为 6.1,平均合计千token为 287.8,估计费用美元为 0.225。
在「Kimi K3(每个 Harness 95 项任务)」中,OpenClaw 的任务通过率为 40.0,智能体分数为 73.8,Harness微观通过率为 73.6,Harness宏平均为 73.5,双层全通过比例为 10.5,候选链接比例为 22.1,仅Harness未通过比例为 29.5,分层均分为 73.7,平均输入千token为 580.8,平均输出千token为 5.7,平均合计千token为 586.6,估计费用美元为 0.351。
在「Opus 5(每个 Harness 95 项任务)」中,Claude Code 的任务通过率为 53.7,智能体分数为 83.4,Harness微观通过率为 71.8,Harness宏平均为 71.9,双层全通过比例为 7.4,候选链接比例为 16.8,仅Harness未通过比例为 46.3,分层均分为 77.6,平均输入千token为 379.4,平均输出千token为 3.7,平均合计千token为 383.1,估计费用美元为 0.660。
在「Opus 5(每个 Harness 95 项任务)」中,Codex 的任务通过率为 30.5,智能体分数为 70.3,Harness微观通过率为 60.8,Harness宏平均为 60.5,双层全通过比例为 2.1,候选链接比例为 34.7,仅Harness未通过比例为 28.4,分层均分为 65.4,平均输入千token为 482.8,平均输出千token为 7.6,平均合计千token为 490.4,估计费用美元为 2.121。
在「Opus 5(每个 Harness 95 项任务)」中,DeepSeek Harness 的任务通过率为 49.5,智能体分数为 79.3,Harness微观通过率为 72.3,Harness宏平均为 71.4,双层全通过比例为 13.7,候选链接比例为 17.9,仅Harness未通过比例为 35.8,分层均分为 75.4,平均输入千token为 551.5,平均输出千token为 16.9,平均合计千token为 568.5,估计费用美元为 2.071。
在「Opus 5(每个 Harness 95 项任务)」中,OpenClaw 的任务通过率为 41.1,智能体分数为 76.1,Harness微观通过率为 73.8,Harness宏平均为 73.9,双层全通过比例为 11.6,候选链接比例为 23.2,仅Harness未通过比例为 29.5,分层均分为 75.0,平均输入千token为 822.3,平均输出千token为 7.7,平均合计千token为 830.0,估计费用美元为 2.168。
在「Qwen3.8-Max(每个 Harness 95 项任务)」中,Claude Code 的任务通过率为 33.7,智能体分数为 68.3,Harness微观通过率为 70.5,Harness宏平均为 70.2,双层全通过比例为 8.4,候选链接比例为 31.6,仅Harness未通过比例为 25.3,分层均分为 69.3,平均输入千token为 663.8,平均输出千token为 12.6,平均合计千token为 676.4,估计费用美元为 0.517。
在「Qwen3.8-Max(每个 Harness 95 项任务)」中,Codex 的任务通过率为 35.8,智能体分数为 72.1,Harness微观通过率为 61.4,Harness宏平均为 61.0,双层全通过比例为 2.1,候选链接比例为 28.4,仅Harness未通过比例为 33.7,分层均分为 66.5,平均输入千token为 436.7,平均输出千token为 13.4,平均合计千token为 450.2,估计费用美元为 0.258。
在「Qwen3.8-Max(每个 Harness 95 项任务)」中,DeepSeek Harness 的任务通过率为 32.6,智能体分数为 71.8,Harness微观通过率为 62.5,Harness宏平均为 62.6,双层全通过比例为 7.4,候选链接比例为 21.1,仅Harness未通过比例为 25.3,分层均分为 67.2,平均输入千token为 357.9,平均输出千token为 14.2,平均合计千token为 372.1,估计费用美元为 0.279。
在「Qwen3.8-Max(每个 Harness 95 项任务)」中,OpenClaw 的任务通过率为 38.9,智能体分数为 69.0,Harness微观通过率为 70.6,Harness宏平均为 70.9,双层全通过比例为 13.7,候选链接比例为 28.4,仅Harness未通过比例为 25.3,分层均分为 70.0,平均输入千token为 638.8,平均输出千token为 9.7,平均合计千token为 648.5,估计费用美元为 0.290。
表八中,维度上下文共有 15 项任务,Claude Code 的微观通过率为 74.5,Codex 为 62.0,DeepSeek Harness 为 64.3,OpenClaw 为 61.6。
表八中,维度执行共有 27 项任务,Claude Code 的微观通过率为 64.7,Codex 为 51.5,DeepSeek Harness 为 65.3,OpenClaw 为 77.1。
表八中,维度治理共有 9 项任务,Claude Code 的微观通过率为 72.3,Codex 为 74.2,DeepSeek Harness 为 68.8,OpenClaw 为 80.5。
表八中,维度生命周期共有 19 项任务,Claude Code 的微观通过率为 71.3,Codex 为 53.0,DeepSeek Harness 为 71.7,OpenClaw 为 65.9。
表八中,维度可观测性共有 7 项任务,Claude Code 的微观通过率为 88.7,Codex 为 76.5,DeepSeek Harness 为 86.8,OpenClaw 为 85.0。
表八中,维度工具共有 17 项任务,Claude Code 的微观通过率为 71.5,Codex 为 65.6,DeepSeek Harness 为 71.5,OpenClaw 为 70.2。
表八中,维度验证共有 1 项任务,Claude Code 的微观通过率为 93.7,Codex 为 95.2,DeepSeek Harness 为 82.5,OpenClaw 为 88.9。
表九中,维度上下文有 15 项任务、每个 Harness 135 次运行,四个 Harness 的微观通过率依次为 74.5、62.0、64.3、61.6,汇总体微观为 65.6,智能体全通过为 45.2。
表九中,维度执行有 27 项任务、每个 Harness 243 次运行,四个 Harness 的微观通过率依次为 64.7、51.5、65.3、77.1,汇总体微观为 64.6,智能体全通过为 49.2。
表九中,维度治理有 9 项任务、每个 Harness 81 次运行,四个 Harness 的微观通过率依次为 72.3、74.2、68.8、80.5,汇总体微观为 74.0,智能体全通过为 27.2。
表九中,维度生命周期有 19 项任务、每个 Harness 171 次运行,四个 Harness 的微观通过率依次为 71.3、53.0、71.7、65.9,汇总体微观为 65.5,智能体全通过为 43.6。
表九中,维度可观测性有 7 项任务、每个 Harness 63 次运行,四个 Harness 的微观通过率依次为 88.7、76.5、86.8、85.0,汇总体微观为 84.3,智能体全通过为 43.3。
表九中,维度工具有 17 项任务、每个 Harness 153 次运行,四个 Harness 的微观通过率依次为 71.5、65.6、71.5、70.2,汇总体微观为 69.7,智能体全通过为 21.4。
表九中,维度验证有 1 项任务、每个 Harness 9 次运行,四个 Harness 的微观通过率依次为 93.7、95.2、82.5、88.9,汇总体微观为 90.1,智能体全通过为 8.3。
表九中,维度全部任务有 95 项任务、每个 Harness 855 次运行,四个 Harness 的微观通过率依次为 71.5、60.2、69.5、71.9,汇总体微观为 68.3,智能体全通过为 39.5。
5.4 按分类维度划分的可靠性
表 9 按任务的主要 Harness 维度分解完整总体。每一列在同一维度内使用相同的任务与九个模型。执行的汇总体 Harness 微观率最低(64.6%),其次是生命周期(65.5%)和上下文(65.6%)。可观测性达到 84.3%。验证达到 90.1%。
执行也表现出很大的跨 Harness 差距:Codex 为 51.5%,OpenClaw 为 77.1%。上下文部分逆转了总体排序:Claude Code 达到 74.5%,而 OpenClaw 为 61.6%。生命周期同样把 DeepSeek Harness(71.7%)和 Claude Code(71.3%)与 Codex(53.0%)区分开来。这些结果表明,选择 Harness 应当反映目标任务的可靠性要求。
图 8(a) 使用相同的逐运行宏观聚合来比较两层。执行的 Agent 得分为 78.0%,Harness 得分为 64.7%。生命周期与此类似,分别为 77.4% 与 65.8%。工具逆转了这一差距(53.2% 对 66.8%)。因此,层间差距会随维度改变方向,而不是遵循一个统一的偏移。
全准则 Agent 成功是更严格的结果度量。在多任务维度中,执行的 Agent 成功率最高(49.2%),尽管它的汇总体 Harness 微观率最低。工具的 Harness 微观率为 69.7%,但在 612 次运行上 Agent 成功率只有 21.4%。这些对照说明,为什么准则级的执行度量不能代替全准则的任务结果度量。
在 40 项属性中,没有一项能在全部九个模型和四个 Harness 上达到 100% 的 Harness 微观率。网络限制最低,为 38.9%。工具暴露的 Harness 满足度为 45.8%,而且在其两个场景中没有任何全准则 Agent 成功。子智能体结果聚合的 Harness 满足度只有 46.2%,但在 144 次运行上 Agent 成功率达到 72.2%。跨轮事实保持的对照更为尖锐:Harness 满足度 48.4%,Agent 成功率 95.8%。这些对照表明 TraceTrial-Bench 的诊断价值:即便 Agent 任务成功率很高,其两层评测仍能揭示机制级不足。
图 8:3,420 次运行网格上的可靠性与候选链接。(a) 按维度划分的逐运行层得分均值。(b) 每个 Harness 的 855 次运行上,四种准则裁决状态。(c) 联合失败运行之中带有候选链接的运行,并给出已链接数/联合失败数以及汇总体 49.5% 的比率。
表 10:失败状态与候选链接激活。完整 3,420 次运行网格上,跨各 Harness 与主要维度的结果。
| 分组 / Harness | 运行数 | Agent 通过 | H 微观(%) | 双净 | 仅 H | 仅 A | 两者 | 已链接 | 链接/两者(%) |
|---|---|---|---|---|---|---|---|---|---|
| 全部 Harness | 3420 | 1351 | 68.3 | 286 | 1065 | 369 | 1700 | 842 | 49.5 |
| Claude Code | 855 | 376 | 71.5 | 78 | 298 | 97 | 382 | 194 | 50.8 |
| Codex | 855 | 306 | 60.2 | 24 | 282 | 58 | 491 | 240 | 48.9 |
| DeepSeek Harness | 855 | 342 | 69.5 | 84 | 258 | 71 | 442 | 186 | 42.1 |
| OpenClaw | 855 | 327 | 71.9 | 100 | 227 | 143 | 385 | 222 | 57.7 |
| 上下文 | 540 | 244 | 65.6 | 29 | 215 | 69 | 227 | 116 | 51.1 |
| 执行 | 972 | 478 | 64.6 | 76 | 402 | 44 | 450 | 174 | 38.7 |
| 治理 | 324 | 88 | 74.0 | 14 | 74 | 55 | 181 | 52 | 28.7 |
| 生命周期 | 684 | 298 | 65.5 | 72 | 226 | 75 | 311 | 159 | 51.1 |
| 可观测性 | 252 | 109 | 84.3 | 50 | 59 | 55 | 88 | 62 | 70.5 |
| 工具 | 612 | 131 | 69.7 | 42 | 89 | 55 | 426 | 264 | 62.0 |
| 验证 | 36 | 3 | 90.1 | 3 | 0 | 16 | 17 | 15 | 88.2 |
5.5 失败状态与候选归因
表 10 报告跨各 Harness 与主要维度的失败状态和候选链接激活。我们用全部原始零分条目划分运行,FH = fail(VH),ZA = fail(VA),并把已链接运行与四个互斥状态分开报告。原始准则交集包含 286 次联合全净运行、1,065 次仅 Harness 不足、369 次仅 Agent 不足,以及 1,700 次联合不足。因此,全部运行中有 31.1% 在至少一条 Harness 准则失败的情况下仍取得 Agent 成功。在 1,700 次联合不足运行中,有 842 次(49.5%)至少包含一条已存储的候选链接,合计 1,633 个被激活的端点对。在 2,069 次 Agent 失败运行中,有 1,773 次(85.7%)仍保留至少一条未被链接到达的失败 Agent 准则。
联合失败是最大的状态,但 Harness 与 Agent 的裁决经常不一致。Claude Code 的仅 H 运行最多,而 OpenClaw 的仅 A 运行最多,联合全净运行也最多(图 8(b))。仅 H 状态代表操作性吸收:测得的 Harness 不足与完全通过的 Agent 结果并存。因此,仅 H 运行提供了一组聚焦案例,用以诊断 Agent 成功完成的那些任务中的 Harness 级不足。
共现的范围广于候选链接激活。联合失败的运行中,含有已存储链接的不足一半,而且大多数 Agent 失败运行仍保留至少一条未被任何链接到达的失败准则。条件激活在执行和治理上低于工具和可观测性(图 8(c))。该表把这一条件比率与全部运行上的发生率区分开:某个 Harness 可以因为联合失败更多而有更多已链接运行,却并不具有更高的条件激活率。
5.6 记录到的资源使用
按冻结的、依模型而定的价格,每次入选运行的平均估算 Agent 成本为:Claude Code 0.436 美元、Codex 0.595 美元、DeepSeek Harness 0.446 美元、OpenClaw 0.633 美元。平均记录总 Token 分别为 578.8k、617.2k、372.7k 和 680.0k。表 7 为每个模型分组保留了对应的输入、输出、总 Token 与成本列。
5.7 发现与解释限度
全网格结果支持三条结论。第一,结果质量与 Harness 准则满足在经验上是分开的:Agent 成功率达到 39.5%,但只有 8.4% 的运行通过两层中的每一条目,而且不同的 Harness 在两项汇总体度量上分别领先。第二,差异既取决于模型,也取决于分类维度:模型内 Harness 宏观极差达到 16.2 个百分点,且 Harness 微观的排序在各维度之间并不相同。第三,失败共现超过候选链接激活:1,700 次双零运行中有 842 次含有已存储链接,同时有 1,065 次运行尽管存在 Harness 零分,仍保持完全通过的 Agent 结果。
附录 E 给出任务级分数网格,附录 F 提供五组成对的轨迹研究。这些选出的对照支持对具体行为的检视,而不是对归因准确率作总体层面的估计。
与完全通过的 Agent 结果并存。因此,仅 H 运行提供了一组聚焦案例,用以诊断 Agent 成功完成的那些任务中的 Harness 级不足。共现的范围广于候选链接激活。联合失败的运行中,含有已存储链接的不足一半,而且大多数 Agent 失败运行仍保留至少一条未被任何链接到达的失败准则。条件激活在执行和治理上低于工具和可观测性(图 8(c))。该表把这一条件比率与全部运行上的发生率区分开:某个 Harness 可以因为联合失败更多而有更多已链接运行,却并不具有更高的条件激活率。
6 讨论
6.1 局限
本评测使用一套有针对性的任务集,机制覆盖并不均衡,且每个任务–模型–Harness 组合只选取一次执行。结果刻画的是所采集到的配置;关于能否推广到部署工作负载,以及重复运行之间是否稳定,证据有限。任务修订、运行时设置和评分预算上的变异,进一步限制了就单项 Harness 设计选择作出因果结论。
6.2 未来方向
Harness 演化。TraceTrial-Bench 可以支持一个由轨迹引导的改进循环:识别机制失败,修订相应的 Harness 行为,并在模型与预算固定的条件下,于留出任务上评估这些改动。受控干预与重复执行将有助于评估每一项修改是否解决了所针对的失败,以及是否在别处引入回归。跟踪版本、配置与支撑证据,可以把 Harness 变更与执行可靠性和任务表现上可度量的改进联系起来。面向递归自我改进的评测。未来的评测方法可以把任务结果、Harness 行为与证据质量结合起来,为递归自我改进(Recursive Self-Improvement, RSI)提供可操作的反馈。对 Agent 版本与 Harness 版本作交叉评测,将有助于区分它们各自的贡献及其交互。准则级反馈随后可以引导对 Agent 规划、工具使用和恢复策略的更新。在留出任务以及不熟悉的 Harness 上测试这些更新,可以评估改进能否迁移到适应阶段所用配置之外。
7 相关工作
7.1 智能体 Harness
Harness 研究涉及上下文、工具、状态、验证与权限(Zhong & Zhu, 2026; Barbaste et al., 2026)。ACE、ACDL 与 SkillAlign 改进上下文和接口(Zhang et al., 2026; Peleg Pelc et al., 2026; Ren et al., 2026);LongHorizon-Harness 与 Crab 处理连续性与恢复(Ma et al., 2026; Wu et al., 2026);AgentBound 与 SafeHarness 执行策略与防护措施(Bühler et al., 2026; Lin et al., 2026b)。HARBOR、回顾式优化与 SHAPER 优化配置、技能或 Harness 代码(Sengupta & Wang, 2026; Pan et al., 2026; Wang et al., 2026a),而 HarnessFix 诊断并修补实现缺陷(Chen et al., 2026)。要解释这些改进,需要匹配的预算和留出评测(Wang et al., 2026b)。TraceTrial-Bench 在保留原生 Harness 行为的同时,提供机制级准则与证据。配置搜索、技能演化与实现修复针对的是不同的系统组件。TraceTrial-Bench 保留原生执行策略,并记录针对具体义务的证据,用以考察任务级增益是否与更可靠的 Harness 行为同时出现。
7.2 智能体评测与失败分析
Terminal-Bench 与 SWE-Bench Pro 评估可验证的任务结果(Merrill et al., 2026; Deng et al., 2025)。Harness-Bench 在共享条件下比较模型–Harness 配置(Yao et al., 2026),而 HarnessAudit 与 HarnessRisk 考察执行保真度与对抗性风险(Liu et al., 2026; Bai et al., 2026)。在失败分析方面,Who&When 定位负有责任的智能体以及出错步骤(Zhang et al., 2025)。AgentRx 诊断约束违反(Barke et al., 2026),而 REFLECT 使用干预与受控重放(Lin et al., 2026a)。TraceTrial-Bench 把分开的 Agent 准则与 Harness 准则同基于证据的失败分析结合起来,从而补充上述方法。两层评测揭示出与 Harness 不足并存的成功交付。其归因框架经由已声明的机制和特定来源的证据,把失败准则连接起来。
8 结论
TraceTrial-Bench 通过跨越七个可靠性组件的 95 项面向机制的任务,评测原生智能体 Harness。轨迹追踪与多源证据支持分开的 Agent 分数与 Harness 分数,显式的机制链则引导可审计的失败分析。在 3,420 次入选运行中,Harness 宏观相差 12.2 个百分点,而且任务成功与 Harness 满足度的领先者并不相同。具体而言,3,420 次运行中有 1,065 次(31.1%)在至少一条 Harness 准则失败的情况下仍取得 Agent 成功。这些伴有失败 Harness 准则的成功交付表明,只看结果的评测无法刻画 Harness 可靠性。所发布的任务、配置、轨迹与裁决,支持对 Harness 行为作基于证据的比较与诊断。
9 作者
Zhiyong Cao, Hengjie Zhu, Yongxin Wang, Xuchen Li, Jintao Li, Shuxia Liu, Dunqiang Liu, Bo Wang, Kairan Zhang, Cong Lin, JiangDi Yu, Siyuan Liu, Sijia Yao, Yi-Liang Wei, Lingxu Ma, Aijia Wang, Anxin Chen, Zixian Wei, Xiang Ruan, Ruizhi Xu, Ruqian Shi, Baihua XiaoB, Sicheng ZhouB * 核心贡献者。B 通讯作者。
译注:作者姓名按原文保留。核心贡献者是 Zhiyong Cao、Hengjie Zhu、Yongxin Wang、Xuchen Li。其余作者依次为 Jintao Li、Shuxia Liu、Dunqiang Liu、Bo Wang、Kairan Zhang、Cong Lin、JiangDi Yu、Siyuan Liu、Sijia Yao、Yi-Liang Wei、Lingxu Ma、Aijia Wang、Anxin Chen、Zixian Wei、Xiang Ruan、Ruizhi Xu、Ruqian Shi。通讯作者是 Baihua Xiao 与 Sicheng Zhou。星号表示核心贡献,上标 B 表示通讯作者。
参考文献
- Saaket Agashe, Jiuzhou Han, Shuyu Gan, Jiachen Yang, Ang Li, and Xin Wang. 智能体 S:一套像人一样使用计算机的开放智能体框架(Agent s: An open agentic framework that uses computers like a human). 载于学习表征国际会议(International Conference on Learning Representations), volume 2025, pp. 22924–22946, 2025.
- Yajing Bai, Jinhao Duan, Jie Peng, Xianfeng Wu, Sijia Liu, Song Wang, and Tianlong Chen. HarnessRisk:面向智能体 Harness 安全的生命周期导向基准(Harnessrisk: A lifecycle-oriented benchmark for agent harness safety). arXiv 预印本 arXiv:2608.17597, 2026.
- Paul Barbaste, Tristan Darrigol, Germain Vu, and Tom Wiltberger. Harness 工程:编程智能体的解剖、架构与演化——对十一个系统的源代码研究(Harness engineering: Anatomy, architecture, and evolution of coding agents–a source-code study of eleven systems). arXiv 预印本 arXiv:2609.00006, 2026.
- Shraddha Barke, Arnav Goyal, Alind Khare, Avaljot Singh, Suman Nath, and Chetan Bansal. AgentRx:从执行轨迹诊断 AI 智能体失败(Agentrx: Diagnosing ai agent failures from execution trajectories). arXiv 预印本 arXiv:2602.02475, 2026.
- Victor Barres, Honghua Dong, Soham Ray, Xujie Si, and Karthik Narasimhan. τ2-Bench:在双控环境中评测对话智能体(τ2-Bench: Evaluating conversational agents in a dual-control environment). arXiv 预印本 arXiv:2506.07982, 2025.
- Christoph Bühler, Matteo Biagiola, Luca Di Grazia, and Guido Salvaneschi. AgentBound:保障 AI 智能体的执行边界(Agentbound: Securing execution boundaries of ai agents). 《ACM 软件工程汇刊》(Proceedings of the ACM on Software Engineering), 3(FSE):2141–2164, 2026.
- Mengzhuo Chen, Junjie Wang, Zhe Liu, Yawen Wang, Haiming Zheng, and Qing Wang. 从失败轨迹到可靠的 LLM 智能体:诊断并修复 Harness 缺陷(From failed trajectories to reliable llm agents: Diagnosing and repairing harness flaws). arXiv 预印本 arXiv:2606.06324, 2026.
- Xiang Deng, Jeff Da, Edwin Pan, Yannis Yiming He, Charles Ide, Kanak Garg, Niklas Lauffer, Andrew Park, Nitin Pasari, Chetan Rane, et al. SWE-bench Pro:AI 智能体能否解决长程软件工程任务?(Swe-bench pro: Can ai agents solve long-horizon software engineering tasks?). arXiv 预印本 arXiv:2509.16941, 2025.
- Mohammed Mehedi Hasan, Hao Li, Gopi Krishnan Rajbahadur, Bram Adams, and Ahmed E Hassan. 模型上下文协议(MCP)工具描述有异味!借助增强的 MCP 工具描述提升 AI 智能体效率(Model context protocol (mcp) tool descriptions are smelly! towards improving ai agent efficiency with augmented mcp tool descriptions). arXiv 预印本 arXiv:2602.14878, 2026.
- Junjie Li, Xi Xiao, Yunbei Zhang, Chen Liu, Lin Zhao, Xiaoying Liao, Yingrui Ji, Janet Wang, Jianyang Gu, Yingqiang Ge, et al. 智能体 Harness 工程:综述(Agent harness engineering: A survey). OpenReview 预印本, 2026.
- Xiaofeng Lin, Yingxu Wang, Tung Sum Thomas Kwok, Daniel Guo, Sahil Arun Nale, Charles Fleming, and Guang Cheng. REFLECT:对 LLM 智能体轨迹中静默失败的、由干预支持的错误归因(Reflect: Intervention-supported error attribution for silent failures in llm agent traces). arXiv 预印本 arXiv:2606.09071, 2026a.
- Xixun Lin, Yang Liu, Yancheng Chen, Yongxuan Wu, Yucheng Ning, Yilong Liu, Nan Sun, Shun Zhang, Bin Chong, Chuan Zhou, et al. SafeHarness:面向基于 LLM 的智能体部署的、全生命周期集成的安全架构(Safeharness: Lifecycle-integrated security architecture for llm-based agent deployment). arXiv 预印本 arXiv:2604.13630, 2026b.
- Chengzhi Liu, Yichen Guo, Yepeng Liu, Yuzhe Yang, Qianqi Yan, Xuandong Zhao, Wenyue Hua, Sheng Liu, Sharon Li, Yuheng Bu, et al. 审计智能体 Harness 的安全性(Auditing agent harness safety). arXiv 预印本 arXiv:2605.14271, 2026.
- Ziyu Ma, Hailang Huang, Shun Zou, Yong Wang, Shidong Yang, Yiming Hu, Fei Wei, and XiangXiang Chu. LongHorizon-Harness:推进面向真实世界任务的长程智能体(Longhorizon-harness: Advancing long-horizon agents for real-world tasks). arXiv 预印本 arXiv:2608.01964, 2026.
- Kai Mei, Xi Zhu, Wujiang Xu, Wenyue Hua, Mingyu Jin, Zelong Li, Shuyuan Xu, Ruosong Ye, Yingqiang Ge, and Yongfeng Zhang. AIOS:LLM 智能体操作系统(Aios: Llm agent operating system). arXiv 预印本 arXiv:2403.16971, 2024.
- Mike Merrill, Alexander Shaw, Nicholas Carlini, Boxuan Li, Harsh Raj, Ivan Bercovich, Lin Shi, Jeong Shin, Thomas Walshe, E Kelly Buchanan, et al. Terminal-Bench:在命令行界面中,于困难且贴近真实的任务上对智能体作基准评测(Terminal-bench: Benchmarking agents on hard, realistic tasks in command line interfaces). 载于学习表征国际会议(International Conference on Learning Representations), volume 2026, pp. 40903–40986, 2026.
- Xuying Ning, Katherine Tieu, Dongqi Fu, Tianxin Wei, Zihao Li, Yuanchen Bei, Jiaru Zou, Mengting Ai, Zhining Liu, Ting-Wei Li, et al. 代码作为智能体 Harness(Code as agent harness). arXiv 预印本 arXiv:2605.18747, 2026.
- Charles Packer, Sarah Wooders, Kevin Lin, Vivian Fang, Shishir G Patil, Ion Stoica, and Joseph E Gonzalez. MemGPT:走向作为操作系统的 LLM(Memgpt: Towards llms as operating systems). arXiv 预印本 arXiv:2310.08560, 2023.
- Wenbo Pan, Shujie Liu, Chin-Yew Lin, Jingying Zeng, Xianfeng Tang, Xiangyang Zhou, Yan Lu, and Xiaohua Jia. 在黑暗中演化智能体:经由自我偏好的回顾式 Harness 优化(Evolving agents in the dark: Retrospective harness optimization via self-preference). arXiv 预印本 arXiv:2606.05922, 2026.
- Noga Peleg Pelc, Gal A Kaminka, and Yoav Goldberg. 一种用于描述智能体式 LLM 上下文的语言(A language for describing agentic llm contexts). 载于 ACM 人工智能与智能体系统会议论文集(Proceedings of the ACM Conference on AI and Agentic Systems), pp. 85–102, 2026.
- Shuo Ren, Xiaomian Kang, and Jiajun Zhang. SkillAlign:对齐基于 LLM 的智能体的技能接口(Skillalign: Aligning skill interfaces for llm-based agents). arXiv 预印本 arXiv:2609.07255, 2026.
- Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Eric Hambro, Luke Zettlemoyer, Nicola Cancedda, and Thomas Scialom. Toolformer:语言模型可以自学使用工具(Toolformer: Language models can teach themselves to use tools). 《神经信息处理系统进展》(Advances in neural information processing systems), 36:68539–68551, 2023.
- Biswa Sengupta and Jinhua Wang. HARBOR:自动化 Harness 优化(Harbor: Automated harness optimization). arXiv 预印本 arXiv:2604.20938, 2026.
- Theodore R Sumers, Shunyu Yao, Karthik Narasimhan, and Thomas L Griffiths. 语言智能体的认知架构(Cognitive architectures for language agents). arXiv 预印本 arXiv:2309.02427, 2023.
- Lei Wang, Chen Ma, Xueyang Feng, Zeyu Zhang, Hao Yang, Jingsen Zhang, Zhiyuan Chen, Jiakai Tang, Xu Chen, Yankai Lin, et al. 基于大语言模型的自主智能体综述(A survey on large language model based autonomous agents). 《计算机科学前沿》(Frontiers of computer science), 18(6):186345, 2024.
- Peidong Wang, Zhiming Ma, Ying Chang, Xufang Luo, Xiaocui Yang, Shi Feng, Yuqing Yang, and Dongsheng Li. 经由技能–Harness 演化的自演化具身智能体(Self-evolving embodied agents via skill-harness evolution). arXiv 预印本 arXiv:2608.11350, 2026a.
- Xingyao Wang, Boxuan Li, Yufan Song, Frank F Xu, Xiangru Tang, Mingchen Zhuge, Jiayi Pan, Yueqi Song, Bowen Li, Jaskirat Singh, et al. OpenHands:面向通用型智能体的 AI 软件开发者开放平台(Openhands: An open platform for ai software developers as generalist agents). 载于学习表征国际会议(International Conference on Learning Representations), volume 2025, pp. 65882–65919, 2025.
- Yike Wang, Huaisheng Zhu, Zhengyu Hu, Yige Yuan, Zhengyu Chen, Shakti Senthil, Hannaneh Hajishirzi, Yulia Tsvetkov, Pradeep Dasigi, and Teng Xiao. 重新思考智能体 Harness 演化的评测(Rethinking the evaluation of harness evolution for agents). 载于 COLM 2026 第二届终身智能体研讨会:学习、对齐与演化(COLM 2026 The 2nd Workshop on Lifelong Agents: Learning, Aligning, and Evolving), 2026b.
- Tianxin Wei, Ting-Wei Li, Zhining Liu, Xuying Ning, Ze Yang, Jiaru Zou, Zhichen Zeng, Ruizhong Qiu, Xiao Lin, Dongqi Fu, et al. 大语言模型的智能体式推理(Agentic reasoning for large language models). arXiv 预印本 arXiv:2601.12538, 2026.
- Qingyun Wu, Gagan Bansal, Jieyu Zhang, Yiran Wu, Beibin Li, Erkang Zhu, Li Jiang, Xiaoyun Zhang, Shaokun Zhang, Jiale Liu, et al. AutoGen:通过多智能体对话实现下一代 LLM 应用(Autogen: Enabling next-gen llm applications via multi-agent conversation). arXiv 预印本 arXiv:2308.08155, 2023.
- Tianyuan Wu, Chaokun Chang, Lunxi Cao, Wei Gao, and Wei Wang. Crab:面向智能体沙箱的、具备语义感知的检查点/恢复运行时(Crab: A semantics-aware checkpoint/restore runtime for agent sandboxes). arXiv 预印本 arXiv:2604.28138, 2026.
- John Yang, Carlos Jimenez, Alexander Wettig, Kilian Lieret, Shunyu Yao, Karthik Narasimhan, and Ofir Press. SWE-agent:智能体–计算机接口使自动化软件工程成为可能(Swe-agent: Agent-computer interfaces enable automated software engineering). 《神经信息处理系统进展》(Advances in Neural Information Processing Systems), 37:50528–50652, 2024.
- Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, and Yuan Cao. ReAct:在语言模型中协同推理与行动(React: Synergizing reasoning and acting in language models). arXiv 预印本 arXiv:2210.03629, 2022.
- Yilun Yao, Xinyu Tan, Chao-Hsuan Liu, Yaoming Li, Zhengyang Wang, Wenhan Yu, Zhewen Tan, Yuxuan Tian, Guangxiang Zhao, Lin Sun, et al. Harness-Bench:在真实智能体工作流中跨模型度量 Harness 效应(Harness-bench: Measuring harness effects across models in realistic agent workflows). arXiv 预印本 arXiv:2605.27922, 2026.
- Rui Ye, Zhongwang Zhang, Kuan Li, Huifeng Yin, Zhengwei Tao, Yida Zhao, Liangcai Su, Liwen Zhang, Zile Qiao, Xinyu Wang, et al. AgentFold:具有主动上下文管理的长程网页智能体(Agentfold: Long-horizon web agents with proactive context management). arXiv 预印本 arXiv:2510.24699, 2025.
- Qizheng Zhang, Changran Hu, Shubhangi Upasani, Boyuan Ma, Fenglu Hong, Vamsidhar Kamanuru, Jay Rainton, Chen Wu, Mengmeng Ji, Hanchen Li, et al. 智能体式上下文工程:为自我改进的语言模型演化上下文(Agentic context engineering: Evolving contexts for self-improving language models). 载于学习表征国际会议(International Conference on Learning Representations), volume 2026, pp. 86069–86100, 2026.
- Shaokun Zhang, Ming Yin, Jieyu Zhang, Jiale Liu, Zhiguang Han, Jingyang Zhang, Beibin Li, Chi Wang, Huazheng Wang, Yiran Chen, et al. 哪个智能体导致任务失败,以及发生在何时?论 LLM 多智能体系统的自动化失败归因(Which agent causes task failures and when? on automated failure attribution of llm multi-agent systems). arXiv 预印本 arXiv:2505.00212, 2025.
- Hailin Zhong and Shengxin Zhu. AI Harness 工程:面向基础模型软件智能体的运行时基底(Ai harness engineering: A runtime substrate for foundation-model software agents). arXiv 预印本 arXiv:2605.13357, 2026.
译注:参考文献逐条对应原文,没有省略。
第1条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第2条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第3条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第4条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第5条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第6条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第7条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第8条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第9条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第10条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第11条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第12条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第13条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第14条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第15条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第16条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第17条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第18条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第19条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第20条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第21条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第22条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第23条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第24条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第25条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第26条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第27条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第28条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第29条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第30条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第31条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第32条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第33条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第34条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第35条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第36条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第37条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
第38条文献的作者姓名、年份、页码与 arXiv 或会议标识均按原文保留,题名与出处已译成中文,不与相邻条目合并。
Found it useful? Pass it on
Scan with WeChat to open it on your phone and forward it.