当智能体失败时：参考文献与附录对照

当智能体失败时：参考文献与附录对照

这篇是《当智能体失败时：模型还是支架，谁该负责？》的参考文献和附录 A 到 C。前半（到第 7 节）在 https://openqa.cn/articles/model-or-harness-blame-zh 。这里保留评分定义、配置和跨基准对照表。

参考文献

• Anomaly (2026) Anomaly OpenCode: intro。说明：软件文档，更新于 2026 年 9 月 24 日；访问于 2026-09-25。外部链接：Link。引用于：§5.2。
• Chen et al. (2026) J. Chen, S. Chen, H. Zhu, J. Cao, J. Shen, and S. Cheung Understanding agent-reactive bugs at the model–harness boundary: an empirical study of LLM agent issue reports。外部链接：2607.15684，Document，Link。引用于：§1。
• Chowdhury et al. (2024) N. Chowdhury, J. Aung, J. S. Chan, O. Jaffe, D. Sherburn, G. Starace, E. Mays, R. Dias, M. Aljubeh, M. Glaese, C. E. Jimenez, J. Yang, L. Ho, T. Patwardhan, K. Liu, and A. Madry Introducing SWE-bench verified。说明：OpenAI，更新于 2025 年 2 月 24 日。外部链接：Link。引用于：§1，表 1。
• Cronbach et al. (1972) L. J. Cronbach, G. C. Gleser, H. Nanda, and N. Rajaratnam The dependability of behavioral measurements: theory of generalizability for scores and profiles。Wiley，纽约。外部链接：ISBN 9780471188506。引用于：§3.3。
• de Macedo (2026) S. O. de Macedo What makes a harness a harness: necessary and sufficient conditions for an agent harness。外部链接：2606.10106，Document，Link。引用于：§3.1，§3.2。
• DeepSeek-AI (2026a) DeepSeek-AI DeepSeek Harness: everything is a plugin。说明：开源软件，访问于 2026-09-25。外部链接：Link。引用于：§5.2。
• DeepSeek-AI (2026b) DeepSeek-AI DeepSeek-V4-Flash model card。说明：Hugging Face 模型卡，访问于 2026-08-17。外部链接：Link。引用于：§5.2。
• DeepSeek-AI (2026c) DeepSeek-AI DeepSeek-V4-Pro GA Release。说明：官方模型公告，访问于 2026-08-18。外部链接：Link。引用于：§5.2。
• Dolan and Moré (2002) E. D. Dolan and J. J. Moré Benchmarking optimization software with performance profiles。Mathematical Programming 91 (2)，第 201–213 页。外部链接：Document，Link。引用于：§4。
• Earendil Inc. and Contributors (n.d.) Earendil Inc. and Contributors Pi: documentation。说明：软件文档，访问于 2026-09-25。外部链接：Link。引用于：§5.2。
• Fan et al. (2023) Z. Fan, N. Peng, M. Tian, and B. Fain Welfare and fairness in multi-objective reinforcement learning。载于 Proceedings of the 22nd International Conference on Autonomous Agents and Multiagent Systems，英国伦敦，第 1991–1999 页。外部链接：Link。引用于：§4。
• Fisher (1935) R. A. Fisher The design of experiments。Oliver and Boyd，爱丁堡。引用于：§3.3。
• Fu et al. (2026) L. Fu, X. Ding, L. Pan, Y. Zhu, S. Zhang, L. Qiu, X. Cao, X. Cai, J. Ding, W. Liu, W. Zhang, and Y. Yu CATArena: evaluating evolutionary capabilities of code agents via iterative tournaments。载于 Proceedings of the 43rd International Conference on Machine Learning。外部链接：Link。引用于：§2。
• Guo et al. (2026) J. Guo, Z. Hao, C. Wang, C. Fan, T. Luo, H. Li, Y. Gao, H. Mei, J. Peng, R. Xu, M. Dong, H. Wu, M. Zheng, K. Han, S. Wang, C. Xu, and Y. Wang From question answering to task completion: a survey on agent system and harness design。外部链接：2606.20683，Document，Link。引用于：§1，§3.1，§3.2。
• He et al. (2026) W. He, Y. Sun, H. Hao, X. Hao, Z. Xia, Q. Gu, H. Su, and X. Cai VitaBench: benchmarking LLM agents with versatile interactive tasks in real-world applications。载于 International Conference on Learning Representations，第 91654–91681 页。外部链接：Link。引用于：§1，表 1。
• Holland (1986) P. W. Holland Statistics and causal inference。Journal of the American Statistical Association 81 (396)，第 945–960 页。外部链接：Document，Link。引用于：§3.3。
• Hu et al. (2025) S. Hu, C. Lu, and J. Clune Automated design of agentic systems。载于 International Conference on Learning Representations，第 21344–21377 页。外部链接：Link。引用于：§2。
• Jimenez et al. (2024) C. E. Jimenez, J. Yang, A. Wettig, S. Yao, K. Pei, O. Press, and K. Narasimhan SWE-bench: can language models resolve real-world GitHub issues?。载于 The Twelfth International Conference on Learning Representations，第 54107–54157 页。外部链接：Link。引用于：§1，表 1。
• Kaelbling et al. (1998) L. P. Kaelbling, M. L. Littman, and A. R. Cassandra Planning and acting in partially observable stochastic domains。Artificial Intelligence 101 (1–2)，第 99–134 页。外部链接：Document，Link。引用于：§3.2。
• Kwa et al. (2025) T. Kwa, B. West, J. Becker, A. Deng, K. Garcia, M. Hasin, S. Jawhar, M. Kinniment, N. Rush, S. Von Arx, R. Bloom, T. Broadley, H. Du, B. Goodrich, N. Jurkovic, L. Miles, S. Nix, T. Lin, N. Parikh, D. Rein, L. J. Koba Sato, H. Wijk, D. Ziegler, E. Barnes, and L. Chan Measuring AI ability to complete long software tasks。载于 Advances in Neural Information Processing Systems，第 38 卷，第 92213–92266 页。外部链接：Document，Link。引用于：§1。
• LangChain (n.d.) LangChain Deep Agents overview。说明：软件文档，访问于 2026-09-25。外部链接：Link。引用于：§5.2。
• Lee et al. (2026) Y. Lee, R. Nair, Q. Zhang, K. Lee, O. Khattab, and C. Finn Meta-Harness: end-to-end optimization of model harnesses。外部链接：2603.28052，Document，Link。引用于：§1，§2。
• Li et al. (2026) H. Li, C. Mu, J. Chen, S. Ren, Z. Cui, Y. Zhang, L. Bai, and S. Hu Organizing, orchestrating, and benchmarking agent skills at ecosystem scale。外部链接：2603.02176，Document，Link。引用于：§1，表 1。
• Lin et al. (2026) J. Lin, S. Liu, C. Pan, L. Lin, S. Dou, Z. Xi, X. Huang, H. Yan, Z. Han, T. Gui, and Y. Jiang Agentic harness engineering: observability-driven automatic evolution of coding-agent harnesses。外部链接：2604.25850，Document，Link。引用于：§2。
• Liu et al. (2024) X. Liu, H. Yu, H. Zhang, Y. Xu, X. Lei, H. Lai, Y. Gu, H. Ding, K. Men, K. Yang, S. Zhang, X. Deng, A. Zeng, Z. Du, C. Zhang, S. Shen, T. Zhang, Y. Su, H. Sun, M. Huang, Y. Dong, and J. Tang AgentBench: evaluating LLMs as agents。载于 International Conference on Learning Representations，第 52989–53046 页。外部链接：Link。引用于：§2。
• Lou et al. (2026) X. Lou, M. Lázaro-Gredilla, A. Dedieu, C. Wendelken, W. Lehrach, and K. P. Murphy AutoHarness: improving LLM agents by automatically synthesizing a code harness。说明：ICLR 2026 Workshop on Recursive Self-Improvement，海报。外部链接：2603.03329，Document，Link。引用于：§1，§2。
• Ma et al. (2024) C. Ma, J. Zhang, Z. Zhu, C. Yang, Y. Yang, Y. Jin, Z. Lan, L. Kong, and J. He AgentBoard: an analytical evaluation board of multi-turn LLM agents。载于 Advances in Neural Information Processing Systems，第 37 卷，第 74325–74362 页。外部链接：Document，Link。引用于：§1，§2。
• Meng et al. (2026) F. Meng, L. Du, Z. Wu, G. Chen, X. Liu, J. Liao, C. Jiang, Z. Wan, J. Gu, P. Zhou, R. Huang, Z. Zhao, S. Ding, A. Yu, B. Peng, B. Xia, H. Sun, H. Liang, J. Xie, J. Chen, J. Song, L. Yang, M. Xu, Q. Qiu, R. Fu, S. Zhai, S. Wang, T. Ma, T. Wu, W. Jin, Y. Wang, Y. Dai, Y. Lai, Y. Shu, Y. Liu, Y. Hao, Y. Niu, J. Huang, J. Zhuo, Z. Shen, L. Wu, H. Yao, C. Chen, C. Xie, Y. Zhou, J. Zhang, Z. Zheng, M. Hu, and M. Q. Shieh ClawMark: a living-world benchmark for multi-turn, multi-day, multimodal coworker agents。外部链接：2604.23781，Document，Link。引用于：§1，表 1。
• Merrill et al. (2026) M. Merrill, A. Shaw, N. Carlini, B. Li, H. Raj, I. Bercovich, L. Shi, J. Shin, T. Walshe, E. K. Buchanan, J. Shen, G. Ye, H. Lin, J. Poulos, M. Wang, M. Nezhurina, D. Lu, O. Menis Mastromichalakis, Z. Xu, Z. Chen, Y. Liu, R. Zhang, L. L. Chen, A. Kashyap, J. Uslu, J. Li, J. Wu, M. Yan, S. Bian, V. Sharma, K. Sun, S. Dillmann, A. Anand, A. Lanpouthakoun, B. Koopah, C. Hu, E. Guha, G. Dreiman, J. Zhu, K. Krauth, L. Zhong, N. Muennighoff, R. Amanfu, S. Tan, S. Pimpalgaonkar, T. Aggarwal, X. Lin, X. Lan, X. Zhao, Y. Liang, Y. Wang, Z. (. Wang, C. Zhou, D. Heineman, H. Liu, H. Trivedi, J. Yang, J. Lin, M. Shetty, M. Yang, N. Omi, N. Raoof, S. Li, T. Y. Zhuo, W. Lin, Y. Dai, Y. Wang, W. Chai, S. Zhou, D. Wahdany, Z. She, J. Hu, Z. Dong, Y. Zhu, S. Cui, A. Saiyed, A. Kolbeinsson, C. Rytting, R. Marten, Y. Wang, J. Jitsev, A. Dimakis, A. Konwinski, and L. Schmidt Terminal-Bench: benchmarking agents on hard, realistic tasks in command line interfaces。载于 International Conference on Learning Representations，第 40903–40986 页。外部链接：Link。引用于：§1，表 1。
• Messick (1995) S. Messick Validity of psychological assessment: validation of inferences from persons’ responses and performances as scientific inquiry into score meaning。American Psychologist 50 (9)，第 741–749 页。外部链接：Document，Link。引用于：§1，§3。
• Mialon et al. (2024) G. Mialon, C. Fourrier, T. Wolf, Y. LeCun, and T. Scialom GAIA: a benchmark for general AI assistants。载于 International Conference on Learning Representations，第 9025–9049 页。外部链接：Link。引用于：§2。
• MiniMax (2026) MiniMax MiniMax M3 model card。说明：Hugging Face 模型卡，访问于 2026-08-17。外部链接：Link。引用于：§5.2。
• Moonshot AI (2026) Moonshot AI Kimi-K2.7-Code model card。说明：Hugging Face 模型卡，访问于 2026-08-17。外部链接：Link。引用于：§5.2。
• OpenAI (2025) OpenAI OpenAI Codex CLI。说明：开源软件，访问于 2026-08-17。外部链接：Link。引用于：§5.2。
• OpenAI (2026) OpenAI GPT-5.5。说明：模型文档，访问于 2026-08-18。外部链接：Link。引用于：§5.2。
• Qwen Team (2026) Qwen Team Qwen3.6-35B-A3B model card。说明：Hugging Face 模型卡，访问于 2026-08-17。外部链接：Link。引用于：§5.2。
• Song et al. (2026) H. Song, F. Bai, M. Yang, R. Li, J. Deng, J. He, Z. Zhang, D. Cheng, Y. Xing, Q. Yun, X. Chen, D. Li, F. Chang, C. Hao, R. Tao, J. Yang, B. Dai, W. X. Zhao, M. Tang, and J. Wen ClawGym II: exploring black-box RL on agent harness。外部链接：2608.16798，Document，Link。引用于：§6.5。
• Vats and Golev (2026) N. Vats and O. Golev The scaffold effect in coding agents: harness choice as a hidden variable in coding-agent evaluation。外部链接：2607.22585，Document，Link。引用于：§2。
• Wang et al. (2026a) H. Wang, M. Zhang, C. Yu, Y. Shang, X. Xie, X. Hu, G. Wang, and N. Zou A 2 ​ E A^{2}E : an end-to-end agent auditing engine。外部链接：2608.07346，Document，Link。引用于：§2。
• Wang et al. (2024) L. Wang, C. Ma, X. Feng, Z. Zhang, H. Yang, J. Zhang, Z. Chen, J. Tang, X. Chen, Y. Lin, W. X. Zhao, Z. Wei, and J. Wen A survey on large language model based autonomous agents。Frontiers of Computer Science 18 (6)，第 186345 页。外部链接：Document，Link。引用于：§1。
• Wang et al. (2025) X. Wang, B. Li, Y. Song, F. F. Xu, X. Tang, M. Zhuge, J. Pan, Y. Song, B. Li, J. Singh, H. Tran, F. Li, R. Ma, M. Zheng, B. Qian, D. Shao, N. Muennighoff, Y. Zhang, B. Hui, J. Lin, R. Brennan, H. Peng, H. Ji, and G. Neubig OpenHands: an open platform for AI software developers as generalist agents。载于 International Conference on Learning Representations，第 65882–65919 页。外部链接：Link。引用于：§2。
• Wang et al. (2026b) Y. Wang, H. Zhu, Z. Hu, Y. Yuan, Z. Chen, S. Senthil, H. Hajishirzi, Y. Tsvetkov, P. Dasigi, and T. Xiao Rethinking the evaluation of harness evolution for agents。外部链接：2607.12227，Document，Link。引用于：§2。
• Wei et al. (2026) H. Wei, X. Tu, Y. Wang, Z. Liu, R. Xue, J. Ren, X. Zhang, D. Zhao, and X. Fan HarnessBandit: joint learnability-transferability scheduling for multi-harness agentic reinforcement learning。外部链接：2609.13739，Document，Link。引用于：§6.5。
• Wooldridge and Jennings (1995) M. Wooldridge and N. R. Jennings Intelligent agents: theory and practice。The Knowledge Engineering Review 10 (2)，第 115–152 页。外部链接：Document，Link。引用于：§1。
• Xu et al. (2026a) B. Xu, H. Zhang, S. Zhang, S. Han, M. Liu, J. Hu, S. Diao, Z. Jin, Y. Zou, M. Demoret, J. Kautz, and Y. Dong Polar: agentic RL on any harness at scale。外部链接：2605.24220，Document，Link。引用于：§6.5。
• Xu et al. (2026b) T. Xu, H. Wen, and M. Li Adapting the interface, not the model: runtime harness adaptation for deterministic LLM agents。外部链接：2605.22166，Document，Link。引用于：§2。
• Yang et al. (2024) J. Yang, C. E. Jimenez, A. Wettig, K. Lieret, S. Yao, K. Narasimhan, and O. Press SWE-agent: agent-computer interfaces enable automated software engineering。载于 Advances in Neural Information Processing Systems，第 37 卷，第 50528–50652 页。外部链接：Document，Link。引用于：§1，§1，§2，§3.1。
• Yao et al. (2025) S. Yao, N. Shinn, P. Razavi, and K. Narasimhan τ \tau -bench: a benchmark for tool-agent-user interaction in real-world domains。载于 The Thirteenth International Conference on Learning Representations，第 9965–10017 页。外部链接：Link。引用于：§2。
• Yao et al. (2023) S. Yao, J. Zhao, D. Yu, N. Du, I. Shafran, K. Narasimhan, and Y. Cao ReAct: synergizing reasoning and acting in language models。载于 The Eleventh International Conference on Learning Representations。外部链接：Link。引用于：§1，§2，§3.1。
• Yao et al. (2026) Y. Yao, X. Tan, C. Liu, Y. Li, Z. Wang, W. Yu, Z. Tan, Y. Tian, G. Zhao, L. Sun, X. Zhang, and T. Yang Harness-Bench: measuring harness effects across models in realistic agent workflows。外部链接：2605.27922，Document，Link。引用于：§1，§1，§1，§2。
• Zeng et al. (2026) W. Zeng, Y. Huang, and J. He LOCA-bench: benchmarking language agents under controllable and extreme context growth。载于 Proceedings of the 43rd International Conference on Machine Learning。外部链接：Link。引用于：§1，表 1。
• Zhang et al. (2026a) H. Zhang, S. Zhang, K. Li, C. Zhang, Y. Chen, Y. Zhang, L. Bai, and S. Hu Self-Harness: harnesses that improve themselves。外部链接：2606.09498，Document，Link。引用于：§2，§2。
• Zhang et al. (2026b) J. Zhang, S. Hu, C. Lu, R. Lange, and J. Clune Darwin gödel machine: open-ended evolution of self-improving agents。载于 International Conference on Learning Representations，第 104223–104294 页。外部链接：Link。引用于：§2。
• Zhang et al. (2025a) J. Zhang, J. Xiang, Z. Yu, F. Teng, X. Chen, J. Chen, M. Zhuge, X. Cheng, S. Hong, J. Wang, B. Zheng, B. Liu, Y. Luo, and C. Wu AFlow: automating agentic workflow generation。载于 International Conference on Learning Representations，第 34040–34077 页。外部链接：Link。引用于：§2。
• Zhang et al. (2025b) S. Zhang, X. Wang, W. Zhang, C. Li, J. Song, T. Li, L. Qiu, X. Cao, X. Cai, W. Yao, W. Zhang, X. Wang, and Y. Wen Leveraging dual process theory in language agent framework for real-time simultaneous human-AI collaboration。载于 Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)，奥地利维也纳，第 4081–4108 页。外部链接：Document，Link。引用于：§1。
• Zhang et al. (2026c) X. Zhang, D. Wang, K. Xu, Q. Zhu, and W. Che Scaling laws for agent harnesses via effective feedback compute。外部链接：2605.29682，Document，Link。引用于：§2。
• Zheng et al. (2026) M. Zheng, K. Han, B. Li, H. Xu, Y. Tian, W. He, H. Zhou, J. Guo, H. Hu, L. Ma, C. Xu, G. Dai, L. Xia, Y. Wei, Y. Wang, and Y. Wang Claw-SWE-Bench: a benchmark for evaluating OpenClaw-style agent harnesses on coding tasks。外部链接：2606.12344，Document，Link。引用于：§2。
• Zhu et al. (2026) P. Zhu, L. Li, Y. Lyu, Q. Luo, J. Yang, Y. Liu, T. Hui, X. Yuan, L. Sun, S. Su, and J. Shao UniACE: a unified framework for evaluating LLM agentic capabilities。外部链接：2605.27898，Document，Link。引用于：§1，§1。
• Zhuge et al. (2024) M. Zhuge, W. Wang, L. Kirsch, F. Faccio, D. Khizbullin, and J. Schmidhuber GPTSwarm: language agents as optimizable graphs。载于 Proceedings of the 41st International Conference on Machine Learning，Proceedings of Machine Learning Research，第 235 卷，第 62743–62767 页。外部链接：Link。引用于：§2。

附录 A 实验配置细节

每个模型–支架配置对每项任务安排四次重复，另有说明者除外。每个支架保留其原生提示与内部智能体策略，并针对无人值守执行做兼容性改动。本附录记录模型服务、执行配置，以及各基准特定的评测器映射。

A.1 模型服务与软件版本

DeepSeek V4 Flash Preview 通过其官方 API 评测。MiniMax M3、Kimi K2.7 与 DeepSeek V4 Pro 0813 在单节点、八块 NVIDIA H200 GPU 上使用 SGLang 本地服务。四个交叉支架使用 DeepAgents Code 0.1.3、OpenCode v1.15.6、Pi CLI 0.79.3 与 Codex CLI。DeepSeek V4 Pro 0813 固定参照使用 DeepSeek 支架 SDK 0.1.0rc6。GPT-5.5 xhigh–Codex CLI 固定参照通过官方 Codex 订阅运行。

A.2 执行与基准配置

##### 执行环境与记录。

各次运行使用全新的任务范围沙箱，不提升权限，并与评测器内部、共享实验存储及其他运行隔离；受保护凭据与资源控制保持在外部。适配器以统一格式记录最终提交或环境状态、轨迹、资源使用与终止状态。

##### SWE-bench-45。

SWE-bench Verified 根据有经验的开发者识别并实现解决方案预计所需时间，为每项任务标注人工难度标签。我们纳入估计时间至少为一小时的全部任务，得到 500 项已验证任务中的 45 项：42 项标注为 1–4 小时，3 项标注为 >4 小时。所选任务覆盖八个 Python 仓库，其中 22 项来自 Django，7 项来自 SymPy，5 项来自 Sphinx，其余五个仓库共 11 项。该子集包含所有已发布难度估计至少为一小时的任务；“长”表示估计的人工完成时间。

每次运行从官方容器化环境中规定的基线提交开始，并接收原始 GitHub 议题描述。我们保留任务特定的回归测试，并对最终仓库状态应用官方验证器。所有支架通过同一适配器在相同任务镜像上运行。

##### Terminal-Bench 2。

我们通过 Harbor 执行全部 89 项任务，同时保留其原始任务定义、容器化环境、验证脚本以及每项任务的时间限制。每个配置从相同任务环境开始，并由同一任务特定验证器评估。

全部 16 个核心配置对 89 项任务各包含四条不同轨迹；两个固定系统参照使用相同的 $89\times 4$ 支撑。

##### VitaBench。

我们使用四个环境共 400 项任务的英文任务变体（每个环境 100 项），涵盖多轮服务、领域特定 API 与跨领域请求。每项任务重复四次，使每个环境、每个模型–支架配置有 400 次尝试。一条轨迹限制为 300 个交互步骤。我们报告严格工具权限设定：在适用处禁用支架原生工具以及外部文件系统、shell、浏览与委派能力，因此智能体只能通过 VitaBench 业务 API 影响模拟环境。DeepSeek-V3.2 同时充当用户模拟器与轨迹评测器。模拟器通过多轮交互揭示任务约束，评测器应用第 A.3 节中的二元成功准则。

##### LOCA-Bench。

我们在 256K 上下文设定下评测全部 75 项任务，考察长上下文状态跟踪与多工具规划。每项任务指定初始应用状态以及须通过可用工具达到的确切目标状态；官方评测器将最终状态与该目标比较。

##### ClawMark。

我们评测 13 个职业场景中的 100 项任务，涵盖多日工作活动、静默状态变化与多模态输入。我们对每一轮、每一个模型–支架配置施加统一的 30 分钟执行时限。当某一轮达到该时限时，我们终止智能体，评估截至该点产生的服务状态，并将任务推进到下一个世界内工作日。这保留了基准的连续工作流，同时对每个配置施加相同的每轮预算。

##### AgentSkillOS。

我们评测五个产物类别中的 30 项任务，要求技能选择、产物生成与输出契约交接。我们保留原始任务提示。所测上下文预算容纳已发布的 200 技能主设定，以及包含全部 19 项任务所需技能和从已发布技能池抽取的 881 个干扰项的 900 技能压力设定。每项任务有 3,600 秒墙钟时限。流式支架在支持处额外使用 900 秒空闲超时防护以及该支架的重试策略。生成的产物用官方 AgentSkillOS 评测器打分。

A.3 基准特定评测指标

本节说明如何将每个基准的官方评测器输出转换为任务级分数。四次最优与压力条件结果为次要分析。

##### 运行有效性状态映射。

对于 SWE-bench-45，正常终止条件是被识别的正常停止（Submitted、NoPatch，或成功的退出码为零完成），有效交接条件要求评测器在其应用阶段接受补丁。对于 Terminal-Bench 2，正常终止要求干净返回且无超时或未处理的框架失败，有效交接要求运行后验证器产生可消费的结果。对于 LOCA-Bench，正常终止要求 status=success；有效交接要求有限的最终状态评测器结果，包括在随后异常后端退出之前产生的结果。对于 ClawMark，正常终止要求 status=ok、返回码为零且无记录的框架失败；有效交接要求有限的官方分数。对于 AgentSkillOS，正常终止要求任务运行器记录 status=completed；有效交接要求新复制的生成文件，其路径匹配或嵌套于至少一个任务声明的预期输出路径之下。不要求任务正确性。对于 VitaBench，正常终止要求 termination_reason=agent_stop，有效交接要求有限的评测器奖励。在每个基准中，正确性影响官方任务结果，但从不构成有效交接条件的一部分。

##### 共享二元聚合。

SWE-bench-45、Terminal-Bench 2 与 LOCA-Bench 具有二元的运行级结果。对其中任一基准，令 $N$ 为其任务数，令 $a_{i,r}\in\{0,1\}$ 表示任务 $i$ 在重复 $r\in\{1,2,3,4\}$ 上是否成功。我们报告

四次最优是四次尝试中至少成功一次的任务比例，而四次均值是均匀抽取的一次运行的成功概率。

##### SWE-bench-45。

每次运行从该任务规定的仓库状态开始，并用官方任务特定回归测试评测。仅当提交的补丁修复了指定的失败测试、且未破坏先前通过的测试时，我们令 $a_{i,r}=1$。上述共享二元聚合以 $N=45$ 应用。

##### Terminal-Bench 2。

官方任务特定验证器评测所得环境状态，仅当运行获得满分时才算成功。我们以 $N=89$ 应用共享二元聚合。

##### LOCA-Bench。

最终状态评测器在所得应用状态与任务的确切目标状态匹配时返回一，否则返回零。我们以 $N=75$ 应用共享二元聚合。即使后端随后记录异常退出，正确的评测器结果仍为官方任务成功；此类运行不是干净运行，因为它未通过正常终止关口。

##### VitaBench。

VitaBench 度量完整任务成功而非部分进展。其滑动窗口轨迹评测器对预期状态与总体量规去重，并在重叠的 10 轮窗口（两轮重叠）之间延续其满足状态。对于轨迹 $i$，令 $\mathcal{Q}_{i}$ 为所得量规集合。其二元奖励为 $R_{i}=\mathbb{1}[\bigwedge_{q\in\mathcal{Q}_{i}}q]$：仅当每条量规都满足时，该运行才得一分。

对于每个环境 $d$，我们在四次试验中评测 $N_{d}=100$ 项任务。令 $a_{d,j,r}\in\{0,1\}$ 表示试验 $r$ 中任务 $j$ 的二元奖励。我们报告

对任一指标 $M$，其 Total 是 Delivery、In-store、OTA 与 Cross-domain 上的未加权宏平均，$M_{\mathrm{Total}}=\frac{1}{4}\sum_{d\in\mathcal{D}}M_{d}$。

##### ClawMark。

每项任务有由确定性 Python 函数实现的加权量规，这些函数检查沙箱服务的所得状态。任务分数是各量规项上按权重归一化的得分，位于 $[0,1]$。对每项任务，四次最优是四次运行中的最大连续分数，四次均值是它们的平均。然后我们将这两个任务级量在全部 100 项任务上取平均，并乘以 100，以 0–100 量表报告分数。与二元基准不同，ClawMark 的四次最优保留完全成功之下的部分得分差异。

##### AgentSkillOS。

任务分数是官方 AgentSkillOS 评测器在其原生 0–100 量表上的分数。我们在相同 30 项任务的四次重复上对其取平均。跨基准主结果使用 skill_200 条件；900 技能条件作为压力测试报告。执行状态仅用于运行有效性，不用于任务分数。

A.4 计分与聚合细节

##### 分数量表与平均。

主结果是四次重复上的平均官方任务分数：SWE-bench-45、Terminal-Bench 2、VitaBench 与 LOCA-Bench 为二元成功，ClawMark 与 AgentSkillOS 为连续得分。VitaBench 对其四个环境等权；AgentSkillOS 使用 200 技能主条件。所有计划尝试都进入平均，基准与模型等权。在形成 $US$ 之前，AgentSkillOS 分数除以 100；其他基准保留其原生 0–1 量表。四次最优与 900 技能压力条件为次要分析。基准特定的报告量表在第 A.3 节规定。

##### 胜率聚合。

结果胜率与有效完成率胜率分别使用未舍入的主结果与有效完成率。两项指标都把 $w_{h,h^{\prime}}$ 在对手与所含基准上等权平均，再转换为百分比；平局计半分。跨模型均值使用平衡面板。原始分数使用基准特定量表，而胜率概括成对排序。

##### 契合归一化与边界情形。

若 $J^{\star}_{m,b}=0$，该块中所有比率都置为零。本研究中的全部归一化参照在点估计与自助法重复中均为正。

契合在模型–基准块内对正的分数重缩放不变；在其他支架固定时，其自身联合分数提高不会使契合下降。改变候选面板会改变其最佳分数参照。跨模型几何均值至多等于算术均值，当所有模型特定契合相等时取等；任一契合为零则使该指数为零。

##### 联合分数分解。

当有效完成率为零时，有效完成之内的条件均值无定义，而 $J$ 仍为零。第 6.2.1 节与第 7 节中的两项贡献都除以全部计划尝试，而不是干净或非干净组的计数。任一组为空时，组内条件均值无定义。表 5 中的联合分数与官方分数也以计划尝试为分母。

##### 诊断聚合。

对于交互残差，在每个基准内做相同的中心化，得到等权均值等于公式 4 中聚合残差的残差。图 8 中的执行阶段汇总是宏平均：面板 (a) 中每个支架六个基准，面板 (b) 中每个基准四个支架。支架汇总对基准等权。

##### 契合变体与留出选择。

仅结果变体用 $S$ 替换 $US$，保留归一化与几何聚合；算术变体替换几何均值，同时保留联合分数与归一化。所有基准与模型等权。对于表 6，参照分数与聚合在保留面板上重新计算；排名使用未舍入估计。在留一模型诊断中，结果胜率与有效完成率胜率对模型条件化比率取平均；仅结果契合与联合契合使用几何聚合。

##### 相对词元负载。

相对负载是匹配的模型–基准块内、块内归一化词元负载的几何均值。

附录 B 跨基准比较表

B.1 结果胜率

表 9 报告第 6.1 节所概括的精确结果胜率。

表 9：六基准结果胜率（%；表 2）。列：模型条件化比率、跨模型汇集的两两对比比率，以及三模型均值。DA/OC：DeepAgents/OpenCode；平局计半分。比率报告在指定配置比较上计及平局的胜出。

B.2 模型条件化的有效完成

表 10 报告第 6.1 节所概括的精确有效完成率胜率与平均有效完成率。

表 10：六基准模型条件化有效完成率胜率与平均有效完成率（%）。有效完成率胜率使用计及平局的比较；平均有效完成率对基准等权。加粗/下划线：每一列内最佳/次佳支架。

B.3 固定系统参照

固定参照提供完整系统基线，而交叉指数比较析因模型–支架面板。GPT-5.5–Codex 参照覆盖全部六个基准；DeepSeek V4 Pro 0813–DeepSeek 支架在 SWE-bench-45、Terminal-Bench 2、VitaBench 与 LOCA-Bench 上使用其标准预设。二者都使用核心面板的任务集、重复次数、外部控制与评测器，包括 VitaBench 上的严格工具权限。

GPT-5.5–Codex 在六个基准上赢得大多数匹配的结果比较，但并非在每个基准的结果或有效完成率上都领先。DeepSeek V4 Pro 0813–DeepSeek 支架在 SWE-bench-45、Terminal-Bench 2 与 VitaBench 的四次均值上超过全部 16 个核心配置，但在 LOCA-Bench 上落后于 MiniMax–Codex。完整系统排名在结果与有效完成两方面都因基准而异。表 11 报告完整比较。

固定参照表明，即使对原生系统，结果与运行有效性仍然分离。GPT-5.5–Codex 在 VitaBench 上完全干净，但结果并不领先。在 Terminal-Bench 2 上，它在结果上领先每一个核心配置，但仍有超过四分之一的尝试不干净；在 ClawMark 上，它在结果上领先，但干净程度低于五个核心配置。DeepSeek V4 Pro 0813–DeepSeek 支架在每一次 SWE 尝试上都干净，但仍有 53 次未解决。在 Terminal-Bench 2 上，它同样在结果上领先每一个核心配置，但其有效完成率落后于其中大多数，因为超过三分之一的运行异常终止。在 VitaBench 上，它在结果上领先每一个核心配置，同时保持完全干净。在 LOCA-Bench 上，其有效完成率与四次均值都落后于 MiniMax–Codex。原生参照呈现出因基准而异的结果与有效完成剖面。

表 11 在精确匹配的任务支撑上将每个固定参照与全套核心配置比较。对于结果或有效完成率 $z$，固定参照胜率为

其中 $\mathcal{C}_{b}$ 是已评测核心配置的集合，平局计半分。联合帕累托占优要求参照在结果与有效完成率上都不更差，且至少在其中一项上严格更好。每个基准等权。这些量把每个完整系统相对于已评测面板定位。

表 11：固定参照与已评测核心配置在匹配任务上的比较。结果：四次均值（ClawMark 为连续）或 AgentSkillOS 任务分数。W/T/L：配置级胜/平/负；WR：计及平局的参照胜率；联合：在结果与有效完成率两方面都被帕累托占优的配置百分比。汇总对基准等权：GPT-5.5–Codex 为六个；DeepSeek 支架为 SWE-bench-45、Terminal-Bench 2、VitaBench 与 LOCA-Bench。

在 SWE-bench-45 上，DeepSeek V4 Pro 0813–DeepSeek 支架的四次均值比 GPT-5.5–Codex 高五个点，但配对的任务聚类自助法区间包含零。在 VitaBench 上，它相对 GPT-5.5–Codex 的 7.56 点优势的 95% 区间为 $[4.19,10.94]$，而两个系统的有效完成率均为 100%。因此结果差异在有效完成率饱和之后仍然存在。在 SWE-bench-45 上，两个系统还保留互补的任务覆盖：DeepSeek 支架独有地解决四项任务，GPT-5.5–Codex 独有地解决三项。

LOCA-Bench 提供了相反的原生系统结果。在该基准上，DeepSeek 支架在四次均值与有效完成率上都落后于 GPT-5.5–Codex 与 MiniMax–Codex。这些原生配对为因基准而异的结果与有效完成比较提供固定参照。

附录 C 有效完成率汇总与敏感性

为补充均值汇总，我们报告有效完成率的 type-7 第 25 百分位数与最小值。我们还通过在基准–支架块内比较模型，得到模型侧有效完成率胜率。

type-7 下四分位数在固定评测面板中于相邻观测之间插值。作为一种离散敏感性，我们改为取最近秩经验四分位数——第 $\lceil 0.25n\rceil$ 个有序观测。这一改变保留两种排序：OpenCode 仍是领先支架，Qwen 仍是领先模型（表 12）。我们保留 type-7 统计量作为插值下四分位数汇总，并报告观测最小值以代表最差配置的有效完成率。

表 12：有效完成率的最近秩下四分位数（%）。支架与模型排序与 type-7 汇总一致。

出处：Shao Zhang, Hangfan Zhang, Yuanyuan Shi, Hao Li, Min-Le Su, Kangcong Li, Jingping Wang, Chunjiang Mu, Chen Zhang, Yang Chen, Bo Zhang, Shuyue Hu，When Agents Fail: Model or Harness—Who’s to Blame?，2026-10-23，https://arxiv.org/abs/2610.32483，CC BY 4.0。