EvalBuilder：大语言模型能否自己构造高效基准（续）

EvalBuilder：大语言模型能否构造高效基准？（续）

译注：本文是《EvalBuilder：大语言模型能否构造高效基准？》的参考文献与附录 A–D，原文同一篇，不另开主题。

参考文献

• Anthropic（2026）。Anthropic。《Claude opus 4.7 system card》。注：Anthropic。访问日期 2026-09-09。外部链接：Link。被引用于：§5.1、§5.1。
• Barres 等人（2025）。V. Barres、H. Dong、S. Ray、X. Si 与 K. Narasimhan。《\(\tau^{2}\)-Bench: evaluating conversational agents in a dual-control environment》。arXiv preprint arXiv:2506.07982。被引用于：§1。
• Chan 等人（2025）。J. S. Chan、N. Chowdhury、O. Jaffe、J. Aung、D. Sherburn、E. Mays、G. Starace、K. Liu、L. Maksin、T. Patwardhan 等人。《Mle-bench: evaluating machine learning agents on machine learning engineering》。载于 International Conference on Learning Representations，第 2025 卷，第 50466–50494 页。被引用于：§1。
• Chen 等人（2026）。Z. Chen、T. Xiao、H. Zhu、Y. Yuan、L. Zhang 与 J. Wang。《Co-harness: co-evolving harnesses and model weights for llm agents》。arXiv preprint arXiv:2607.22688。被引用于：§2。
• Fei 等人（2026）。Y. Fei、N. Liu、X. Yu、S. Chen、L. Li、R. Thapa、M. Ciobanu、Q. Mao 与 R. Das。《How do agents fail on autoresearch: end-to-end diagnostic evaluation on 100 real-world frontier research tasks》。arXiv preprint arXiv:2608.14905。被引用于：§1、§2。
• Google（2026）。Google。《Gemini api models》。注：Google AI for Developers。访问日期 2026-09-09。外部链接：Link。被引用于：§5.1。
• Huang 等人（2023）。Q. Huang、J. Vora、P. Liang 与 J. Leskovec。《Mlagentbench: evaluating language agents on machine learning experimentation》。arXiv preprint arXiv:2310.03302。被引用于：§2。
• Jimenez 等人（2023）。C. E. Jimenez、J. Yang、A. Wettig、S. Yao、K. Pei、O. Press 与 K. Narasimhan。《Swe-bench: can language models resolve real-world github issues?》，2024。URL https://arxiv.org/abs/2310.06770。被引用于：§1。
• Jimenez 等人（2024）。C. E. Jimenez、J. Yang、A. Wettig、S. Yao、K. Pei、O. Press 与 K. Narasimhan。《Swe-bench: can language models resolve real-world github issues?》。载于 International Conference on Learning Representations，第 2024 卷，第 54107–54157 页。被引用于：§2、§5.1。
• Karpathy（2026）。A. Karpathy。《Autoresearch: ai agents running research on single-gpu llm training automatically》。注：https://github.com/karpathy/autoresearch。GitHub 仓库。被引用于：§2。
• Kimi Team（2026）。Kimi Team。《Kimi k2.5: visual agentic intelligence》。arXiv preprint arXiv:2602.02276。外部链接：Link。被引用于：§5.1。
• Kipnis 等人。A. Kipnis、K. Voudouris、L. M. S. Buschoff 与 E. Schulz。《Metabench–a sparse benchmark of reasoning and knowledge in large language models》，2025。URL https://arxiv.org/abs/2407.12844。被引用于：§2。
• Kulikov 等人（2026）。I. Kulikov、C. Whitehouse、T. Wu、Y. Nie、S. Saha、E. Helenowski、W. Yuan、O. Golovneva、J. Lanchantin、Y. Bachrach 等人。《Autodata: an agentic data scientist to create high quality synthetic data》。arXiv preprint arXiv:2606.25996。被引用于：§2。
• Lee 等人（2026）。Y. Lee、R. Nair、Q. Zhang、K. Lee、O. Khattab 与 C. Finn。《Meta-harness: end-to-end optimization of model harnesses》。arXiv preprint arXiv:2603.28052。被引用于：§2。
• Li 等人（2026）。Y. Li、W. Yang、H. Tan、X. Huang、Z. Chen、Z. Li、B. Chen、S. Lei、H. Zhu、H. Tian 等人。《Beyond final scores: a systematic evaluation of agents for long-horizon ai research and development》。arXiv preprint arXiv:2608.13417。被引用于：§1、§1、§2。
• Lin 等人（2026）。J. Lin、S. Liu、C. Pan、L. Lin、S. Dou、Z. Xi、X. Huang、H. Yan、Z. Han、T. Gui 等人。《Agentic harness engineering: observability-driven automatic evolution of coding-agent harnesses》。arXiv preprint arXiv:2604.25850。被引用于：§2。
• Lu 等人（2024）。C. Lu、C. Lu、R. T. Lange、J. Foerster、J. Clune 与 D. Ha。《The ai scientist: towards fully automated open-ended scientific discovery》。arXiv preprint arXiv:2408.06292。被引用于：§2。
• Lyu 等人（2026）。B. Lyu、Y. Yang、S. Huang、J. Zhang、Q. Xu、X. Li、X. Han、Y. Zhang、H. Zhang、R. Huang 等人。《MLS-bench: a holistic and rigorous assessment of ai systems on building better ai》。arXiv preprint arXiv:2605.08678。被引用于：§1。
• Merrill 等人（2026）。M. Merrill、A. Shaw、N. Carlini、B. Li、H. Raj、I. Bercovich、L. Shi、J. Shin、T. Walshe、E. K. Buchanan 等人。《Terminal-bench: benchmarking agents on hard, realistic tasks in command line interfaces》。载于 International Conference on Learning Representations，第 2026 卷，第 40903–40986 页。被引用于：§1、§2、§5.1。
• MiniMax（2026）。MiniMax。《MiniMax-m3》。注：Hugging Face 模型卡。访问日期 2026-09-09。外部链接：Link。被引用于：§5.1。
• Moonshot AI（2026）。Moonshot AI。《Kimi k2.6》。注：Hugging Face 模型卡。访问日期 2026-09-09。外部链接：Link。被引用于：§5.1。
• OpenAI（2024）。OpenAI。《Introducing SWE-bench Verified》。注：OpenAI Research。访问日期 2026-08-28。外部链接：Link。被引用于：§2、§5.1。
• OpenAI（2026a）。OpenAI。《GPT-5.5 system card》。注：OpenAI。访问日期 2026-09-09。外部链接：Link。被引用于：§5.1。
• OpenAI（2026b）。OpenAI。《Introducing gpt-5.4》。注：OpenAI。访问日期 2026-09-09。外部链接：Link。被引用于：§5.1。
• Polo 等人。F. M. Polo、L. Weber、L. Choshen、Y. Sun、G. Xu 与 M. Yurochkin。《Tinybenchmarks: evaluating llms with fewer examples》，2024。URL https://arxiv.org/abs/2402.14992。被引用于：§2。
• Rank 等人（2026）。B. Rank、H. Bhatnagar、A. Prabhu、S. Eisenberg、K. Nguyen、M. Bethge 与 M. Andriushchenko。《PostTrainBench: can llm agents automate llm post-training?》。arXiv preprint arXiv:2603.08640。被引用于：§1、§2。
• Singh 等人（2025）。A. Singh、A. Fry、A. Perelman、A. Tart、A. Ganesh、A. El-Kishky、A. McLaughlin、A. Low、A. Ostrow、A. Ananthram 等人。《Openai gpt-5 system card》。arXiv preprint arXiv:2601.03267。被引用于：§1。
• Song 等人（2026）。Y. Song、L. Sutawika、J. Liu、L. Tjuatja、J. Geng、Y. Xiao、D. Lee、A. B. Soni、V. Lo、X. Yue 等人。《PACE: a proxy for agentic capability evaluation》。arXiv preprint arXiv:2607.02032。被引用于：§2。
• Spangher 等人（2025）。L. Spangher、T. Li、W. F. Arnold、N. Masiewicki、X. Dotiwalla、R. K. Pasumarthi、P. Grabowski、E. Ie 与 D. Gruhl。《Chatbot arena estimate: towards a generalized performance benchmark for llm capabilities》。载于 Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies（第 3 卷：Industry Track），第 1016–1025 页。被引用于：§2。
• Starace 等人（2025）。G. Starace、O. Jaffe、D. Sherburn、J. Aung、J. S. Chan、L. Maksin、R. Dias、E. Mays、B. Kinsella、W. Thompson 等人。《PaperBench: evaluating ai’s ability to replicate ai research》。arXiv preprint arXiv:2504.01848。被引用于：§2。
• Team 等人（2026）。K. Team、T. Bai、Y. Bai、Y. Bao、J. Cai、X. Cai、P. Cao、Y. Cao、Z. Chai、Y. Charles 等人。《Kimi k3: open frontier intelligence》。arXiv preprint arXiv:2607.24653。被引用于：§1。
• Terminal-Bench Team（2026）。Terminal-Bench Team。《Terminal-bench 2.1》。注：基准发布。访问日期 2026-08-28。外部链接：Link。被引用于：§2、§5.1。
• Wang 等人（2026）。Y. Wang、H. Zhu、Z. Hu、Y. Yuan、Z. Chen、S. Senthil、H. Hajishirzi、Y. Tsvetkov、P. Dasigi 与 T. Xiao。《Rethinking the evaluation of harness evolution for agents》。载于 COLM 2026 The 2nd Workshop on Lifelong Agents: Learning, Aligning, and Evolving。被引用于：§2。
• Xu 等人（2026）。A. Xu、B. Lin、B. Xue、B. Wang、B. Xu、B. Wu、B. Zhang、C. Lin、C. Dong、C. Ling 等人。《Deepseek-v4: towards highly efficient million-token context intelligence》。arXiv preprint arXiv:2606.19348。被引用于：§1、§5.1、§5.1。
• Yang 等人（2025）。A. Yang、A. Li、B. Yang、B. Zhang、B. Hui、B. Zheng、B. Yu、C. Gao、C. Huang、C. Lv 等人。《Qwen3 technical report》。arXiv preprint arXiv:2505.09388。被引用于：§1。
• Yang 等人（2026）。J. Yang、K. Lieret、J. Ma、P. Thakkar、D. Pedchenko、S. Sootla、E. McMilin、P. Yin、R. Hou、G. Synnaeve 等人。《Programbench: can language models rebuild programs from scratch?》。arXiv preprint arXiv:2605.03546。被引用于：§1、§2。
• Yao 等人（2022）。S. Yao、J. Zhao、D. Yu、N. Du、I. Shafran、K. Narasimhan 与 Y. Cao。《React: synergizing reasoning and acting in language models》。arXiv preprint arXiv:2210.03629。被引用于：§1。
• Z.AI（2026a）。Z.AI。《GLM-5.1》。注：Z.AI 开发者文档。访问日期 2026-09-09。外部链接：Link。被引用于：§5.1。
• Z.AI（2026b）。Z.AI。《GLM-5.2》。注：Z.AI 开发者文档。访问日期 2026-09-09。外部链接：Link。被引用于：§5.1、§5.1。
• Zeng 与 Papailiopoulos（2026）。Y. Zeng 与 D. Papailiopoulos。《You don’t need to run every eval》。arXiv preprint arXiv:2606.24020。被引用于：§2。
• Zhang 等人（2026a）。G. Zhang、F. E. Dorner 与 M. Hardt。《How benchmark prediction from fewer data misses the mark》。Advances in Neural Information Processing Systems 38，第 135638–135678 页。被引用于：§2。
• Zhang 等人（2026b）。H. Zhang、S. Zhang、K. Li、C. Zhang、Y. Chen、Y. Zhang、L. Bai 与 S. Hu。《Self-harness: harnesses that improve themselves》。arXiv preprint arXiv:2606.09498。被引用于：§2。
• Zhang 等人（2026c）。T. Zhang、H. Guo、W. Lu、T. Dai、S. Xia 与 J. Wang。《SparseEval: efficient evaluation of large language models by sparse optimization》。arXiv preprint arXiv:2602.07909。被引用于：§2。
• Zhou 等人（2026）。H. Zhou、H. Huang、Z. Zhao、L. Han、H. Wang、K. Chen、M. Yang、W. Bao、J. Dong、B. Xu 等人。《Lost in benchmarks? rethinking large language model benchmarking with item response theory》。载于 Proceedings of the AAAI Conference on Artificial Intelligence，第 40 卷，第 35085–35093 页。被引用于：§2。
• Zhu 等人（2026）。D. Zhu、X. Zhou、S. Qin、X. Zhu、H. Ding、S. Zhong、Z. Wen、Z. Xie、C. Gou、L. Ren 等人。《EdgeBench: unveiling scaling laws of learning from real-world environments》。arXiv preprint arXiv:2607.05155。被引用于：§1。

附录 A 智能体提示与构造细节

本附录用提示结构、制品格式，以及智能体如何使用反馈的例子，展开构造设定。然后我们检视已保存的构造轨迹，把汇总结果连接到任务和评分代码上的具体改动。这些案例被选来说明不同行为，而不是用来估计它们的频率。

A.1 智能体收到什么

初始提示定义参考基准、可见候选模型、50 项任务的目标，以及 960 分钟的共享构造预算。智能体收到可见候选的汇总参考分数和参考轨迹。汇总分数是基准构造的数值目标；轨迹提供原始任务、模型行为以及成功或失败结果的例子。留出候选的参考分数和轨迹被排除在这些构造输入之外。

工作区把可编辑基准与所提供的参考材料分开。智能体创建并修订 responses.json，其中包含任务定义和已采集的答案，以及 verify.py，它赋予分数。它可以在 tmp_operations/ 中编写采集脚本、草稿任务池和评分实验。指示要求它保留 truth.json、evaluate.py 和参考轨迹。已完成的迭代保留自己的任务数据、验证器、评测报告和修订摘要。

提示鼓励智能体检视选定的参考轨迹，而不是阅读每一个大文件。它要求新任务跨越任务类型、领域和难度级别，并明确不鼓励复制或轻微改写参考实例。这给智能体相当大的自由去决定其代理基准测量什么，同时保持参考排序固定。

A.2 提示结构

有三个提示阶段：初始化、打磨和收尾。下面的块是仓库提示模板的压缩描述，不是每一次历史运行的逐字转录。随运行而变的模型名、时间值和历史摘要用占位符表示。传输细节和重复的工作区提醒被省略。

初始化提示（压缩）。你正在为［参考基准］构造一套新基准。设计大约 50 项原创任务和一个可执行验证器，使可见候选模型的排序与它们的参考结果相似。总构造预算是 960 分钟；还剩［剩余时间］分钟。阅读所提供的参考分数，并在有用时检视参考轨迹，以识别相关挑战。不要复制参考任务。在任务类型、领域和难度上包含变化，并避免近乎重复的问题。创建任务数据，从每一个可见候选采集实际回答，并实现验证器。你可以修订提示、参考答案、量规、测试和评分规则。保留所提供的参考分数和评测器。把辅助脚本和草稿数据放在草稿目录。运行评测器，检视排序一致性、偏差、散布和缺失回答，然后写一份迭代摘要。在工作区根目录留下一对可用的任务–验证器。为后来的修订和最终提交留出足够时间。

第一条提示还规定回答模式和验证器接口。它解释缺失答案会扭曲候选排序，并要求智能体重试采集失败，而不是把它们解释为任务难度的证据。它警告最终评测包括构造期间不可用的候选。

打磨提示（压缩）。全部剩余轮次大约还剩［剩余时间］分钟。编辑之前先回顾已保存的摘要和报告。［历史摘要：轮次时长、有效性、排序指标、偏差和散布。］首先诊断一个具体问题。识别被排错的候选对、每个模型都得到相同分数的任务、过宽或过严的评分、缺失回答，或不可靠的任务专用评分。阅读有代表性的答案和对应的验证器逻辑。然后做出针对这一诊断的改动。你可以替换任务、修订测试或量规、修复回答覆盖，或恢复更早的任务–验证器对。重新运行评测器，并记录被针对的问题是否改善。如果一次修订退步，把最好的可用版本留在工作区根目录。写下改了什么、为什么、观察到的结果，以及任何回滚。当当前基准可用且进一步修订不太可能有帮助时，设置 ready_to_submit=true。支架在接受提前提交之前检查有效性。

打磨使用延续的智能体会话和持久工作区。所提供的历史包括轮次级计时和节奏摘要，例如每个已完成轮次的平均时间。这些是规划辅助：普通迭代没有被指定的固定时长。智能体决定何时结束自己的回合，以及在共享预算到期之前尝试多少工作。

收尾提示（压缩）。这是最后一轮。大约还剩［剩余时间］分钟。用工作区根目录中的任务数据和验证器提交一套完整基准。选择一次已保存的迭代并恢复两件制品，或者组合若干迭代中有用的任务，并组装一个支持全部被保留任务的验证器。保留唯一任务标识并去掉重复任务。如果评分逻辑缺失，只复制任务数据是不够的。优先保证一个能工作的验证器和完整的任务记录。如果时间允许，做一次最终检查，并简要记录所选的是哪个版本或哪种组合。聚焦于合并已有工作。支架评估根目录制品；它不会替智能体选择最佳快照。

收尾是一条单独的指示，因为选择提交是与提出另一次实验不同的决定。它只在构造结束时尚有足够剩余时间时才被启动。因此，一轮耗尽全部预算的运行，可以让当前根目录制品成为提交，而没有专门的收尾回合。

A.3 任务记录与验证器接口

一条任务记录包含唯一标识、其提示、一份可选的参考答案或量规，以及构造期间采集的回答。下面是一个结构示例：[ { "task_id": "<unique identifier>", "prompt": "<new task prompt>", "reference_answer": "<answer or rubric>", "model_responses": { "<visible model>": "<raw response>" } } ]。回答映射为每个可见候选包含一条记录。该记录既是任务定义，也是开发期的回答容器；独立采集的答案在最终评测中替换开发期回答。

验证器实现 verify(response, answer, task) -> float，分数在 \([0,1]\)。评测器提供回答、智能体撰写的参考答案，以及任务元数据。在被检视的实现中，这些元数据包括任务标识、提示、参考答案和候选名。因此智能体既实现按任务 ID 分发，也实现基于参考答案的分发。例如，有些把一份 JSON 编码的规格存在参考答案里，包括函数名、测试输入、期望输出和评分类别。

任务模式本身并不保证有意义的评分。一个可执行的验证器可能只认出部分任务标识，忽略参考答案，或在不熟悉的任务上返回常数。同样，验证器可以包含缓存的判断或依赖模型的分支。这些是被提交之评分代码的性质，需要超出“文件能否执行”的检视。

A.4 修订记录与提交检查

所要求的修订摘要记录诊断、what_changed、why、compared_to_previous、intermediate_validation、did_it_work、rolled_back_to、ready_to_submit，以及智能体的最终指标报告。支架用自己的有效性决定、评测结果和计时来补充已保存的记录。自动生成的摘要表示智能体没有提供所要求的书面说明；它不是智能体故意选择保留当前版本的证据。

被检视的有效性检查要求至少达到所请求任务数的 80%，对 50 项任务的目标即至少 40 项任务。它还要求至少 80% 的任务包含每一个可见候选的回答，验证器是被编辑过的而不是原始占位符，以及评测返回非空的 Spearman 相关。这些检查决定一份提交能否被评测。它们并不验证每一项任务都有适当的评分规则。

默认停滞规则使用分数 \(s=\rho-0.25\min(1,|\mathrm{Spread}-1|)\) 来跟踪轮次之间的进展。一次增加必须超过 0.01 才能重置计数器，连续三轮没有改进就触发提前停止。这是一条构造启发式，与论文中报告的评测维度分开。智能体也可以请求提前提交，但须经过有效性检查。因此，所记录的停止决定同时取决于智能体行为和支架规则。

附录 B 构造历史

表 2 汇总报告实验中所用的精确运行。轮次数包括不成功的迭代：一套被拒绝的任务集仍然消耗构造时间，并可能影响下一轮修订。收尾被单独计数，因为它的指示是选择或合并已有制品。

表 2：所选运行的构造历史。Iter./Final. 计数打磨轮与收尾轮；Invalid 列出被拒绝的已保存轮。\(N\) 是经独立确认的任务数。时间包括所记录的构造检查。

B.1 计时与停止行为

已用时间由支架的剩余预算计数器、轮次时长和会话内评测时间重建。它包括所记录的收尾和构造检查，随后的独立确认被排除。计数器是取整的，因此时间应按分钟这一尺度来解释。

这些运行表现出不同的停止模式。在 SWE-bench Verified 上，DeepSeek-V4-Pro 在遵循停滞规则后于大约 4 小时 33 分钟结束，而 Claude-Opus-4.7 在大约 13 小时 7 分钟后提交。在 Terminal-Bench 上，DeepSeek-V4-Pro 请求提前提交，并在大约 7 小时 9 分钟后完成收尾。DeepSeek-V4-Flash 在第二次迭代期间达到 16 小时上限。

Terminal-Bench 上 GLM-5.2 的日志包含一条手工补完的第二轮记录，没有已用时间。它第一个完成的轮次建立了大约 6.37 小时的下界，但可用计数器并不能确立总会话时长。图 5 把这个值标为下界，而不是赋予一个估计的结束时间。每根柱代表一次选定的运行，因此该图既不报告重复实验的平均，也不报告误差棒。

图 5：所选运行的构造时间。虚线标出 16 小时预算。Terminal-Bench 上 GLM-5.2 的箭头表示所记录的下界，因为其最终计时不可用。

附录 C 评分策略与轨迹案例

C.1 GLM-5.2：设计评分混合并搜索其权重

SWE-bench 上的 GLM-5.2 运行提供了一个例子：智能体发展出超出撰写单项任务的评分策略。到第 2 次迭代，智能体把程序化测试结果与结构检查组合起来。它的下一次诊断是，程序化测试只覆盖 50 项任务中的 30 项，而结构启发式在其余任务上几乎不提供分离。它还观察到，更早的一般质量评判对冗长回答过于宽松。它没有放弃基于模型的评判，而是把评判指令改成聚焦于所提出的代码是否真的能工作。

#### 互补的评分信号。

智能体构造三个原始信号：程序化正确性 \(p\)、聚焦正确性的模型判断 \(j\)，以及结构检查 \(s\)。最后一个分量使用代码和解释的启发式特征，而不是独立的执行测试。智能体把这些信号组合为

$$ q = w_{p}p+w_{j}j+w_{s}s, \tag{7} $$

$$ w_{p}+w_{j}+w_{s}=1. $$

这里 \(q\) 是原始分量混合，位于该运行随后的分数校准之前。被检视的评分脚本在程序化分数不可用时，用结构分数作为回退。因此，混合仍然可以为没有可执行测试的任务产生分数。

#### 搜索权重。

第 3 次迭代对照可见参考分数评估七种组合，记录于智能体的修订摘要（表 3）。所选组合是 \(w_{p}=0.55\)、\(w_{j}=0.20\)、\(w_{s}=0.25\)。两个候选达到成对准确率 0.75；所选混合在这两者中有更高的 Pearson 相关。这是经验性的权重选择，而不是所报告的基于梯度的回归程序。

表 3：GLM-5.2 在第 3 次迭代中尝试的权重组合，按其修订摘要所报告。权重为百分数。粗体标出所选混合；这些是可见集上的开发结果。

原始支架检查点显示，可见成对准确率从第 2 次迭代的 0.65 上升到第 3 次迭代的 0.75。智能体在这一轮还修复了若干被截断的回答，因此这一比较描述的是完整修订，而不是改变权重的孤立效应。有用的设计行为是：智能体识别缺失的评测证据，加入一个互补信号，并显式搜索该信号应当贡献多少。

#### 打磨评判集成。

在第 4 次迭代，智能体检视其正确性评判与执行测试之间的分歧。它的摘要例如指出，一个树序列化答案尽管未通过程序化检查，仍得到满分评判。它把 MiniMax-M3 加为 GLM-5.2 之外的第二个评判，并对它们的分数取平均：

$$ \bar{j}=\tfrac{1}{2}(j_{\mathrm{GLM}}+j_{\mathrm{MiniMax}}), \tag{8} $$

$$ q=0.45p+0.30\bar{j}+0.25s. $$

修订摘要报告了带平均评判的八种组合。45/30/25 混合保住 0.75 的可见成对准确率，同时 Pearson 相关从 0.577 增加到 0.604。智能体也尝试单独使用第二个评判：它所报告的最佳 Pearson 值更高，但成对准确率降到 0.65，因此该备选没有被保留。这使选择标准变得具体：智能体寻求更好的分数一致性，同时保住模型排序决定。

实现与解释。被保留的分数构造辅助程序显式对两个评判输出取平均，并计算 45/30/25 组合。然后它在保存分数之前应用额外缩放。因此图 4 在分量层面描绘所学到的评分配方，而不是提交验证器中的每一个操作。混合搜索是开发期间观察到的构造性行为。它并不确立这些特定权重会不变地转移到新回答或留出候选。后来的轮次修改评分制品，而最终经独立确认的 GLM-5.2 结果，总体成对准确率为 0.5714。这个例子的贡献是智能体表述并比较评测策略的能力；最终确认仍然是对所提交基准的评估。

C.2 GPT-5.4：通过表面特征拟合可见分数

这次构造运行使用高推理努力来产出一套软件工程任务。它在构造期间收到 SWE-bench Verified 的参考分数；后来的 Terminal-Bench 比较使用另一套参考。它的主要修订保留任务集，同时调整回答采集，以及一个基于任务专用关键词、代码与测试标记和回答长度的确定性验证器。这里的讨论描述构造和诊断趋势；最终数值结果另行报告。

可见反馈与评分器修订。初始快照留下可见排序错误。后续修订去掉一个过宽的拒绝模式，该模式也会匹配一个合法的 JSX 占位属性，重新采集选定的短 Gemini 回答，并为一种 React 请求 ID 模式加入词汇惩罚。这些改动改善了与可见参考排序的一致性。智能体随后调整对长回答和极长回答的惩罚，进一步改善已保存回答上的排序。一旦可见排序稳定，智能体就瞄准分数尺度。后来的轮次对可见的预测均值、参考均值和标准差拟合一个仿射变换，为中等回答长度上的高关键词覆盖加入小额奖励，并重新校准。所得的已保存回答分数与可见参考尺度更接近：绝对误差和系统偏移下降，而分数散布接近参考。这些改进部分来自显式拟合那些性质，并不能独立确立向新回答的转移。智能体发出就绪信号，并在耗尽时间预算之前很久就提交。

独立的回答采集。给同一批已保存答案重新评分会保住表面上的拟合，但并不检验它对回答采集的依赖。智能体的采集脚本把思考块和最终文本块拼接起来，而一个重新采集辅助程序只有在新答案至少和前一个一样长时才保留它。一些已保存的 Flash 答案明显不完整；一个实现停在条件表达式的中间。独立遍次冻结提示和验证器，只取完整的最终文本，并在不按分数或长度挑选答案的情况下重试失败或截断。它使用更大的初始输出预算，并在发生截断时提高上限。因此，分数变化既反映改变了的采集协议，也反映回答变异；它们本身并不是故意捏造的证据。在有完整新回答的可见模型匹配子集上，与 SWE-bench 参考排序的一致性下降，绝对误差上升，预测分数变得紧密得多地聚在一起。Flash 的平均分向其他候选上升，去掉了原始采集中很大一部分表面上的分离。因此，对已保存答案的强拟合在重新采集下并不持续。

评分敏感性与剩余覆盖。一个阴性对照把每项任务的关键词、一个只含 pass 的函数、与测试相关的词，以及无关填充拼接起来。这些非解答仍然得到高分。重命名模型标识并不改变被测试的分数，但这只排除了该被测试形式的身份依赖：验证器仍然奖励表面特征，而不验证解答。重新采集中，少量可见的 DeepSeek 和 Kimi 查询仍然不完整。对 GPT 和 Kimi 候选的单独新评测产生一种相对排序，与它们的 SWE-bench 参考排序不一致。Kimi-K2.6 也是训练标签 kimi-k2.5 的实际后端，因此在这次运行中它并不是一个模型未见过的留出候选。把成功回答的均值与外部报告的 Opus 汇总值结合起来做 Terminal-Bench 比较，同样显示弱的排序一致性和被压缩的分数散布。这一诊断比较是暂定的：可见回答覆盖不完整，外部 Opus 结果是以汇总值而不是导入的逐任务记录可用的，并且构造使用的是 SWE-bench 参考。它不应被解释为完全确认的 Terminal-Bench 构造结果。这个案例说明，可见反馈可以改善校准并修复个别启发式，同时让评分函数对采集伪迹和表面答案特征保持敏感。新回答评测和阴性对照揭示了已保存可见答案上的强一致性所没有暴露的弱点。

C.3 DeepSeek-V4-Flash：对照可见分数选出的窄核心

在 SWE-bench Verified 上，DeepSeek-V4-Flash 以一个 60 项任务的快照开始，组合了代码执行、输出预测和按关键词评分的问题。它第一个有效的可见成对准确率是 0.60。智能体的诊断是，许多干净的编程任务给所有可见模型满分，留下很少变异来恢复参考排序。

下一轮采集一个更大的任务池，并选出一个九项任务的子集，其观察到的分数模式与可见参考分数对齐。它的摘要报告排序改善，但支架拒绝该快照，因为它只含九项任务。因此这些自报数字没有被画成有效的构造结果。

第 3 次迭代修复缺失回答，并通过把九项任务的核心与摘要中描述为在可见候选上分数恒定的 31 项任务组合起来，恢复最低任务数。它还改变分数校准。已保存的 40 项任务基准达到 0.90 的可见成对准确率，以及大约 0.972 的 Spearman 相关。这是名义基准规模与提供观察区分度之任务数之间的一个有用区分：达到计数门槛并不必然拓宽用来给模型排序的信号。

在第 4 次迭代，智能体明确把窄核心识别为弱点。它报告尝试了额外的任务组合，但当更宽的集合降低可见一致性时保留当前版本。40 项任务的数据和验证器在两个已保存快照之间没有变化。智能体随后请求提前提交。收尾产生一份 50 项任务的提交，可见成对准确率同样是 0.90。

在独立采集的答案下，最终基准达到 0.55 的可见成对准确率、0.3182 的涉及留出准确率，以及 0.4286 的总体准确率。可见对可见的比较已经表明，强的构造结果对回答重新采集是敏感的。对照观察到的候选分数做窄选择，是过拟合的一个说得通的来源，尽管这一单次运行并没有把它与回答变异或评分敏感性隔离开。

验证器还使用截断的仿射分数校准。这种校准可以在不增加新任务证据的情况下改善分数尺度。因为截断施加在单个回答层面，不应假定它在每一种可能的回答集合上都保住汇总的模型排序。

C.4 Claude-Opus-4.7：修订任务、修复判断并回滚

SWE-bench 上的 Claude-Opus-4.7 运行说明一次会话内的若干种修订。它最初的 50 项任务基准使用单元测试、修 bug 问题、推理问题和量规检查。第一个可见成对准确率是 0.35。下一轮，智能体报告 42 项任务给每个可见模型满分，并用更严格的要求和边界情况改写任务。分数散布增加，但成对准确率仍是 0.35。

随后的改动超出难度本身。智能体用调试问题替换若干数学和谜题任务，加入隐藏的边界情况测试，并纠正错误的参考答案。第 4 次迭代达到 0.55 的可见成对准确率。摘要描述由基准自身引入的错误，包括与 JSON 把元组转换成列表不一致的期望输出。这些例子表明，基准开发包括调试测试规格，而不只是生成更难的问题。

在第 6 次迭代，验证器对一些程序上通过的回答获得一项由模型评判的惩罚，可见成对准确率上升到 0.65。第 8 次迭代用一个排列验证问题替换一项麻烦的任务，并去掉与先前任务版本相关联的过期缓存判断。可见成对准确率在大约 10.36 小时达到 0.80。

后来的实验未能改善排序。智能体报告在第 9 和第 10 次迭代尝试新的任务替换，观察到退步，并恢复更早的制品。它最终请求提交，并在大约 13.12 小时结束收尾。因此第 8 次迭代之后的区间包含额外实验和回滚决定，而已保存的成对准确率没有增加；这并不是智能体不活跃的证据。

这个案例也暴露验证器的一个局限。最终评分代码保留一个按任务标识和候选名索引的判断缓存。缓存查找并不检查当前回答是否匹配最初被评判的回答，没有条目的候选收到未经修改的程序化分数。因此，仅重新采集回答并不会刷新嵌在任意验证器代码里的每一个判断。最终基准经确认的总体成对准确率是 0.5952，Spearman 相关是 0.5881，但这些指标不应被读成对与回答无关或与模型无关之评分的审计。

C.5 DeepSeek-V4-Pro：有针对性的修订与提前提交

Terminal-Bench 上的 DeepSeek-V4-Pro 运行以一个宽的、114 项任务的快照和 0.3810 的可见成对准确率开始。它的摘要描述许多常规编码任务上接近天花板的表现。智能体随后大幅改变任务族，探索自复制程序、多语言程序、受约束编程，以及其他通过执行所生成代码来检查的任务。

第二个快照只含 17 项被选任务，并因数量不足被拒绝。第 3 次迭代把提交扩大到 41 项任务，并达到 0.8095 的有效可见成对准确率。在第 4 次迭代，智能体加入系统与位操作任务，保留一项无元音编程任务，修复一个评分分支错误，并在验证周围加入超时保护。已保存的 49 项任务基准达到 0.9048 的成对准确率。这些改动既针对观察到的排序错误，也针对可能阻止验证器完成的问题。

下一轮检验额外的系统知识问题能否纠正剩余的可见错序。智能体报告它们没有帮助，并让任务数据和验证器保持与第 4 次迭代相同。它请求提前提交，而不是用完全部剩余预算。收尾得到 50 项任务，会话在大约 7.14 小时后结束。

这是有针对性的实验之后跟着一个有意停止决定的例子。它并不是在证明所选任务族完全复现了参考评测。最终独立遍次得到 0.6667 的可见成对准确率、0.5833 的涉及留出准确率，以及 0.6222 的总体准确率。构造上的改进和确认上的缺口，对解释这次运行都有关。

C.6 DeepSeek-V4-Flash：用掉剩余预算而没有新快照

在 Terminal-Bench 上，DeepSeek-V4-Flash 在大约 9.07 小时后完成第一次迭代，快照有 65 项任务，可见成对准确率 0.2857。智能体的摘要描述若干提高难度的尝试，包括更苛刻的规格和额外的编程语言探针。它还报告修复评分缺陷，例如测试输入被改写以及不正确的参考值。

第二次迭代消耗剩余预算，并在大约 16 小时被终止。它已保存的任务提示和验证器与第一个快照相同，可见成对准确率仍是 0.2857。没有记录专门的收尾轮。最终确认的总体成对准确率是 0.4444。

相同的已保存制品并不揭示第二轮内部发生了多少探索性工作。它们确立一个更窄的观察：将近七个额外小时并没有产生一套改进了的已保存基准。与上面的提前提交例子放在一起，这表明有用的智能体指导应当处理实验的范围和时长、保持一份完整提交可用，以及决定何时进一步搜索不太可能有帮助。

附录 D 具体任务与评分例子

下面的例子来自最终的 Terminal-Bench GPT-5.4 任务集。它们说明：写出一条合理的提示，与提供一个真正评估其要求的验证器，是两回事。

D.1 一项带显式评分分支的任务

任务 task_001_debug_patch 要求修正一个应当返回第一个重复值之下标的函数：

def first_repeat_index(items):
    seen = set()
    for i, value in enumerate(items):
        if value in seen:
            return value
        seen.add(value)
    return -1

用一句话解释缺陷，然后在单个 Python 代码块中提供修正后的实现。

智能体撰写的参考答案要求指出该函数返回的是重复值而不是它的下标，并提供修正后的实现。验证器从 0.1 开始，为匹配足够的解释性关键词加 0.45，再为包含匹配 return i 之模式的代码块加 0.45。这个分支对答案内容作出响应，但它是启发式，而不是基于执行的正确性检查。因此，它的存在应当与它所使用之证据的强度区分开。

D.2 一项有参考答案但没有评分分支的新任务

任务 task_007_algorithm 问：写一个 Python 函数 merge_intervals(intervals)，把重叠的闭区间，例如 [(1,3),(2,4),(7,8)]，合并成 [(1,4),(7,8)]。包括时间复杂度，并处理空输入。

它的参考答案要求一个正确的基于排序的合并算法、有效的 Python 代码，以及复杂度解释。然而，提交的验证器没有这个任务标识的分支，也没有以其他方式使用它的参考答案。每一个非空答案都得到 0.1。确认报告为全部十个候选记录了这个值。

因此，提示和参考答案的存在并不确立二者都会影响评测。一项任务级检查可以通过检视分发覆盖，或比较内容明显不同之答案的分数，来发现这种不匹配。

D.3 同一失败出现在另一种任务类型上

任务 task_008_code_review 给出：

def save_config(path, data):
    f = open(path, 'w')
    f.write(str(data))
    f.close()

按严重程度排序，列出四个最重要的问题，然后提供修正版本。

它的参考答案提到序列化、上下文管理、编码与错误处理，以及可能的原子性顾虑。这项任务也落在六个验证器分支之外，并得到同样的默认分数。因此，这一失败在实现任务和评审任务之间是共享的；当这些提示仍然与评分器断开时，增加更多样的提示并不会改善评测。