EvalBuilder：大语言模型能否自己构造高效基准

EvalBuilder：大语言模型能否构造高效基准？

Huaisheng Zhu（同等贡献。所属机构：美团。电子邮箱：zhuhuaisheng@meituan.com）。Hangfan Zhang（同等贡献。所属机构：Pennsylvania State University）。Teng Xiao（所属机构：Allen Institute for AI（AI2）；University of Washington）。Siyuan Xu（所属机构：Pennsylvania State University）。Shijie Zhou（所属机构：University at Buffalo）。Zhimeng Guo（所属机构：Pennsylvania State University）。Zhengyu Chen（通信作者。所属机构：美团）。Jingang Wang（通信作者。所属机构：美团）。

Huaisheng Zhu

Hangfan Zhang（同等贡献）

Teng Xiao

Siyuan Xu

Shijie Zhou

Zhimeng Guo

Zhengyu Chen

Jingang Wang（通信作者）

摘要。大语言模型（LLM）智能体越来越多地被用于长程研究与工程，然而评估这些能力仍然昂贵、耗时，并且严重依赖人类专业知识。这引出一个自然的问题：LLM 智能体自己能否构造出高效基准，同时保住那些昂贵参考评测的结论？我们把自动基准开发表述为一个元评测问题来研究这一能力：给智能体一个任务和一套昂贵的参考基准，要求它构造一套成本更低的代理基准，并且仍能忠实地区分候选模型与解答。基于这一表述，我们提出 EvalBuilder，一个沿三个关键维度评测这种基准生成能力的框架：保真度、效率与稳健性。具体而言，我们考察生成的基准是否保住模型排序，是否能泛化到留出模型和重新采集的回答，以及在大幅降低评测成本的同时，是否给出校准良好且有区分度的分数。我们还提供一个迭代环境，让智能体在固定时间预算下打磨自己的基准。该框架提供一套系统化的试验台和基准，用来理解当前 LLM 智能体何时能开发出有用的评测器，以及基准构造本身如何能够越来越自动化。代码见 Github。

1 引言

大语言模型（LLM）正越来越多地被部署为智能体，用于长程研究与工程工作流。在这些工作流里，它们反复提出想法、实现解答、评估结果并改进自己的做法（Yao et al., 2022；Singh et al., 2025；Xu et al., 2026；Team et al., 2026；Yang et al., 2025）。尽管有这些进展，当前 LLM 在自主发现和工程执行上仍表现出一些局限，尤其是在复杂的长程设定中（Yang et al., 2026；Fei et al., 2026；Li et al., 2026）。这些局限推动人们开发更强的模型，以及更有能力的智能体行为。这种进展的一个关键前提是严格评测：需要精心设计的基准，来评估长程研究与工程能力、诊断模型弱点，并为进一步改进提供有信息量的信号。因此，越来越多的基准被提出，用来评估这些能力，并支持训练更有能力的 LLM 智能体（Jimenez et al., 2023；Merrill et al., 2026；Lyu et al., 2026；Barres et al., 2025；Chan et al., 2025；Rank et al., 2026）。

然而，面向智能体任务的现有基准往往笨重且运行昂贵，因为评估长程能力通常要求智能体长时间运行，并消耗大量计算资源。例如，在复杂研究与长程工程任务上评估模型，每项任务可能需要半天甚至一整天的智能体执行，而单次评测运行的成本可以达到数万美元量级（Zhu et al., 2026；Li et al., 2026）。同时，自主智能体在研究与工程工作流中承担更大角色，这种对人工设计评测的依赖，越来越成为扩大模型开发规模的主要瓶颈。更重要的是，为长程任务构造可靠评测本身就昂贵且费力。高保真评测往往需要专门的沙箱环境、完备的自动测试套件、领域专用的验证程序，以及大量计算资源。基础设施之外，人类专家还必须决定应当测量哪些行为，设计能把真正的能力提升与表面捷径区分开的评测案例，并在新的失败模式出现时持续修订协议。随着长程推理的近期进展，以及 LLM 越来越多地被用作复杂任务的助手，一个重要的研究问题自然出现：LLM 能在多大程度上开发出高效且有效的基准来减少人力，以及这种基准生成能力应当如何被评估？

为回答这一问题，我们提出 EvalBuilder，一个评测 LLM 智能体开发高效且有用基准之能力的框架。然而，搭建这样一条评测流水线的主要挑战，在于评估 LLM 智能体所生成基准的质量，而这往往需要大量人类专业知识和领域判断。为此，我们首先表述一个设定，用来评估 LLM 构造基准的能力。在这一设定中，给定一项任务，并允许访问一套笨重且昂贵的参考评测基准，智能体被要求构造一套成本更低的基准，使其判断在一组多样的候选解答上仍与参考基准良好对齐。我们进一步提出一个多维评测框架，从若干互补视角评估所生成的基准。具体而言，一套生成得差的基准可能会排错候选解答的名次，过拟合到一小撮可见例子上，或者奖励那些无法泛化到目标任务的表面捷径。因此，自动生成的基准不应只按其效率来评估，还应看它们多么忠实地复现参考评测的判断，多么一致地给多样的候选解答排序，以及多么可靠地泛化到构造期间所见例子之外。为满足这些标准，我们评估排序保真度、对留出模型的泛化，以及分数校准与分辨力。此外，我们提供一个环境，让智能体在固定时间预算下迭代打磨任务与验证器，从已保存的迭代中选出最终基准，并用重新采集的模型回答把它提交给独立评测。

总之，我们的工作为构建一套智能体框架、用以构造能降低评测成本的高效且有用基准，做出如下贡献：

• 我们把自动基准开发表述为研究智能体的一项独立能力：智能体的任务是从昂贵的目标基准构造高效的代理基准，同时保住其可靠区分不同模型表现的能力。
• 我们提出 EvalBuilder，一条评测流水线，用来高效评估 LLM 构造有效且计算高效之基准的能力。
• 我们把评估组织在保真度、效率与稳健性周围，提供一个统一框架，用来理解当前 LLM 智能体何时能构造出有用的评测器，它们生成的基准如何失败，以及这些基准如何区分前沿模型。

2 相关工作

从事研究与工程的智能体。LLM 近来在长程任务上表现出很强的能力，尤其是在复杂的研究与工程工作流中（Jimenez et al., 2024；OpenAI, 2024；Yang et al., 2026；Fei et al., 2026；Li et al., 2026）。具体而言，SWE-bench 评估语言模型能否在可执行仓库里解决真实的 GitHub 问题（Jimenez et al., 2024）；SWE-bench Verified 是一个经人工筛选的子集，意在去掉规格不足或测试不正确的实例（OpenAI, 2024）。Terminal-Bench 把智能体评测扩展到现实的命令行任务（Merrill et al., 2026；Terminal-Bench Team, 2026）。超出工程智能体，LLM 正越来越多地被开发成能够开展研究、处理复杂科学问题的研究智能体。例如，MLAgentBench 评估迭代式机器学习实验（Huang et al., 2023），PaperBench 评估对人工智能研究的复现（Starace et al., 2025），AI Scientist 研究研究过程的开放式自动化（Lu et al., 2024）。要度量这些复杂能力，必须开发能够可靠评估模型表现、并为进一步提升模型能力提供有信息量反馈的基准。然而，构造这样的基准往往需要大量人力和领域专业知识，这促使人们使用 LLM 来自动化或协助基准开发过程。先前工作已经广泛探索用 LLM 加速或自动化模型开发的各个阶段——包括数据构造与过滤（Kulikov et al., 2026）、预训练架构设计（Karpathy, 2026）、后训练（Rank et al., 2026），以及智能体 harness 设计（Lee et al., 2026；Zhang et al., 2026b；Lin et al., 2026；Wang et al., 2026；Chen et al., 2026）——但用 LLM 做自动基准开发仍然相对较少被探索。因此，在这项工作中，我们研究 LLM 自动设计基准的能力，目标是减少人力并加速未来的模型开发。

高效基准的搭建。LLM 被用来解决复杂任务，这也使它们的评测更加昂贵。相应地，越来越多的工作探索用轻量代理基准去预测其他基准上的表现（Spangher et al., 2025；Polo et al.；Zhou et al., 2026；Kipnis et al.；Zhang et al., 2026c）。这些方法都在单一基准分布内运作，忽视了用外部的、异构的、低成本评测基准池去可靠预测智能体基准表现这一挑战。为应对这一局限，若干近期方法利用来自多样领域的轻量基准，去估计分布高度异构的复杂智能体任务上的表现（Song et al., 2026；Zeng and Papailiopoulos, 2026；Zhang et al., 2026a）。然而，这些方法主要依赖常规机器学习方法，用其他领域已有的轻量数据集来预测表现，它们对那些瞄准先前评测未能很好覆盖之能力的新基准，可能泛化较差。此外，现有基准数据集对现代 LLM 所表现出的多样且迅速演变的能力，可能只提供有限覆盖。为应对这些局限，我们提议利用 LLM 来生成新的评测问题，而不是从现有基准中挑选，并分析智能体轨迹，从而构造出更能抓住智能体任务分布之复杂性与多样性的基准。

3 预备知识

我们考虑一组候选模型 \(\mathcal{M}\)，它们在一套昂贵的参考基准上被评测，每个模型 \(m\) 有参考分数 \(r_{m}\in[0,1]\)。基准构造任务是开发一套紧凑评测，复现它们在这一参考上的相对表现。

智能体构造一套基准 \(\mathcal{B}=(\mathcal{T},v)\)，其中 \(\mathcal{T}=\{t_{i}\}_{i=1}^{N}\) 是一组新设计的任务，\(v\) 是一个可执行的验证器。每项任务包含一条提示，以及可选的、由智能体撰写的参考答案或评分量规。任务集和验证器都可编辑：智能体可以在整个构造过程中增加、删除或修订任务，并修改它们的评分逻辑。所提供的参考结果作为评估这些改动的固定目标。给定模型 \(m\) 对任务 \(t_{i}\) 的回答 \(y_{m,i}\)，验证器返回分数 \(v(t_{i},y_{m,i})\in[0,1]\)。该模型的基准分数是：

$$ \hat{r}_{m}=\frac{1}{N}\sum_{i=1}^{N}v(t_{i},y_{m,i}). \tag{1} $$

主要目标是保住由参考分数 \(\{r_{m}\}\) 所诱导的排序，分数校准与分离则作为附加性质来评估。我们把 \(\mathcal{M}\) 划分成不相交的可见集与留出集，\(\mathcal{M}_{\mathrm{vis}}\) 与 \(\mathcal{M}_{\mathrm{held}}\)。构造期间，智能体收到可见模型的参考分数和轨迹，并能查询这些模型，以便在共享的挂钟时间预算下联合打磨 \(\mathcal{T}\) 与 \(v\)。留出模型被排除在构造输入之外，并在基准提交之后才被评测。最终评估使用从两组重新采集的回答，来度量与参考的一致性以及对新候选的泛化。

4 方法

EvalBuilder 要求一个智能体构造一套紧凑基准，保住模型在昂贵参考基准上的相对表现。智能体设计一组任务，连同一个可执行验证器，并用可见模型的参考结果来指导自己的选择。我们通过所生成基准与参考评测的一致性来评估它，包括在构造期间不可用的留出模型上。EvalBuilder 的总览见图 1。

4.1 智能体工作区与基准构造

每次运行给构造智能体一个持久工作区、用于读文件和执行代码的工具，以及一个查询可见候选模型的 API。工作区包含一套可编辑的基准、所提供的参考输入，以及已完成迭代的历史。

可编辑的基准。智能体直接控制两件制品：任务数据（responses.json）和验证器（verify.py）。每条任务记录包含一条提示、一份可选的参考答案或量规，以及已采集的模型回答。智能体可以增加、删除或改写任务，修订它们的参考答案和量规，并通过模型调用刷新回答记录。它也可以改写验证器，包括程序化检查、评判提示、部分得分规则和分数校准，同时保留所要求的逐回答接口和 \([0,1]\) 输出范围。因此，任务数据和评分代码在整个构造过程中被联合优化。

参考输入与工作文件。可见模型的汇总参考分数（truth.json）、参考轨迹，以及所提供的评测器（evaluate.py）为构造和反馈提供共同基础。智能体被指示不要改动这些输入。轨迹包括原始任务提示、模型动作，以及成功或失败的结果，智能体可以分析它们，以识别反复出现的挑战以及模型之间的差异。用于数据生成、回答采集或评分的草稿任务和辅助脚本，被放在单独的草稿目录（tmp_operations/）中。工作区根目录里当前的任务数据和验证器定义工作中的基准。

构造工作流。初始轮次要求智能体把对参考材料的分析变成一套可用的基准。它写出在任务类型、领域和难度上有变化的新任务，并规定它们的回答应当如何被评分。例如，编码任务可以瞄准调试、实现，或对边界情况的推理。任务设计与验证器设计是耦合的：智能体既规定一项任务所引出的行为，也规定用来判断其质量的证据。智能体在生成的提示上查询每一个可见模型，并用精确匹配、程序化检查、基于模型的评判，或这些策略的组合，给采集到的回答打分。缺失或空的回答被标记以便重试，因此采集失败可以在解释模型表现差异之前被处理。智能体随后运行所提供的评测器，为下一轮修订取得反馈。

图 1：EvalBuilder 总览，用于构造高效且有效的基准。

4.2 带预算的打磨与最终提交

后续轮次延续同一智能体会话，使智能体能够建立在先前分析和已保存基准之上。一个固定的评测器按公式（1）汇总验证器分数，并在可见模型上把 \(\hat{r}_{m}\) 与参考分数 \(r_{m}\) 比较。它返回关于排序一致性、分数偏差和分数散布的反馈。每一轮修订都从对当前基准的诊断开始。智能体检视被排错的模型对、给所有模型相似分数的任务，以及分数看起来不可靠的回答。然后它对任务或验证器做有针对性的改动，并重新运行评测。例如，一项每个模型都能解出的任务可以被换成更难的任务，而不一致的评分则可能促使修订量规或程序化检查。智能体记录它改了什么，以及被针对的指标是否改善。

每一轮结束时，支架把当前任务数据和验证器复制到一个迭代目录（iterations/iter_N/），检查任务与回答覆盖，并在已保存的版本上运行评测器。所得报告和智能体的修订摘要与两件制品一起存放。下一轮修订之前，智能体检视这段历史，如果某次改动表现更差，可以恢复更早的任务–验证器对。把两件制品一起保存，保住了任务定义与评分逻辑之间的对应。

时间预算。我们给每次构造会话分配总共 16 小时的挂钟预算。任务生成、模型查询、验证器开发、评测和收尾共享这一预算。每一轮之前，智能体收到剩余时间和先前轮次的摘要，包括它们的时长和评测结果。它决定在每一轮修订上花多久，以及尝试多少轮。当智能体选择提交，或一个基于排序一致性和分数散布的已配置停滞标准被满足时，打磨可以提前结束。提交后的评测在构造预算之外单独进行。

最终提交。当打磨结束时尚有剩余时间，支架在同一预算内启动一轮专门的收尾。智能体检视已保存的迭代及其可见模型结果，然后选择两种提交策略之一。它可以恢复单次迭代中完整的任务集和验证器，或者从多次迭代中挑选有用的任务，并组装一个支持每一项被保留任务的验证器。在后一种情况下，智能体被指示去掉重复任务并调和它们的评分逻辑。智能体把选定的任务数据和验证器放在工作区根目录，作为最终提交。这一轮聚焦于选择和合并已有工作。如果预算在收尾轮能够运行之前耗尽，就使用当前工作中的任务数据和验证器。因此，智能体被指示在整个构造过程中把当时最好的可用基准留在工作文件里。支架评估被提交的那一对；它不会自动选择得分最高的快照。

4.3 构造防护

我们使用构造规则和独立评测来减少钻空子的机会。智能体被指示创建原创任务，并且不要改动所提供的参考分数和评测脚本。提供给其工作区的参考材料排除留出模型。暴露给构造智能体的模型查询代理也会对照可见模型允许名单检查请求，并拒绝其他模型名的请求。智能体的回答记录用于开发反馈。提交之后，支架把最终任务提示重新发给每一个可见模型和留出模型，并用提交的验证器重算分数。这把智能体写下的回答记录从最终分数计算中去掉，并提供对捏造或选择性记录之答案的检查。留出评测另外检验基准的比较是否延伸到用来指导构造的模型之外。这些检查针对的是回答操纵和对可见候选的过拟合；它们并不对任意验证器代码提供完整审计。

4.4 评测协议

独立评测。构造之后，支架独立地从所有可见模型和留出模型采集新回答，并用提交的验证器给它们打分。所有最终指标都由这一遍计算。我们评估所生成的基准是否保住模型排序，这一致性是否延伸到留出模型，以及它的分数是否保住参考的尺度和分离度。每个候选模型 \(m\) 有两个分数：\(r_{m}\) 是它在原始参考基准上的分数，\(\hat{r}_{m}\) 是它在生成基准上的分数，由按公式（1）对验证器分数取平均得到。帽子因此把生成基准的分数与参考分数区分开；这两个符号都不表示名次。我们用 \(\mathcal{M}\) 表示被评测的模型集合，用 \(K=|\mathcal{M}|\) 表示其大小。

#### 排序保真度。

成对准确率问一个简单问题：当参考基准把一个模型排在另一个之上时，生成的基准是否同意？对两个模型 \(m\) 和 \(n\)，参考分数差是 \(r_{m}-r_{n}\)，生成基准的分数差是 \(\hat{r}_{m}-\hat{r}_{n}\)。当这些差同号时，这一对就被正确排序。令 \(\mathcal{P}\) 包含所有参考分数不同的无序对，每对只计一次。被正确排序的对所占比例是

$$ \mathrm{PAcc}(\mathcal{P})=\frac{1}{|\mathcal{P}|}\sum_{(m,n)\in\mathcal{P}}\mathbbm{1}\!\left[(\hat{r}_{m}-\hat{r}_{n})(r_{m}-r_{n})>0\right]. \tag{2} $$

这里，\(\mathbbm{1}[\cdot]\) 在条件成立时等于一，否则等于零：乘积为正意味着两套基准偏好同一个模型。参考上的平局被排除，因为它们并不规定严格排序；对一个被严格排序的参考对而言，生成基准上的平局计为不正确。更高的成对准确率表示更一致的模型比较。

作为这些成对比较的补充，Spearman 相关度量全排序上的一致性。我们先把每个分数替换成它在被评测模型中的名次：生成基准为 \(a_{m}=\operatorname{rank}(\hat{r}_{m})\)，参考基准为 \(b_{m}=\operatorname{rank}(r_{m})\)，使用同一排序约定，并对平局赋予平均名次。然后我们计算这两个名次向量之间的相关：

$$ \rho=\frac{\sum_{m\in\mathcal{M}}(a_{m}-\bar{a})(b_{m}-\bar{b})}{\sqrt{\sum_{m\in\mathcal{M}}(a_{m}-\bar{a})^{2}}\sqrt{\sum_{m\in\mathcal{M}}(b_{m}-\bar{b})^{2}}}, \tag{3} $$

其中 \(\bar{a}\) 与 \(\bar{b}\) 是 \(\mathcal{M}\) 上的平均名次。更接近一的值表示与参考排序更强的一致性。

#### 候选泛化。

为把对熟悉候选的一致性与对新候选的泛化区分开，我们把可见模型对与至少涉及一个留出模型的对分开。可见集与留出集分别是 \(\mathcal{M}_{\mathrm{vis}}\) 与 \(\mathcal{M}_{\mathrm{held}}\)。留出模型的参考分数和轨迹在构造期间被扣下，模型查询代理只允许查询可见模型。对应的对集合是

$$ \mathcal{P}_{\mathrm{vis}}=\{(m,n)\in\mathcal{P}:m,n\in\mathcal{M}_{\mathrm{vis}}\},\quad\mathcal{P}_{\mathrm{held}}=\mathcal{P}\setminus\mathcal{P}_{\mathrm{vis}}. \tag{4} $$

我们报告可见模型的 \(\mathrm{PAcc}(\mathcal{P}_{\mathrm{vis}})\)，以及用于泛化的 \(\mathrm{PAcc}(\mathcal{P}_{\mathrm{held}})\)。后者既包括可见–留出比较，也包括留出–留出比较。当为一个模型子集报告 Spearman 相关时，名次和相关都在该子集内计算。

#### 校准与分辨力。

正确的排序本身并不意味着准确的分数：一套基准可以保住排序，同时把所有分数平移或压缩。因此我们也直接比较分数值。平均绝对误差（MAE）度量差异的平均幅度，有符号偏差度量其方向：

$$ \mathrm{MAE}=\frac{1}{K}\sum_{m\in\mathcal{M}}|\hat{r}_{m}-r_{m}|,\quad\mathrm{Bias}=\frac{1}{K}\sum_{m\in\mathcal{M}}(\hat{r}_{m}-r_{m}). \tag{5} $$

更低的 MAE 表示更接近的分数一致性；正偏差和负偏差分别表示高估和低估。为度量基准把模型分开的强度，我们报告：

$$ \mathrm{Spread}=\frac{\sigma(\{\hat{r}_{m}\}_{m\in\mathcal{M}})}{\sigma(\{r_{m}\}_{m\in\mathcal{M}})}, \tag{6} $$

其中 \(\sigma(\{x_{m}\})=\sqrt{K^{-1}\sum_{m\in\mathcal{M}}(x_{m}-\bar{x})^{2}}\)，且 \(\bar{x}=K^{-1}\sum_{m\in\mathcal{M}}x_{m}\)。散布比接近一，表示与参考基准相似的分数分离程度；低于或高于一的值分别表示被压缩或被夸大的差异。

5 实验

5.1 实验设置

参考基准。我们用 SWE-bench Verified 和 Terminal-Bench 2.1 作为参考基准来评估 EvalBuilder。SWE-bench Verified 包含 500 项经人工筛选的仓库问题修复任务（Jimenez et al., 2024；OpenAI, 2024），Terminal-Bench 2.1 包含 89 项命令行任务（Merrill et al., 2026；Terminal-Bench Team, 2026）。对每一套参考，智能体按第 3 节所述收到可见模型的汇总分数和参考轨迹。分数提供构造目标，轨迹则为新任务的设计提供信息。

模型。每套参考使用十个候选模型，分成七个可见候选和三个留出候选。可见候选是 MiniMax-M3（MiniMax, 2026）、DeepSeek-V4-Pro（Xu et al., 2026）、Gemini-3.1-Pro 与 Gemini-3.5-Flash（Google, 2026）、GLM-5.1 与 GLM-5.2（Z.AI, 2026a；Z.AI, 2026b），以及 Kimi-2.5（Kimi Team, 2026）。留出候选是 Claude-Opus-4.7（Anthropic, 2026）、GPT-5.5（OpenAI, 2026a）和 Kimi-K2.6（Moonshot AI, 2026）。这些候选角色在查询及其对应验证器的生成期间，对构造智能体保持隐藏。

实验设置。我们在每套参考基准上评估五个构造智能体：GLM-5.2（Z.AI, 2026b）、DeepSeek-V4-Pro 与 DeepSeek-V4-Flash（Xu et al., 2026）、GPT-5.4（OpenAI, 2026b），以及 Claude-Opus-4.7（Anthropic, 2026）。每次会话得到 16 小时构造预算和 50 项任务的目标。智能体联合修订其任务数据和验证器，没有固定的迭代次数。它可以提前提交，支架也可以在进展停滞时停止打磨。构造细节和控制智能体的提示放在附录 A。收尾期间，智能体按第 4.2 节选择一对已保存的任务–验证器，或把多轮任务与一个兼容的验证器组合起来。被评测的任务数从 40 到 65，如表 1 所报告。

#### 评测指标。

我们遵循第 4.4 节所述的独立确认协议。具体而言，我们从所有候选模型采集新的回答，并用提交的验证器评估它们。我们报告总体成对准确率、可见成对准确率，以及涉及留出的成对准确率，连同总体 Spearman 相关、MAE、Bias 和 Spread。这些指标的详细定义见公式（2）–（6）。

表 1：经确认评测的结果。All、Visible 和 Held-out 分别报告 \(\mathcal{P}\)、\(\mathcal{P}_{\mathrm{vis}}\) 和 \(\mathcal{P}_{\mathrm{held}}\) 上的成对准确率。\(N\) 是被评测的任务数；\(\rho\)、MAE、Bias 和 Spread 在全部十个候选上计算。粗体标出每套参考内每个指标列的最佳值，包括并列；Bias 和 Spread 分别以零和一为最佳。

5.2 主要结果

我们用一系列前沿模型做实验，考察它们在构造高效基准时的表现和行为。对应结果报告于表 1。

排序保真度。我们首先把不同模型当作研究智能体，分析排序保真度。具体而言，在 Terminal-Bench 2.1 上，Claude-Opus-4.7 取得最高的总体成对准确率和 Spearman 相关。在 SWE-bench Verified 上，GPT-5.4 取得最高的成对准确率，而 Claude-Opus-4.7 取得最高的 Spearman 相关。这些结果与外部评测一致，后者显示 GPT-5.4 和 Claude-Opus-4.7 有很强的编码与研究能力。这表明，构造有效且高效基准的能力，与底层的编码和研究能力密切相关。

校准与分辨力。此外，我们观察到十套生成基准中有六套的散布比低于 0.5，表明模型分数之间的差异被压缩。小的 MAE 也不必然意味着准确的排序：DeepSeek-V4-Flash 在 SWE-bench 上取得最低的 MAE，但其总体成对准确率只有 0.4286。在另一极端，DeepSeek-V4-Pro 在 SWE-bench 上的散布比为 3.9056，且 Spearman 相关为负，表明分数差异被夸大，同时排序一致性很差。同一参考上的 GLM-5.2 散布比接近一（0.9846），但成对准确率只是中等（0.5714）。这些例子进一步表明我们评测框架的全面性，并突出为什么排序保真度、校准和分辨力应当分开评估。总体而言，前沿模型在构造可靠基准上表现出有希望但仍然有限的能力。Claude-Opus-4.7 表现出最强的总体排序保真度，而 GPT-5.4 在 SWE-bench 上取得最高的成对准确率。然而，所生成的基准距离成为昂贵评测的可靠替代仍然很远，尤其是当表现在留出模型上被评估时。此外，若干模型要么压缩分数差异，要么在不保住正确排序的情况下夸大它们，表明仅有校准并不足以得到可靠基准。这些结果突出了 EvalBuilder 中精心设计之约束的重要性：留出模型和重新采集的回答应当留给独立验证，生成的基准应当在多种指标上被评估，以防止过拟合到可见例子或单一指标。

图 2：每个结果相对随机排序的成对准确率（准确率减去 50%）。零线表示偶然表现。仅可见的柱表示可见–可见对；留出柱按总正确数和总比较数汇总可见–留出对与留出–留出对。

5.3 候选泛化

图 2 用公式（4）所定义的对集合，比较可见成对准确率与涉及留出的成对准确率。DeepSeek-V4-Pro 在 SWE-bench Verified 上说明了一个大缺口：其可见准确率是 0.7000，但涉及留出的准确率跌到 0.1364。因此，对构造期间所用模型的强一致性，未必转移到新候选上。其他运行在涉及留出模型的比较上保住了更强的表现。Claude-Opus-4.7 在 Terminal-Bench 上达到 0.7500 的涉及留出准确率，而 GPT-5.4 和 Claude-Opus-4.7 在 SWE-bench 上都达到 0.6818。这一指标既包括可见模型与留出模型之间的比较，也包括留出集合内部的比较。作为补充诊断，SWE-bench 上的 Claude-Opus-4.7 运行在仅留出的对上得分为 0/3，因为它的三个留出分数打成平手。因此它更高的汇总准确率来自跨可见集与留出集的比较。

5.4 效率分析与案例研究

图 3：智能体基准与所生成轻量基准的评测时间。

图 4：模型为改进构造高效基准之表现所采用策略的案例研究。

我们报告参考基准的评测时间——它们需要笨重的评测程序——以及我们的智能体所生成基准的评测时间，如图 3 所示。效率比较表明，在模型评测期间减少推理时间有很大潜力。紧凑的生成基准可以使重复评测快得多，尽管估计的节省仍有待通过直接计时测量来验证。我们进一步通过分析模型在演化过程中的轨迹和它们所用的策略，来分析其行为。图 4 说明一个智能体采用了来自经典集成方法的熟悉想法：根据评测反馈给互补信号加权。GLM-5.2 把程序化测试、正确性判断和结构检查组合起来，搜索七种权重组合，并选择 55/20/25 的混合。它随后对两个评判取平均，并把权重重调到 45/30/25，保住 0.75 的可见成对准确率，同时把 Pearson 相关从 0.577 提高到 0.604。这个例子表明，智能体可以通过改写加权聚合和集成评分这类已有想法，自主构造评测器。更多结果见附录 C 和 D。

6 结论

在这项工作中，我们把自动基准开发作为 LLM 研究智能体的一种新兴能力来研究。我们表述一个设定，其中智能体从昂贵的参考评测构造高效的代理基准，并提出 EvalBuilder，一个沿保真度、效率与稳健性评估所生成基准质量的系统框架。我们的评测考虑所生成的基准是否保住模型排序，是否泛化到留出模型和新回答，以及是否在降低评测成本的同时提供有信息量的分数。除了度量基准质量，我们的框架还揭示自动生成之评测器的常见失败模式，并为迭代打磨基准提供一个实用环境。我们希望这项工作迈出一步，减少评测设计所需的人力，并且更广泛地，走向越来越自动化的模型开发流水线，其中智能体不仅能解题，也能帮助构造评估进展的可靠机制。

译注：参考文献与附录 A–D 因单篇正文约 64KB 上限，拆到续篇 evalbuilder-efficient-benchmarks-rest-zh。