用缓存轨迹做任务高效的智能体评测

用缓存轨迹做任务高效的智能体评测

Ben Johnson 单位：Jataware

Hayden Helm 单位：Helivan

脚注：通讯作者：hayden@helivan.io

摘要

高效基准测试用少量任务执行来估计一个系统在整个基准上的表现。标准做法只依赖一批已经评测过的参考系统在各次执行上的二元对错。然而，一个智能体系统每次执行都会产生一条内容丰富的轨迹，这些轨迹能更多地揭示它的能力。要用上这些信息，就需要有用的轨迹表示。我们提出：用一个大语言模型抽出轨迹的结构化摘要，再用一个标准文本编码器给这份摘要做嵌入，以此表示一条轨迹。这些表示保留了与正确性和任务相关的信号，同时压低了原始轨迹嵌入里占主导的系统身份、模型家族和支架信号。有了全部参考系统在每次任务执行上的这种表示之后，我们构造系统的低维表示，并根据一个新系统在参考系统之中的位置来预测它的分数。在 SWE-bench Verified 和 Terminal-Bench 2.0 上，当只提供一次随机执行的任务时，用这种基于几何的预测去增强项目反应模型，平均绝对误差分别从 0.13 降到 0.08（Wilcoxon $p<10^{-4}$）和从 0.14 降到 0.12（Wilcoxon $p<10^{-3}$）。进一步地，在能接触到全部参考系统的前提下，无论执行多少次任务，我们的方法在两个基准上都优于各基线。

1 引言

生成式模型的用法越来越像智能体：系统会做计划、调用工具、观察中间结果，并在很长的时间跨度上迭代，以完成复杂任务（Yang et al., 2024; Wang and others, 2025）。随着智能体能力增强，一个给定系统可能被部署的场景范围也在扩大；与此同时，在把这个系统交给有后果的工作之前，必须评测它的基准数量也在增加（Kapoor et al., 2026）。然而，智能体评测很贵。每一次任务执行都需要一个妥善沙箱化的环境，并且经常消耗数十万 token（Jimenez et al., 2024; Merrill et al., 2026）。在一个基准上做完整评测，花费经常超过 2,000 美元（Kapoor et al., 2026）。鉴于这一成本，要提高一个智能体系统的评测覆盖，高效评测是必要的。

任务高效的评测方法处理这个问题的方式，是在先前已评测参考系统所提供的条目级信息里找出结构，从而降低评测一个新系统的成本。有些任务高效的评测方法只需要参考系统的条目级分数（Maia Polo et al., 2024; Vivek et al., 2024; Kipnis et al., 2025; Bowyer et al., 2026）。另一些方法利用缓存产物里的信息，例如自然语言回答（Acharyya et al., 2024; Helm et al., 2025）或残差流（Duderstadt et al., 2023），来度量系统们在一组任务上的相似度。智能体工作流在执行任务时常常产生产物——文件差异、工具调用、中间计划和错误信息——它们被一起记在一条执行轨迹里，可以用于这一目的。现有的使用缓存产物的方法依赖现成的嵌入函数，而这些函数通常更能抓住系统或模型的特异性（Sun et al., 2025），而不是轨迹的功能。沿着这条线，我们做出两项主要贡献：

1. trubric 轨迹表示。 我们引入 trubric（trace rubric，轨迹量规）：一种轨迹表示，做法是用一个大语言模型抽出轨迹的任务专用结构化摘要，再用一个标准文本编码器给这份摘要做嵌入。我们表明，在七个现代文本编码器上，trubric 嵌入保留了与任务和系统行为相关的信息，同时尽量减少系统、模型家族和支架特有的信号。

2. 用缓存轨迹做任务高效的评测。 给定目标系统和一组参考系统在一组任务上的 trubric 嵌入，我们评估它们在三种不同的智能体系统评测协议下，对预测目标系统在 SWE-bench Verified 和 Terminal-Bench 2.0 上完整基准分数的用处。我们发现，基于 trubric 的估计器与项目反应模型结合后，在两个基准上把单任务平均绝对误差分别从 0.13 降到 0.08（$p<10^{-4}$）和从 0.14 降到 0.12（$p<10^{-3}$），并且在每一个任务预算上几乎总是好于基线（表 1）。

表 1：在留一族评测以及不同任务选择协议下，基准分数估计器在 SWE-bench Verified 和 Terminal-Bench 2.0 上的平均绝对误差（MAE）。加粗的值是给定（基准、任务选择、任务数）下最好的方法。加下划线的值是按双侧 Wilcoxon 符号秩检验、相对于 IRT 具有统计显著性（$\alpha=0.05$）的比较。trubric 与 IRT 的凸组合同时利用了轨迹几何和每条轨迹的分数，在所有设定里都是最好或接近最好的。

1.1 问题陈述

就我们的目的而言，一个智能体系统 $f\in\mathcal{F}$ 是从任务空间 $\mathcal{T}$ 到轨迹空间 $\mathcal{X}$ 的一个随机映射。一个基准是任务的一个固定集合 $T^{*}=\{t_{1},\ldots,t_{M}\}\subset\mathcal{T}$。每条轨迹由该基准的轨迹级评分函数 $s:\mathcal{X}\to\{0,1\}$ 来评分，系统有一个基准分数 $y(f)=\frac{1}{M}\sum_{j=1}^{M}\mathbb{E}\left[s(f(t_{j}))\right]$，其中期望是关于 $f$ 的随机性取的。在上下文清楚时，我们把 $y(f)$ 写成 $y$，把 $y(f_{i})$ 写成 $y_{i}$。

评测一个新系统时，我们通常可以接触到 $\mathcal{D}=\left\{\{(x_{ij},s(x_{ij}))\}_{j=1}^{M}\right\}_{i=1}^{n}$，也就是 $n$ 个先前已评测参考系统 $f_{1},\ldots,f_{n}$ 的轨迹和轨迹级分数，其中 $x_{ij}\sim f_{i}(t_{j})$。对目标系统 $f_{0}$，我们只在子集 $T\subset T^{*}$ 上观察到轨迹（以及可选的轨迹级分数），$|T|=m\ll M$，我们的目标是仅用目标的 $m$ 条执行轨迹（以及可选的它们的分数）和 $\mathcal{D}$，来估计该系统的完整基准分数 $y_{0}$。

译注：上式里的 $f$ 是智能体系统，$T^{*}$ 是基准任务全集，$s$ 是把一条轨迹映到 0 或 1 的评分函数，$y(f)$ 是各任务上期望分数的平均，$m$ 是目标实际执行的任务数，$n$ 是已有参考系统的个数。

2 相关工作

#### 表示智能体轨迹。

嵌入模型产物的标准工具，是在句子级语义相似度上训练的文本编码器（Reimers and Gurevych, 2019; Su et al., 2023; Nussbaum and Duderstadt, 2025）。然而，智能体轨迹会隐式或显式地编码系统元数据，这些元数据对下游任务可能并不相关（Sun et al., 2025; Oderinwale, 2026），因此语义嵌入模型不一定能把它们编码好。相反，轨迹主要是通过失败模式与动作的分类法（Cemri et al., 2025; Shu et al., 2026）以及大语言模型评判（Zhuge et al., 2025; Mehtiyev and Assunção, 2026）来研究的。平行的工作用大语言模型改编输出，使它们更容易经由语义来比较（Ravfogel et al., 2024; Peng et al., 2024; Benara et al., 2024）。trubric 把这一点用到智能体轨迹上，做法是嵌入每条轨迹的任务专用结构化摘要。

#### 高效基准测试。

任务高效的基准测试用少量执行来估计一个系统的完整基准分数。高效基准测试的主导范式围绕项目反应理论（IRT）（Birnbaum, 1968）：用 $m\leq M$ 个条目级分数来估计目标系统的分数，依据的是任务难度与区分度之间的关系，给它分配一个潜在能力（Maia Polo et al., 2024; Kipnis et al., 2025）。IRT 的扩展会选择信息量大的或自适应的任务子集（Vivek et al., 2024; Truong et al., 2025）。一个互补的范式表示系统本身，要么来自它们的分数画像（Ruan et al., 2024; Zhuang et al., 2025），要么来自它们执行任务时产生的产物（Duderstadt et al., 2023; Acharyya et al., 2024; Helm et al., 2025）。例如，乘积核视角空间（PKPS）（Helm et al., 2026a）把语言模型表示为欧氏对象，这些对象是对其嵌入回答之间的距离做多维标度得到的。Helm et al. (2026b) 在类似的表示上回归基准分数，并证明该估计相对于样本分数是任务高效的。trubric 通过提供一种有效的轨迹编码，使基于几何的方法能够扩展到智能体系统。我们表明，当全部参考系统可用时，这两种做法——基于分数的 IRT 和基于轨迹的 PKPS——可以组合起来，在任意给定的已执行任务数上超过任一组成方法。

3 方法

我们首先给出 trubric。然后描述如何基于 trubric 嵌入构造系统 $f_{0},f_{1},\ldots,f_{n}$ 的表示，这些表示可以用来在 $\mathbb{R}^{d}$ 里训练一个简单回归器，以做任务高效的评测。我们在第 4 节评估所提出的方法。

3.1 用于表示轨迹的任务专用量规

图 1：三种表示轨迹的方法（嵌入原始轨迹、嵌入基于通用量规的结构化摘要、嵌入基于任务专用量规的结构化摘要），在保留或去掉属性（i）–（v）上做评估。基于 trubric 的表示更擅长保留相关信号（（i）任务和（ii）正确性），同时削弱关于系统特异性的信息（（iii）系统身份、（iv）模型家族和（v）支架）。

用于基准预测的轨迹表示，应当在两条轨迹反映了某任务上相似的执行行为时，把它们放得靠近。具体地说，我们考虑一条轨迹的五个属性，一种表示可能会编码它们：（i）任务（即这条轨迹对应哪一个任务），（ii）正确性（即这条轨迹是否产生了正确输出），（iii）系统身份（即哪一个系统产生了这条轨迹），（iv）模型家族（即底层生成模型的家族），以及（v）支架（即用来产生这条轨迹的支架）。对用轨迹做高效基准测试而言，理想的表示编码（i）和（ii），但不编码（iii）–（v）。trubric 分两个阶段构造这样一种表示。

首先，对每个任务 $t_{j}$，用任务描述提示一个大语言模型，以实例化一份任务专用量规。量规是 $K$ 个字段的集合 $R_{j}=(r_{j}^{(1)},\ldots,r_{j}^{(K)})$，每个字段描述执行行为的一个方面（例如相关代码是如何被找到的）。量规在给定任务的所有轨迹之间共享，字段在任务之间共享。附录 A.1 给出了一份量规示例。

其次，对每条轨迹 $x_{ij}$，我们用一个大语言模型为每个字段产生一段短摘要 $z_{ij}^{(k)}$。然后用一个把文本映射到 $\mathbb{R}^{p}$ 的语义嵌入模型 $g$ 分别嵌入每个字段的摘要，并拼接起来，得到轨迹表示 $\phi(x_{ij})=(g(z_{ij}^{(1)}),\ldots,g(z_{ij}^{(K)}))\in\mathbb{R}^{K\cdot p}$。附录 A.1 给出了给定任务上抽出的摘要的两个例子。

图 1 沿轴（i）–（v）把 trubric 与两个基线做比较。越靠近边缘的值，对给定属性而言就越接近高效基准测试所理想的表示。实验细节在第 4 节给出。

3.2 在乘积核视角空间中的推断

给定轨迹表示，我们经由乘积核视角空间（PKPS）来表示智能体系统。在构造系统的几何之前，轨迹表示要按任务、按字段减去跨系统的平均值来中心化，以强调行为上的差异。令 $\tau$ 表示任务描述的文本嵌入，并令 $\kappa_{\sigma}(t,t^{\prime})=\exp\left(-\|\tau(t)-\tau(t^{\prime})\|^{2}/2\sigma^{2}\right)$。对 $\phi,\phi^{\prime}\in\mathbb{R}^{K\cdot p}$，令 $\langle\phi,\phi^{\prime}\rangle=\phi^{T}\phi^{\prime}$。对在任务集 $T_{a}$ 和 $T_{b}$ 上评测过的系统 $f_{a}$ 和 $f_{b}$，定义加权相似度

$$\langle f_{a},f_{b}\rangle=\frac{\sum_{t\in T_{a}}\sum_{t^{\prime}\in T_{b}}\kappa_{\sigma}(t,t^{\prime})\,\langle\phi(x_{at}),\phi(x_{bt^{\prime}})\rangle}{\sum_{t\in T_{a}}\sum_{t^{\prime}\in T_{b}}\kappa_{\sigma}(t,t^{\prime})},$$

对应的平方距离 $\delta^{2}(f_{a},f_{b})=\langle f_{a},f_{a}\rangle+\langle f_{b},f_{b}\rangle-2\langle f_{a},f_{b}\rangle$，以及 $\Delta_{ab}=\delta^{2}(f_{a},f_{b})$。在 $f_{0},f_{1},\ldots,f_{n}$ 上定义了 $\Delta$ 之后，对 $\Delta$ 应用经典多维标度（Torgerson, 1952），就得到系统相对于集体任务集的 $d$ 维欧氏表示 $(\psi_{0},\psi_{1},\ldots,\psi_{n})\in\mathbb{R}^{(n+1)\times d}$。重要的是，只要 $|T_{a}|>0$ 且 $|T_{b}|>0$，即使 $|T_{a}|\neq|T_{b}|$，式（1）也有定义，因此目标系统自然地被表示在与参考系统相同的空间里。典型情况是 $|T_{0}|=m\ll M$，而对所有 $i\in\{1,\ldots,n\}$ 有 $|T_{i}|=M$。

给定 $\mathcal{D}$ 和 $\psi_{1},\ldots,\psi_{n}$，我们在 $(\psi_{1},y_{1}),\ldots,(\psi_{n},y_{n})$ 上训练一个简单回归器，并把它用到 $\psi_{0}$ 上，得到 $\hat{y}_{\mathrm{geom}}$，即对 $f_{0}$ 的完整基准分数 $y_{0}$ 的一个估计。图 2 展示了在不同参考系统数量和每个系统已执行任务数量下，使用原始轨迹嵌入（上）和 trubric 嵌入（下）时 $d=2$ 的视角。每个点是一个系统，按它在 SWE-bench Verified 上的完整基准分数着色。按留一系统评测（LOSO；见第 4 节）上更低的平均绝对误差来看，基于 trubric 的 PKPS 含有更多信息。最后，我们指出 $\hat{y}_{\mathrm{geom}}$ 不使用任何条目级分数信息。

译注：式中 $\kappa_{\sigma}$ 是任务描述嵌入之间的高斯核，$\phi$ 是轨迹表示，$\langle f_{a},f_{b}\rangle$ 是两个系统在各自已执行任务集上的加权相似度，$\delta^{2}$ 是由该相似度导出的平方距离，$\psi$ 是多维标度之后的系统坐标，$\hat{y}_{\mathrm{geom}}$ 是只根据几何位置、不看条目对错而得到的完整基准分数估计。目标系统因此可以和参考系统画在同一张图上。

4 实验

图 2：在不同参考系统数量和任务执行次数下，用原始轨迹嵌入（上）和 trubric 嵌入（下）诱导出的二维乘积核视角空间（PKPS）。每个点是一个系统，按它在 SWE-bench Verified 上的完整基准分数着色。对给定设定，由 trubric 嵌入诱导的系统流形对完整基准分数更有预测力，度量方式是留一系统协议下的 MAE。

接下来我们介绍用来评估轨迹嵌入、以及用来评估基于轨迹的几何以做高效评测的数据集，描述轨迹嵌入分析以及三种不同的智能体评测协议，并描述基线。然后我们跨基准、评测协议、任务预算和设计选择，把基于 trubric 的估计器与基线做比较。

#### 基准数据。

我们考虑两个智能体基准：

1. SWE-bench Verified（Jimenez et al., 2024; OpenAI, 2024）由 500 个经人工核验的软件工程任务组成，这些任务取自真实的 GitHub issue。它的公开排行榜包含来自 119 个互不相同系统的提交。我们考虑其中 107 个具有完整公开轨迹档案和逐任务结果的系统。我们下采样到 $M=100$ 个任务（附录 C）。我们令 $y_{i}$ 为全部 500 个任务上的官方解决率。系统与任务的完整列表见附录 C。

2. Terminal-Bench 2.0（Merrill et al., 2026）由 89 个命令行任务组成，在一份标准化的支架规范下执行。它的排行榜包含来自 75 个系统的提交。每个系统对每个任务尝试五次。我们分析 65 个公开轨迹覆盖率至少为 90% 的互不相同系统。对给定的（系统，任务），我们使用单次尝试的轨迹和二元结果，并令 $y_{i}$ 为所有任务、所有尝试上的平均解决率。系统与任务的完整列表见附录 C。

#### 轨迹嵌入评估。

为了量化一种轨迹表示编码了什么，我们训练平衡的线性分类器，从一条留出轨迹的嵌入来预测第 3.1 节的五个属性中的每一个。系统级属性（iii）–（v）的分类器在留出的任务上评估。属性（i）和（ii）的分类器在留出的系统组上评估。我们使用缓存的 SWE-bench Verified 轨迹来评估轨迹表示，并报告每个属性的平衡准确率。对属性（i）和（ii），更高的准确率更好。对属性（iii）–（v），接近机会水平的准确率更好。分类任务的详细描述见附录 A.2。

#### 轨迹嵌入基线。

我们把 trubric 嵌入与两种基线表示做比较：原始轨迹，用 $g$ 嵌入每条轨迹的开头和结尾；以及 通用，它遵循第 3.1 节的两阶段构造，但用固定的字段描述代替任务专用量规。除非另有说明，通用表示和 trubric 表示都使用 $K=6$ 个字段，并以 DeepSeek-V4-Flash（DeepSeek-AI, 2026）同时作为量规生成器和摘要器。对嵌入函数 $g$，我们考虑七个文本编码器：text-embedding-3-small（Neelakantan et al., 2022）、nomic-embed-text-v1.5（Nussbaum et al., 2025）、bge-large-en-v1.5（Xiao et al., 2024）、gte-large（Li et al., 2023）、e5-large-v2（Wang et al., 2022）、all-mpnet-base-v2，以及 all-MiniLM-L6-v2（Reimers and Gurevych, 2019）。这些编码器涵盖开源与闭源模型、多种架构和训练流程，以及不同的嵌入维度大小。提示词和固定字段描述见附录 A.3。

#### 高效基准测试的评估协议。

现代排行榜包含许多共享底层模型或支架的条目。为了模拟评测一个新模型或新支架、以及评测这二者的新组合的过程，我们考虑三种不同的评估协议：留一系统，只把目标本身从参考中排除；留一族，还额外排除底层模型家族与目标相同的参考；以及 留一支架，排除与目标共享支架的参考。把一个系统指派到模型家族或支架的详细描述见附录 C。

#### 高效基准测试基线。

我们把基于 trubric 的预测与五个基线做比较：总体均值（参考系统基准分数的均值）、样本分数（目标已观察到的 $m$ 个轨迹级分数的均值）、原始轨迹（把 PKPS 流水线应用到原始轨迹嵌入）、通用（把 PKPS 流水线应用到通用量规嵌入），以及两参数 IRT。我们也考虑凸组合 $\hat{y}_{\alpha}=\alpha\,\hat{y}_{\mathrm{IRT}}+(1-\alpha)\,\hat{y}_{\mathrm{geom}}$，其中 $\alpha\in[0,1]$ 经由交叉验证选出。我们把这个凸组合称为 IRT $+$ trubric。对 trubric、原始轨迹和通用，回归器及其超参数在每次任务抽取上经由参考系统上的交叉验证来选择。所有估计器的实现细节，包括 IRT 的技术描述，见附录 B。

#### 任务选择方法。

对每个任务预算 $m$，我们考虑两种为目标准备其 $m$ 个已执行任务的选择方法。随机选择均匀抽取这 $m$ 个任务。报告的结果是对 50 个随机抽样的任务子集取平均。自适应选择用拟合好的项目反应模型贪心地选择任务。具体地说，每一步都执行当前能力后验下期望 Fisher 信息最高的那个任务，并更新后验（附录 B）。

4.1 结果

图 3：基准分数估计器的 MAE 随已执行任务数变化的曲线，上为 SWE-bench Verified，下为 Terminal-Bench 2.0，协议是三种不同的现实评测协议：留一系统（左）、留一族（中）和留一支架（右）。阴影区域表示 $\pm 1$ 标准误。trubric 与 IRT 的组合在所有协议、基准和已执行任务数上都占优（也就是从不更差，并且有时更好）。

#### 基于量规的预处理产生更有用的轨迹表示。

图 1 表明，通用量规和任务专用量规都减少了关于系统身份、模型家族和支架的可恢复信息，同时保留了任务和正确性信息。如上所述，这些属性会引入滋扰变异，并掩盖系统如何执行任务上的相似之处。与通用量规相比，任务专用量规对身份相关信号的削减更大。这些定性模式在全部七个嵌入模型上都持续存在。

属性（i）–（v）上的差异也反映在用于预测基准分数的系统级几何的质量上。图 2 表明，与原始轨迹嵌入相比，trubric 下系统在嵌入空间中的位置与基准分数之间的关系更强。在图 3 中，使用 trubric 表示时，留一系统预测误差随额外任务下降得比使用原始轨迹嵌入时更快。在 SWE-bench Verified 上、留一族评测下，把任务预算从 1 增加到 20，trubric 的仅几何 MAE 从 0.081 降到 0.060，而原始轨迹是从 0.099 降到 0.089。表 1 进一步表明，通用量规在 SWE-bench 的小预算上有竞争力，不过任务专用量规在 Terminal-Bench 2.0 上带来更大的改进。本文余下部分里，“轨迹几何”指基于 trubric 的几何。

#### 轨迹几何支持任务高效的基准预测。

表 1 和图 3 表明，对小任务预算（$m\leq 10$），基于 trubric 的几何比样本分数更准确地预测完整基准表现，并且在所有预算上都比总体均值更准确。基于 trubric 的几何在小任务预算上也可以超过 IRT，而 IRT 利用的是参考系统的正确性模式。在 SWE-bench 上，该几何从 1 个到 10 个随机任务都产生更准确的估计（图 3）。在 Terminal-Bench 上，$\hat{y}_{\mathrm{geom}}$ 在一个任务时超过 IRT，但从三个任务起 $\hat{y}_{\mathrm{IRT}}$ 更准确。我们强调，几何方法只需要目标的轨迹内容，不需要它的正确性标签，这意味着在给目标任务评分不可行的设定里（例如由于成本、缺乏专门知识等），只要有已评分的参考系统，这些方法仍然适用。$\hat{y}_{\mathrm{geom}}$ 可以解释为对完整基准分数的一个高偏差、低方差估计。

图 4：在 SWE-bench Verified 上、留一族评测协议下，基准分数估计器在可接触不同数量参考系统（左）、不同任务选择程序（中）以及不同文本编码器（右）时的 MAE。嵌入模型分析（右）只考察嵌入模型对 $\hat{y}_{\mathrm{geom}}$ 的影响。

#### 把轨迹几何与 IRT 结合起来最好。

随着任务预算增长，基于轨迹的预测和基于正确性的预测表现出不同的行为：基于轨迹的预测在执行次数很少时就有信息量，而 IRT 随着任务数增加而大幅改进。图 3 表明，把它们的预测组合起来，会在所有已评估的预算和基准上改进预测。在 SWE-bench 上 $m=5$ 时，IRT $+$ trubric 达到 0.063 的 MAE，而单独几何是 0.069（Wilcoxon 的 $p<10^{-4}$），IRT 是 0.088（Wilcoxon 的 $p<10^{-12}$）。在 Terminal-Bench 上——这里 IRT 相对更强——组合达到 0.090，而几何是 0.107（Wilcoxon 的 $p<10^{-3}$），IRT 是 0.097（Wilcoxon 的 $p<10^{-2}$）。这些结果表明，执行产物和正确性结果具有互补的预测价值。这一宽泛模式在图 3 的系统排除、家族排除和支架排除协议上都持续存在，尽管改进的幅度有所不同。

#### 性能随参考集变大而提高。

图 4 的左图表明，增加参考系统的数量通常会同时改进 IRT 和基于几何的估计器。在 SWE-bench 上、$m=5$ 个随机任务时，把 $n=20$ 扩大到 $n=107$，仅几何 MAE 从 0.086 降到 0.069，IRT $+$ trubric 的 MAE 从 0.081 降到 0.063。几何的贡献取决于参考是否充足：在参考系统很少、任务预算很大时，IRT 可以超过仅几何的方法。中等预算（$m=20$）、小参考集（$n=20$）这一档，是 IRT 超过凸组合的唯一设定。

#### 自适应任务选择可以与基于轨迹的估计组合。

自适应任务选择带来进一步的改进。在 $m=5$ 个自适应任务时，IRT $+$ trubric 在 SWE-bench 上达到 0.048 的 MAE，而五个随机任务是 0.063（表 1）。表 1 与图 4 的中图合在一起表明，自适应选择同时改进 IRT 和基于几何的预测，并且可以进一步提高评测效率。

#### 预测对文本编码器的选择不敏感。

我们在图 4 的右图里评估 trubric 预测在 SWE-bench 上对文本编码器选择的敏感性。这一效应很小（在任何固定设定下至多 0.008 MAE），相对于目标任务数量或任务选择的效应（从 1 个到 20 个随机任务是 0.081 到 0.060；在 $m=5$ 时随机相对自适应选择是 0.063 到 0.048）以及参考系统数量的效应（在 $m=5$ 时是 0.086 到 0.069）。

图 5：在 SWE-bench Verified 和 Terminal-Bench 2.0 上使用不同基准分数估计器时，达到特定 MAE 的成本（左和中左）以及成对排序误差（中右和右）。星号表示产生真实基准分数的成本。理想方法误差低（靠左）并且便宜（靠下）。成本按每次任务执行名义上 2 美元计算。数值用表 1 所依据的留一族结果来估计；对成对误差，则用真实分数相差至少 0.05 的系统对的留二比较。

#### 轨迹几何降低达到给定预测误差的成本。

图 5 把误差曲线转换成评测一个系统的成本。对这一比较，我们假设每次智能体执行成本为 2 美元（Jimenez et al., 2024; Merrill et al., 2026; Kapoor et al., 2026），并假设用大语言模型做（t）量规创建和摘要、以及嵌入轨迹的成本都可以忽略。在 SWE-bench 上，IRT $+$ trubric 用一个随机任务就达到低于 0.10 的 MAE，而 IRT 需要五个任务，样本分数需要二十个任务。这分别对应于估计的目标执行成本 2 美元、10 美元和 40 美元。

我们也评估头对头比较两个系统的方法。对真实基准分数相差至少 0.05 的每一对系统，我们把两个系统都从参考中排除，并询问一个估计器能否从每个系统 $m$ 次随机执行中正确识别更好的那个系统（图 5 右两幅）。在 SWE-bench 上，IRT $+$ trubric 在每个系统只有一个任务时就正确判定 88% 的系统对，而 IRT 是 79%，样本分数是 69%。到每个系统五个任务时，所有估计器都超过 90%，基于分数的估计器具有竞争力或更好。在 Terminal-Bench 上，IRT 在每一个被测试的预算上都是最准确的估计器。因此，轨迹信息对头对头比较最有价值的地方是最低预算档：每个系统只执行一个任务（这一对是 4 美元），就能在将近十分之九的系统对里识别出更好的系统。

#### 更大量规提高平均性能。

图 6 改变通用量规和任务专用量规所包含的字段数，对从一个 32 字段库中抽出的子集取平均性能。对两种构造，增加字段通常都会提高平均预测准确率。在 $m=5$ 且参考系统集合很大时，把任务专用量规从一个字段增加到六个字段，平均 MAE 从 0.090 降到 0.081（Wilcoxon 的 $p<10^{-5}$）。使用全部 32 个字段进一步把它降到 0.077（Wilcoxon 的 $p<10^{-3}$）。任务专用量规通常优于通用量规，尤其是在参考系统更少、已执行任务更多的时候。

图 6 也报告了表现最好的量规。每个点都为该设定单独在被测试的子集中选出平均误差最低的那个。这些事后选择表明，存在有利的小量规，在轨迹嵌入要长期存储的设定里，它们可能更受偏好。重要的是，随着字段数增加，被选出的子集不必是嵌套的，因此它们的性能不必单调改进。我们没有试图优化这些字段。32 个字段名的完整列表见附录 A.4。

图 6：用来抽出轨迹结构化摘要的量规中字段数量，对 MAE 的影响；横轴情形覆盖不同的已执行任务数和参考系统数，并且同时包括任务专用量规和通用量规。我们同时报告字段集合的平均 MAE（粗线）和表现最好的 MAE（细线）。一般而言，当参考系统更少、已执行任务更多时，任务专用量规优于通用量规。

5 讨论

我们引入了 trubric，一种轨迹表示，做法是用一个大语言模型抽出轨迹的任务专用结构化摘要，再用一个标准文本编码器给这份摘要做嵌入。在七个文本编码器上，trubric 嵌入保留了关于任务以及一次执行是否正确的信息，同时尽量减少关于产生它的系统、模型家族和支架的特异性信息。

然后我们提出用 trubric 嵌入来诱导智能体系统的表示，以做任务高效的评测。所得到的几何支持从少到一次已执行任务来准确预测基准分数，并且在全部参考系统可用时，与项目反应模型结合后，在任何任务预算上都不比任一组成方法更差。

组合估计器把在 SWE-bench Verified 上达到低于 0.10 的 MAE 的成本，从每个系统 10–40 美元降到 2 美元。这些结果对主要设计选择相对稳健：文本编码器、量规字段数，以及任务选择方法。重要的是，这些结果支持如下主张：随着系统和基准的数量继续增长，从缓存执行里抽出比二元正确性更多的东西，可以提高智能体评测的效率——从而为给定系统提供一条提高评测覆盖的途径。

5.1 局限

我们沿与高效评测相关的五个属性评估了 trubric。对于人们也许会用轨迹去做的其他任务，例如变化检测（Bridgeford and Helm, 2025）、在线监测（Helm et al., 2026c）、早停（Ruan et al., 2026; Wang et al., 2026）或转向（Rahn et al., 2024），我们不对这种表示的用处做任何主张。我们把类 trubric 表示在这些任务上的研究留给未来工作。

如上所述，我们没有试图优化量规。第 4.1 节的量规规模实验表明，存在有利的小量规。开发经过验证的程序来选择或学习量规字段，例如把元指令参数化，是一个开放问题，我们预期它对准确率有小到中等的影响。我们也指出，trubric 的字段可以被重新配置，以放大或抑制输入数据中任意的变异维度。

在我们的分析里，我们只把 DeepSeek-V4-Flash（经由 OpenRouter 访问）当作量规生成器和轨迹摘要器。我们本打算在消融研究里加入其他前沿模型，但一家提供商的 API 服务封禁了我们的账户，并指责我们试图蒸馏推理轨迹。我们把这条记录当作一个警告：按基于轨迹的评测所要求的规模去摘要轨迹，在自动化执法系统看来可能像蒸馏，并可能导致账户被封。无论如何，我们把这两个角色的敏感性分析留给未来工作。

最后，我们只考虑高度整理过的、配对的设定，其中每个参考系统都执行了单一基准的（几乎）每一个任务。我们不考虑覆盖稀疏或任务集不相交的参考，也不考虑跨基准共享的信号。我们通篇使用的 PKPS 表述两者都支持——式（1）对未配对的任务集有定义——并且我们预期，整理程度更低、规模更大的参考集合会进一步降低评测成本。

致谢

我们要感谢 Brandon Duderstadt、Youngser Park 和 Carey Priebe 在本稿开发过程中给出的反馈。我们感谢美国国防高级研究计划局（DARPA）“可量化人工智能”（AIQ）奖项 HR00112520026 的资助。

人工智能使用声明

在这项工作中，我们使用生成式人工智能工具来实现方法，并做简单的数据处理。我们也在产物的制作中使用了人工智能（例如，提示一个编码智能体用 Matplotlib 来作图），并在用户大量指导下起草和编辑了稿件的部分内容。我们已经审阅了所有人工智能辅助的工作。例如，生成的代码由全体作者核验并测试了正确性，生成的文本经过了大量编辑。我们对这项工作的最终内容负责，包括在生成式人工智能帮助下产生的文本、主张或产物。

参考文献

• Acharyya et al. (2024)

A. Acharyya, M. W. Trosset, C. E. Priebe, and H. S. Helm 在数据核视角空间中对生成模型表示做一致估计。 arXiv 预印本 arXiv:2409.17308。 外部链接：文档 被引用于：§1，§2。

• Benara et al. (2024)

V. Benara, C. Singh, J. X. Morris, R. J. Antonello, I. Stoica, A. G. Huth, and J. Gao 通过向大语言模型提问，为语言神经科学制作可解释嵌入。 载于神经信息处理系统进展（Advances in Neural Information Processing Systems，NeurIPS）， 注：arXiv:2405.16714 被引用于：§2。

• Birnbaum (1968)

A. Birnbaum 若干潜在特质模型及其在推断被试能力中的用途。 载于 Statistical Theories of Mental Test Scores，F. M. Lord and M. R. Novick（编）， 第 397–479 页。 被引用于：§2。

• Bowyer et al. (2026)

S. Bowyer, A. Locatelli, and K. Cao 高效基准测试不过是特征选择与多元回归。 arXiv 预印本 arXiv:2605.25773。 外部链接：文档 被引用于：§1。

• Bridgeford and Helm (2025)

E. Bridgeford and H. Helm 检测多智能体系统中的视角转移。 arXiv 预印本 arXiv:2512.05013。 外部链接：文档 被引用于：§5.1。

• Cemri et al. (2025)

M. Cemri, M. Z. Pan, S. Yang, L. A. Agrawal, B. Chopra, R. Tiwari, K. Keutzer, A. Parameswaran, D. Klein, K. Ramchandran, M. Zaharia, J. E. Gonzalez, and I. Stoica 多智能体大语言模型系统为什么会失败？ 载于神经信息处理系统进展（Advances in Neural Information Processing Systems，NeurIPS）， 注：arXiv:2503.13657 被引用于：§2。

• DeepSeek-AI (2026)

DeepSeek-AI DeepSeek-V4：走向高效的百万 token 上下文智能。 arXiv 预印本 arXiv:2606.19348。 外部链接：文档 被引用于：§4。

• Duderstadt et al. (2023)

B. Duderstadt, H. S. Helm, and C. E. Priebe 用数据核比较基础模型。 arXiv 预印本 arXiv:2305.05126。 外部链接：文档 被引用于：§1，§2。

• Helm et al. (2025)

H. Helm, A. Acharyya, Y. Park, B. Duderstadt, and C. Priebe 在数据核视角空间中对黑盒生成模型做统计推断。 载于计算语言学协会发现（Findings of the Association for Computational Linguistics，ACL）， 第 3955–3970 页。 注：arXiv:2410.01106 外部链接：文档 被引用于：§1，§2。

• Helm et al. (2026a)

H. Helm, A. Ghosh, B. Johnson, and C. Priebe 用稀疏且未配对的缓存回答做基准预测。 外部链接：2611.03614，链接，文档 被引用于：§2。

• Helm et al. (2026b)

H. Helm, B. Johnson, and C. Priebe 用缓存回答做查询高效的模型评测。 载于国际机器学习会议（International Conference on Machine Learning，ICML）， 注：arXiv:2605.07096 被引用于：§2。

• Helm et al. (2026c)

H. Helm, C. Priebe, and B. Duderstadt 面向多智能体系统的控制图。 arXiv 预印本 arXiv:2605.11135。 外部链接：文档 被引用于：§5.1。

• Jimenez et al. (2024)

C. E. Jimenez, J. Yang, A. Wettig, S. Yao, K. Pei, O. Press, and K. Narasimhan SWE-bench：语言模型能解决真实世界的 GitHub issue 吗？ 载于国际表征学习会议（International Conference on Learning Representations，ICLR）， 注：arXiv:2310.06770 被引用于：§1，条目 1，§4.1。

• Kapoor et al. (2026)

S. Kapoor, B. Stroebl, P. Kirgis, N. Nadgir, Z. S. Siegel, et al. 整体智能体排行榜：人工智能智能体评测所缺少的基础设施。 载于国际表征学习会议（International Conference on Learning Representations，ICLR）， 注：arXiv:2510.11977 被引用于：§1，§4.1。

• Kipnis et al. (2025)

A. Kipnis, K. Voudouris, L. M. Schulze Buschoff, and E. Schulz metabench——大型语言模型推理与知识的一个稀疏基准。 载于国际表征学习会议（International Conference on Learning Representations，ICLR）， 注：arXiv:2407.12844 被引用于：§1，§2。

• Li et al. (2023)

Z. Li, X. Zhang, Y. Zhang, D. Long, P. Xie, and M. Zhang 用多阶段对比学习走向通用文本嵌入。 arXiv 预印本 arXiv:2308.03281。 外部链接：文档 被引用于：§4。

• Maia Polo et al. (2024)

F. Maia Polo, L. Weber, L. Choshen, Y. Sun, G. Xu, and M. Yurochkin TinyBenchmarks：用更少的例子评测大语言模型。 载于国际机器学习会议（International Conference on Machine Learning，ICML）， 注：arXiv:2402.14992 被引用于：§1，§2。

• Mehtiyev and Assunção (2026)

T. Mehtiyev and W. Assunção 超越解决率：编码智能体成功与失败的行为驱动因素。 arXiv 预印本 arXiv:2604.02547。 外部链接：文档 被引用于：§2。

• Merrill et al. (2026)

M. A. Merrill, A. G. Shaw, N. Carlini, et al. Terminal-bench：在命令行界面的困难、现实任务上给智能体做基准测试。 arXiv 预印本 arXiv:2601.11868。 外部链接：文档 被引用于：§1，条目 2，§4.1。

• Neelakantan et al. (2022)

A. Neelakantan, T. Xu, R. Puri, A. Radford, J. M. Han, J. Tworek, Q. Yuan, N. Tezak, J. W. Kim, C. Hallacy, et al. 用对比预训练得到的文本与代码嵌入。 arXiv 预印本 arXiv:2201.10005。 外部链接：文档 被引用于：§4。

• Nussbaum and Duderstadt (2025)

Z. Nussbaum and B. Duderstadt 训练稀疏专家混合文本嵌入模型。 arXiv 预印本 arXiv:2502.07972。 外部链接：文档 被引用于：§2。

• Nussbaum et al. (2025)

Z. Nussbaum, J. X. Morris, B. Duderstadt, and A. Mulyar Nomic Embed：训练一个可复现的长上下文文本嵌入器。 Transactions on Machine Learning Research。 外部链接：ISSN 2835-8856，链接 被引用于：§4。

• Oderinwale (2026)

H. Oderinwale 把智能体轨迹当作程序：为编码智能体行为做指纹识别与编程。 arXiv 预印本 arXiv:2606.16988。 外部链接：文档 被引用于：§2。

• OpenAI (2024)

OpenAI 介绍 SWE-bench verified。 注：https://openai.com/index/introducing-swe-bench-verified/ 被引用于：条目 1。

• Peng et al. (2024)

L. Peng, Y. Zhang, Z. Wang, J. Srinivasa, G. Liu, Z. Wang, and J. Shang 答案就是你所需要的一切：通过回答问题来做遵循指令的文本嵌入。 载于计算语言学协会年会（Annual Meeting of the Association for Computational Linguistics，ACL）， 第 459–477 页。 注：arXiv:2402.09642 外部链接：文档 被引用于：§2。

• Rahn et al. (2024)

N. Rahn, P. D’Oro, and M. G. Bellemare 用熵激活转向来控制大语言模型智能体。 arXiv 预印本 arXiv:2406.00244。 外部链接：文档 被引用于：§5.1。

• Ravfogel et al. (2024)

S. Ravfogel, V. Pyatkin, A. D. Cohen, A. Manevich, and Y. Goldberg 基于描述的文本相似度。 载于语言建模会议（Conference on Language Modeling，COLM）， 注：arXiv:2305.12517 被引用于：§2。

• Reimers and Gurevych (2019)

N. Reimers and I. Gurevych Sentence-BERT：用孪生 BERT 网络做句子嵌入。 载于自然语言处理经验方法会议暨自然语言处理国际联合会议（Conference on Empirical Methods in Natural Language Processing and International Joint Conference on Natural Language Processing，EMNLP-IJCNLP）， 第 3982–3992 页。 注：arXiv:1908.10084 外部链接：文档 被引用于：§2，§4。

• Ruan et al. (2026)

K. Ruan, Z. Huang, Z. Zhou, Q. Wei, J. Lin, X. Wang, and H. Sun 从一开始就注定失败：经由召回受控的探针级联，提早中止大语言模型智能体回合。 arXiv 预印本 arXiv:2607.06503。 外部链接：文档 被引用于：§5.1。

• Ruan et al. (2024)

Y. Ruan, C. J. Maddison, and T. Hashimoto 观测缩放律与语言模型表现的可预测性。 载于神经信息处理系统进展（Advances in Neural Information Processing Systems，NeurIPS）， 注：arXiv:2405.10938 被引用于：§2。

• Shu et al. (2026)

R. Shu, C. Y. Chong, X. Zhou, Y. Peng, Z. Wu, X. Han, Z. Zhuang, G. Yuan, and Y. Wang 解决率藏起了什么：面向编码智能体的轨迹结构诊断。 arXiv 预印本 arXiv:2607.06184。 外部链接：文档 被引用于：§2。

• Su et al. (2023)

H. Su, W. Shi, J. Kasai, Y. Wang, Y. Hu, M. Ostendorf, W. Yih, N. A. Smith, L. Zettlemoyer, and T. Yu 一个嵌入器，任何任务：指令微调的文本嵌入。 载于计算语言学协会发现（Findings of the Association for Computational Linguistics，ACL）， 第 1102–1121 页。 注：arXiv:2212.09741 外部链接：文档 被引用于：§2。

• Sun et al. (2025)

M. Sun, Y. Yin, Z. Xu, J. Z. Kolter, and Z. Liu 大型语言模型中的特异性。 载于国际机器学习会议（International Conference on Machine Learning，ICML）， 注：arXiv:2502.12150 被引用于：§1，§2。

• Torgerson (1952)

W. S. Torgerson 多维标度：I. 理论与方法。 Psychometrika 17 (4)，第 401–419 页。 外部链接：文档 被引用于：§3.2。

• Truong et al. (2025)

S. T. Truong, Y. Tu, P. Liang, B. Li, and S. Koyejo 可靠且高效的摊销式基于模型的评测。 载于国际机器学习会议（International Conference on Machine Learning，ICML）， 注：arXiv:2503.13335 被引用于：§2。

• Vivek et al. (2024)

R. Vivek, K. Ethayarajh, D. Yang, and D. Kiela 锚点：用少得多的例子给模型做基准测试。 载于欧洲计算语言学协会分会会议（Conference of the European Chapter of the Association for Computational Linguistics，EACL）， 注：arXiv:2309.08638 外部链接：文档 被引用于：§1，§2。

• Wang et al. (2026)

C. Wang, Y. Lyu, J. He, Z. Yang, C. Zhong, Y. Harel, and D. Lo 快速失败、聪明重启：面向 SWE 智能体任务的早期失败预测与重启。 arXiv 预印本 arXiv:2608.03222。 外部链接：文档 被引用于：§5.1。

• Wang et al. (2022)

L. Wang, N. Yang, X. Huang, B. Jiao, L. Yang, D. Jiang, R. Majumder, and F. Wei 用弱监督对比预训练得到的文本嵌入。 arXiv 预印本 arXiv:2212.03533。 外部链接：文档 被引用于：§4。

• Wang et al. (2025)

X. Wang et al. OpenHands：一个把人工智能软件开发者当作通用智能体的开放平台。 载于国际表征学习会议（International Conference on Learning Representations，ICLR）， 注：arXiv:2407.16741 被引用于：§1。

• Xiao et al. (2024)

S. Xiao, Z. Liu, P. Zhang, N. Muennighoff, D. Lian, and J. Nie C-Pack：为通用中文嵌入打包的资源。 载于第 47 届国际计算机协会信息检索研究与发展会议论文集（Proceedings of the 47th International ACM SIGIR Conference on Research and Development in Information Retrieval）， 第 641–649 页。 外部链接：文档 被引用于：§4。

• Yang et al. (2024)

J. Yang, C. E. Jimenez, A. Wettig, K. Lieret, S. Yao, K. Narasimhan, and O. Press SWE-agent：智能体–计算机接口使自动化软件工程成为可能。 载于神经信息处理系统进展（Advances in Neural Information Processing Systems，NeurIPS）， 注：arXiv:2405.15793 被引用于：§1。

• Zhuang et al. (2025)

R. Zhuang, T. Wu, Z. Wen, A. Li, J. Jiao, and K. Ramchandran EmbedLLM：学习大型语言模型的紧凑表示。 载于国际表征学习会议（International Conference on Learning Representations，ICLR）， 注：arXiv:2410.02223 被引用于：§2。

• Zhuge et al. (2025)

M. Zhuge, C. Zhao, D. R. Ashley, W. Wang, D. Khizbullin, Y. Xiong, Z. Liu, E. Chang, R. Krishnamoorthi, Y. Tian, Y. Shi, V. Chandra, and J. Schmidhuber 以智能体为评判：用智能体评测智能体。 载于国际机器学习会议（International Conference on Machine Learning，ICML）， 注：arXiv:2410.10934 被引用于：§2。