HSPR：用分层后验恢复软件智能体的基准分数

HSPR：用分层后验推断恢复软件智能体基准分数

Wanyi Chen，苏州大学（Soochow University）。Wanqin Shen，苏州大学（Soochow University）。Yuanchen Shi，苏州大学（Soochow University）。Zhensu Sun，新加坡管理大学（Singapore Management University）。Fang Kong，苏州大学（Soochow University），通讯作者。五位作者按原文顺序著录，单位分别为苏州大学、苏州大学、苏州大学、新加坡管理大学和苏州大学。

摘要

在完整基准上评测软件智能体代价很高。一个很小的任务子集可以保住智能体排名，但给出的分数并不准确。历史回答提供了有用的结构，可是源回答完全相同的任务，对新的目标智能体仍可能有不同结局。我们提出分层分数后验恢复（Hierarchical Score Posterior Recovery，HSPR）。它把源数据拟合得到的回答因子，与不确定的组成功率结合起来。已观察到的目标结局会更新目标潜在状态和组成功率的后验；后验引导的采集再选择后续任务。它基于分数的准则，等于全基准分数后验方差的期望一步下降。已观察到的成功次数，加上未查询任务的后验预测成功计数，给出全分数的后验。最终估计使用该后验的中位数，并加上只在源数据上选出的校准。在 SWE-bench 家族四个任务库上、任务预算为 10% 时，所比较的方法中，HSPR 在三个任务库上取得最低的平均绝对误差（MAE），并在全部四个任务库上取得最低的最大绝对误差（MaxErr）。在各自的对照里，去掉组不确定性或改掉自适应查询，都会提高宏平均 MAE。宏平均 MAE 在 5% 到 20% 的预算上持续下降。代码与项目资源公开可用。项目页：wanyichen06.github.io/HSPR。代码：github.com/wanyichen06/HSPR。

图 1：任务高效的软件智能体评测。有代表性的策略从有限的目标执行中估计全基准分数。HSPR 把分层回答建模和自适应查询结合起来。图中显示的中位数，是做源数据所选校准之前的决策。

1 引言

评测一个软件智能体，需要在数百乃至数千个任务上做仓库探索、代码编辑、工具使用和执行 [Jimenez et al., 2024, Duan et al., 2026]。很小的执行预算让这种评测更可操作，同时也造成一个推断问题：从少数已观察的任务结局中，恢复该智能体在完整基准上的分数。准确的分数恢复，对比较进展和评估能力都是必要的。

在 SWE-bench Pro 上、预算为 10% 时，Mid-Range 选择 [Ndzomga, 2026] 能很好地保住模型排序（$\tau_{b}=.967$），但它的原始子集均值的平均绝对误差（MAE）达到 22.798 个百分点（pp）（表 1）。使用同一组 Mid-Range 结局，一个在源数据上拟合的 Ridge 估计器把 MAE 降到 3.434 pp。估计精度在不同任务库之间也不同：ATLAS-port 在 Full 上的 MAE 为 0.957 pp，在 Pro 上为 7.736 pp。低预算评测同时取决于任务选择，以及施加在已观察结局上的估计器。

一项任务的源回答签名，记录它在历史智能体上的二元结局。签名相同的任务，对新的目标智能体可以有不同结局，但仍然共享一种回答倾向。把这种倾向建成不确定的组成功率，就能让一次观察为同组其他任务提供信息，而不把它们的结局固定死。我们要问的是：在计入源回答模式向目标迁移时的不确定性之后，怎样用少数几次执行恢复目标智能体的全基准分数？

我们提出分层分数后验恢复（HSPR），如图 1 所示。HSPR 用源数据拟合的回答因子，来刻画目标的潜在回答状态，以及源签名组内部不确定的成功率。每一次观察到的结局，都会更新潜在状态后验和组成功率后验。后验引导的采集利用这些依赖关系选择下一项任务。已观察到的成功次数，加上未查询任务的后验预测成功计数，给出全基准分数上的一个分布。它的中位数最小化模型条件下的期望绝对损失；只在源数据上做的验证，为最终估计选择校准。

在 10% 的任务预算下，与表 1 中的基线相比，HSPR 在 Lite、Full 和 Pro 上取得最低的 MAE 点估计，并在全部四个 SWE-bench 任务库上取得最低的 MaxErr。在 Verified 上，它的 MAE 与 ATLAS-port 相差不超过 0.055 pp。在各自的对照中，去掉组不确定性会提高宏平均 MAE；在估计器保持不变时，用非自适应查询替换自适应查询，同样会提高宏平均 MAE。在 5% 到 20% 的任务预算上，等权任务库宏平均 MAE 随着观察到更多结局而下降。

我们的贡献有三项：

• • 我们提出 HSPR，一个分层的全分数模型。它把源数据拟合的回答因子，与源签名组内部不确定的目标成功率结合起来。
• • 我们为分数恢复推导后验引导的采集，其中包括一条等于有限分数方差期望一步下降的准则。只在源数据上做的验证，会在目标评测之前选定所部署的采集目标。
• • 我们在四个 SWE-bench 任务库上给出受控的实证研究，包括端到端的分层对照、估计与采集消融、配对统计分析、机制诊断，以及 5% 到 20% 的预算扫描。

图 2：HSPR 评测流水线。源回答提供已拟合的回答因子和源签名组。顺序查询更新目标潜在状态和组成功率的后验。已观察到的成功次数，以及未查询任务的后验预测成功计数，定义用于最终校准估计的全分数后验。

2 相关工作

#### 高效基准预测。

主动测试把信息量大的查询和抽样校正结合起来 [Kossen et al., 2021]；主动代理估计器为未观察到的误差学习一个代理 [Kossen et al., 2022]。随机抽样学习（Random-Sampling-Learn，RSL）使用随机核心回归；学出来的基准预测器在外推时可能失败 [Zhang et al., 2025]。tinyBenchmarks 使用经过校准的紧凑子集 [Maia Polo et al., 2024]，而 SparseEval 从回答矩阵中优化锚点和权重 [Zhang et al., 2026]。因子化主动查询（Factorized Active Querying，FAQ）把历史因子、自适应查询和有限总体推断结合起来 [Wu et al., 2026]。HSPR 使用模型条件下的有限分数后验，其中包含全局因子和不确定的组成功率。

#### 心理测量学评测。

项目反应模型用来校准自然语言处理的测试题目 [Lalor et al., 2016]。摊销式基于模型的评测从题目内容预测题目难度，以支持自适应测试 [Truong et al., 2025]。智能体心理测量学在任务层面建模智能体回答 [Ge et al., 2026]。ATLAS 使用带 Fisher 引导采集的项目反应模型 [Li et al., 2026]；PTA-IRT 使用历史轨迹信息做任务选择和重构 [Duan et al., 2026]。HSPR 建立在历史题目校准之上，但增加了残差回答维度，以及以目标为条件的、目标专属的组成功率。ATLAS 的 Fisher 引导采集针对的是潜在能力。HSPR 的分数方差准则针对的是全基准分数，并计入未观察结局之间的依赖。

#### 子集与目标。

按历史通过率做选择，可以保住软件智能体的排名 [Ndzomga, 2026]；子集质量取决于任务库和表示 [Gusev and Zaytsev, 2026]。SubLIME 从锚点模型和数据集特征预测子集到全集的秩相关 [Saranathan et al., 2025]。排名度量的是相对顺序 [Liu et al., 2025]，而分数恢复需要准确的数值刻度。

#### 智能体评测的语境。

HELM、BIG-bench、MMLU 和 Dynabench 覆盖异构的评测设定 [Liang et al., 2023, Srivastava et al., 2023, Hendrycks et al., 2021, Kiela et al., 2021]。AgentBench 和 AgentBoard 评测工具使用和多轮智能体 [Liu et al., 2024, Ma et al., 2024]。Agent2 RL-Bench 评测智能体在端到端强化学习后训练工程上的表现 [Chen et al., 2026]。EarlyEval 通过早期结局预测，减少任务内部的执行 [Shi et al., 2026]。基于轨迹的选择 [Ayyad et al., 2026] 和过程感知的自适应测试 [van der Linden, 2008] 使用额外观察。HSPR 使用源二元回答和已观察到的目标结局。

3 分层分数后验恢复

图 2 概括了 HSPR 从历史回答建模，到自适应目标查询，再到全分数恢复的过程。算法 1 规定评测步骤。

3.1 有限分数估计

令 $M\in\{0,1\}^{m\times N}$ 为 $m$ 个智能体在固定的 $N$ 个任务库上的源回答矩阵。目标结局向量 $Y\in\{0,1\}^{N}$ 定义全基准分数

$$ S=\frac{1}{N}\sum_{i=1}^{N}Y_{i}. $$

公式 (1)

评测者最多观察 $B$ 个互不相同的目标任务结局，并返回 $S$ 的一个估计 $\widehat{S}$。令 $C_{t}=\{i_{1},\ldots,i_{t}\}$ 为已查询任务集，$D_{t}=\{(i_{j},Y_{i_{j}})\}_{j=1}^{t}$ 为已观察历史。在归档回放中，$Y$ 是固定的，只有被查询的条目会被揭示。HSPR 对未观察条目做概率建模。我们始终以 $M$ 为条件；第 $t$ 步的采集只使用 $M$ 和 $D_{t}$。

分数分成已观察和未观察的结局：

$$ NS=\sum_{i\in C_{t}}Y_{i}+\sum_{i\notin C_{t}}Y_{i}. $$

公式 (2)

第一项是精确的。HSPR 在第二项上放置一个联合预测分布，从而保留未观察结局之间的依赖。

3.2 历史因子与分组

#### 源回答表示。

我们在历史智能体上拟合一个正则化的逻辑斯蒂题目模型。对任务 $i$，$b_{i}$ 是截距，$a_{i}$ 是能力斜率。我们把各源智能体平滑后的全基准分数取 logit，再标准化，得到源智能体的能力值。从源回答出发，我们拟合一个任务成功率的先验，它把零点上的点质量和一个 Beta 分布混合起来。它提供用来初始化和正则化题目截距的初始概率。

题目拟合之后，对源回答残差做中心化奇异值分解，得到 $r$ 个任务方向。缩放后的残差载荷 $v_{i}\in\mathbb{R}^{r}$ 描述相对标量能力模式的偏离。源数据拟合得到的题目参数 $(b_{i},a_{i},v_{i})$ 在目标推断期间保持固定。目标潜在回答状态 $z=(\theta,u)\in\mathbb{R}^{1+r}$ 把标量能力 $\theta$ 和残差坐标 $u$ 合在一起：

$$ z\sim\mathcal{N}(0,P^{-1}),\qquad p_{i}(z)=\sigma(b_{i}+a_{i}\theta+v_{i}^{\top}u). $$

公式 (3)

这里 $\sigma$ 是逻辑斯蒂函数，$P$ 是对角的先验精度矩阵。残差秩和先验精度都只在源数据上选定。附录 A 规定初始化、缩放和配置网格。

#### 源回答签名。

我们用源回答的精确相等来定义源签名组：若对每个源智能体 $s$ 都有 $M_{si}=M_{sj}$，则 $i\sim j$。每个组 $\mathcal{G}_{g}$ 包含 $N_{g}$ 个任务。共享同一签名的任务，在源矩阵里从观察上无法区分，因此我们对其源拟合的截距、斜率和残差载荷取平均。令 $\ell_{g}=(a_{g},v_{g}^{\top})^{\top}$ 收集平均后的载荷，组基线成功概率是

$$ p_{g}(z)=\sigma(b_{g}+\ell_{g}^{\top}z). $$

公式 (4)

我们把每个组内的目标结局，建模为从一个共享的、不确定的成功率中可交换地抽出的样本。组内未观察的结局不必相同。

3.3 目标专属的组不确定性

组成功率 $q_{g}$ 的条件先验均值是 $p_{g}(z)$：

$$ q_{g}\mid z\sim\operatorname{Beta}\big(c_{g}(z)p_{g}(z),c_{g}(z)(1-p_{g}(z))\big), $$

公式 (5)

$$ c_{g}(z)=\frac{\kappa}{p_{g}(z)(1-p_{g}(z))},\qquad\kappa>0. $$

公式 (6)

组成功率在给定 $z$ 时相互独立。给定这些成功率后，组 $\mathcal{G}_{g}$ 中的结局 $Y_{i}$ 是成功率为 $q_{g}$ 的独立伯努利变量。即使在条件于全局状态之后，对 $q_{g}$ 积分仍会把组内任务耦合起来：它们共享一个未知的、目标专属的成功率。对固定的 $p_{g}(z)$，较小的 $\kappa$ 允许围绕这一均值有更大的先验离散。一个只在源数据上选定的 $\kappa$ 适用于所有组。这种依赖概率的集中度，使基线概率接近零或一时的先验方差更小。

令 $n_{g}$ 和 $s_{g}$ 分别计数组 $g$ 中已观察的结局数和成功数。条件共轭给出

$$ q_{g}\mid z,D_{t}\sim\operatorname{Beta}(A_{g},F_{g}), $$

公式 (7)

其中 $A_{g}=c_{g}p_{g}+s_{g}$，$F_{g}=c_{g}(1-p_{g})+n_{g}-s_{g}$。已观察历史也更新目标潜在状态的后验：

$$ p(z\mid D_{t})\propto p(z)\prod_{g}\frac{\mathrm{B}(A_{g},F_{g})}{\mathrm{B}(c_{g}p_{g},c_{g}(1-p_{g}))}. $$

公式 (8)

这里 $\mathrm{B}$ 是 Beta 函数；这个比值给出每个组内已观察二元序列的似然。一次观察同时更新组成功率后验和潜在状态后验，分别在组内和跨组之间共享信息。

令组 $g$ 中未查询任务数为 $U_{g}=N_{g}-n_{g}$，未观察成功计数 $K_{g}=\sum_{i\in\mathcal{G}_{g}\setminus C_{t}}Y_{i}$ 的分布是

$$ K_{g}\mid z,D_{t}\sim\operatorname{BetaBinomial}(U_{g},A_{g},F_{g}). $$

公式 (9)

有限分数满足 $NS=\sum_{g}s_{g}+\sum_{g}K_{g}$。在给定 $z$ 时，各组计数相互独立；在边际上，它们共享关于 $z$ 的不确定性。预测分数分布通过对全局状态和组成功率做联合积分，保留这些依赖。

3.4 后验引导的采集

对一个 $U_{g}>0$ 的组，令 $Y_{g}$ 表示从 $\mathcal{G}_{g}\setminus C_{t}$ 中均匀抽到的一项任务的结局。分数方差采集规则选择使下式最大的组，也就是当前后验下对全分数方差下降贡献最大的那一组：

$$ G_{g}^{S}=\frac{\operatorname{Cov}(S,Y_{g}\mid D_{t})^{2}}{\operatorname{Var}(Y_{g}\mid D_{t})}. $$

公式 (10)

命题 1（分数方差下降）

在 HSPR 预测模型下，对任意未观察的二元回答 $Y_{g}$，只要 $0<\Pr(Y_{g}=1\mid D_{t})<1$，公式 10 就等于全基准分数后验方差的期望下降：

$$ G_{g}^{S}=\operatorname{Var}(S\mid D_{t})-\mathbb{E}\big[\operatorname{Var}(S\mid D_{t},Y_{g})\mid D_{t}\big]. $$

公式 (11)

这一贪心准则既包括弄清被查询的结局，也包括更新对其他未查询任务的预测。该方差恒等式来自全方差公式（附录 B）；它并不确立对最终绝对误差的最优性。

协方差显示分层如何进入任务选择。令 $m_{g}=\mathbb{E}[q_{g}\mid z,D_{t}]$，$\tau_{g}^{2}=\operatorname{Var}(q_{g}\mid z,D_{t})$。在给定全局状态时，

$$ \operatorname{Cov}(S,Y_{g}\mid z,D_{t})=\frac{m_{g}(1-m_{g})}{N}+\frac{(U_{g}-1)\tau_{g}^{2}}{N}. $$

公式 (12)

这两项分别表示弄清被查询的结局，以及与另外 $U_{g}-1$ 个同组成员共享证据。在成功率后验固定时，更大的未查询组会放大后一项贡献。对 $z$ 积分则加入跨组依赖。

潜在状态采集的替代准则使用

$$ G_{g}^{z}=\sum_{k}\frac{\operatorname{Cov}(z_{k},Y_{g}\mid D_{t})^{2}}{\operatorname{Var}(Y_{g}\mid D_{t})}. $$

公式 (13)

在同一模型下，它等于各潜在坐标后验方差之和的期望下降。只在源数据上做的验证，会在目标回放之前选择采集目标：16 个已部署折中，有 13 个选择 Score，3 个选择 Latent。两者使用同一个分层后验；最终的绝对损失决策在下文另行规定。

选定一个组之后，我们从其未查询任务中均匀抽样。已经耗尽的组被排除。被选中的任务只评测一次，$(n_{g},s_{g})$ 被更新，并在下一次查询之前重新计算后验。组内均匀选择，对称地对待具有同一源签名的任务。因此采集先在组与组之间比较信息增益，再在组内不做进一步区分；被选中的任务一经执行，计数和后验都立即更新，下一次选择看到的是新的后验，而不是固定的任务排序。

3.5 预测分数决策

在绝对分数损失下，$p(S\mid D_{B})$ 的一个中位数 $S_{.5}$ 最小化后验期望损失：

$$ S_{.5}\in\arg\min_{x}\mathbb{E}[|S-x|\mid D_{B}]. $$

公式 (14)

我们从 $z$ 的加权近似中抽样，然后抽样每个条件 $q_{g}$，最后抽样 $K_{g}\sim\operatorname{Binomial}(U_{g},q_{g})$。每一次分数抽取都精确包含已观察到的成功。这些完整分数抽取的中位数估计 $S_{.5}$。

对可选校准，令 $\bar{q}_{g}=\mathbb{E}[q_{g}\mid D_{B}]$，并定义

$$ R_{B}=\frac{\sum_{g}s_{g}-\sum_{g}n_{g}\bar{q}_{g}}{B}, $$

公式 (15)

$$ \widehat{S}=\operatorname{clip}_{[0,1]}\left[S_{.5}+\lambda(1-B/N)R_{B}\right]. $$

公式 (16)

只在源数据上做的验证，为中位数决策选择 $\lambda\in\{0,.5\}$。因子 $(1-B/N)$ 把校正限制在未观察的比例上。这一插入式校准使用与后验拟合相同的已观察结局。公式 14 中的绝对损失最优性适用于未经调整的预测中位数。在满预算时，$\widehat{S}=S$。

3.6 只使用源数据的配置

只使用源数据的留一智能体验证分阶段进行。全局阶段联合评测秩、精度、采集和校准，并保留所选的秩和精度。在这些量固定之后，分层阶段把组不确定性强度和采集，与后验均值校准联合起来选择。最后阶段在由此得到的查询路径上选择中位数校准。每一行验证数据在拟合题参数、残差因子和分组之前被移除。我们在全部源智能体上重新拟合，并在目标评测之前冻结配置。附录 A 给出网格和拟合细节。

我们用重要性抽样近似公式 8 中的连续后验，提议分布是一个高斯分布，其中心位于辅助的逻辑正态 MAP 估计。权重计入目标模型似然、先验和提议密度。预测抽样估计有限分数中位数；附录 E 报告数值验证。

1: Source responses $M$, target execution oracle $\mathcal{O}$, budget $B$
2: Select $(r,P,\kappa,\rho,\lambda)$ by staged source-only validation, $\rho\in\{S,z\}$
3: Fit item parameters and source-signature groups on $M$
4: Initialize joint posterior; $D_{0},C_{0}\leftarrow\emptyset$
5: for $t=0,\ldots,B-1$ do
6: $g\leftarrow\arg\max_{h:U_{h}>0}G_{h}^{\rho}(D_{t})$
7: $i\sim\operatorname{Uniform}(\mathcal{G}_{g}\setminus C_{t})$
8: $D_{t+1}\leftarrow D_{t}\cup\{(i,\mathcal{O}(i))\}$
9: $C_{t+1}\leftarrow C_{t}\cup\{i\}$
10: Update global and conditional group posteriors
11: end for
12: Construct $p(S\mid D_{B})$ from observed successes and predictive unobserved success counts
13: return Calibrated score estimate $\widehat{S}$ (Eq. 16)

算法各行的中文对照（代码行本身保留原文）：

1. 输入为源回答 $M$、目标执行预言机 $\mathcal{O}$ 和预算 $B$。
2. 通过分阶段、只使用源数据的验证选择 $(r,P,\kappa,\rho,\lambda)$，其中 $\rho\in\{S,z\}$。
3. 在 $M$ 上拟合题参数和源签名组。
4. 初始化联合后验，并令 $D_{0},C_{0}$ 为空集。
5. 对 $t=0,\ldots,B-1$ 循环。
6. 在仍有未查询任务的组中，选择使 $G_{h}^{\rho}(D_{t})$ 最大的组 $g$。
7. 从该组尚未查询的任务中均匀抽取任务 $i$。
8. 用预言机揭示结局，把 $(i,\mathcal{O}(i))$ 并入历史。
9. 把 $i$ 并入已查询集合。
10. 更新全局后验和条件组后验。
11. 结束循环。
12. 由已观察成功次数和未观察成功计数的预测，构造 $p(S\mid D_{B})$。
13. 返回校准后的分数估计 $\widehat{S}$（公式 16）。

算法 1：对一个目标智能体做 HSPR 评测

4 实验

表 1：在匹配的 10% 任务预算上的主要结果。MAE 和 MaxErr 的单位是百分点（pp）；$\tau_{b}$ 不缩放。指标先汇集完整的目标队列，再对查询种子取平均。最佳和次佳点估计分别用未四舍五入的值标成粗体和下划线。第 4.1 节说明基线及其移植。四个任务库的列都按 MAE、MaxErr、$\tau_b$ 重复，箭头表示越低越好或越高越好。方法名保持原文：Uniform raw 是均匀抽样的原始均值，Stratified 是按难度分层，RSL、FAQ-port、Mid-Range、ATLAS-port、PTA-IRT 和 HSPR 都是方法专名。表中每一行是一种完整评测流程，四个任务库各占三列。Lite 的预算是三百题里的三十题，Verified 是五百题里的五十题，Full 是二千二百九十四题里的二百二十九题，Pro 是七百三十题里的七十三题。读每一格时，先看平均绝对误差，再看最大绝对误差，最后看 Kendall 秩相关。HSPR 一行的四个平均绝对误差分别是一点九二七、一点九一五、零点七一七和二点零九八个百分点，四个最大绝对误差分别是五点六八三、六点零零零、二点六三八和四点六零一。Mid-Range 在 Pro 上的秩相关高达零点九六七，但平均绝对误差仍是二十二点七九八，说明排序好并不等于分数准。带 Ridge 的对照把同一批 Mid-Range 结局的 Pro 误差降到三点四三四。ATLAS-port 在 Verified 上的平均绝对误差一点八六一略低于 HSPR 的一点九一五，但在 Pro 上达到七点七三六，且秩相关只有零点三九八。PTA-IRT 四库误差为二点七二四、二点一七七、二点二八零和二点七三一。这些数字都按原表抄录，不另作四舍五入。

4.1 实验设置

我们在 SWE-bench 家族四个归档任务库上，评测被留出的智能体配置。我们使用公开的 PTA-IRT 回答矩阵 [Duan et al., 2026]，对应 Lite、Verified、Full [Jimenez et al., 2024] 和 Pro [Deng et al., 2026]。四个任务库分别包含 300、500、2,294 和 730 个任务，以及 35、70、14 和 14 个智能体配置。一个配置是一套被评测的智能体设定，由回答矩阵的一行表示。每个基准使用四折。在一折之内，源配置标识和目标配置标识不相交；所有配置都会有一次作为目标。这种配置级划分，允许源和目标之间共享基座模型或相关脚手架。

源折在 Lite 上包含 26 到 27 个配置，在 Verified 上包含 52 到 53 个，在 Full 和 Pro 上包含 10 到 11 个。在主要的 10% 检查点上，预算为 $B=\operatorname{round}(.1N)$：分别是 30、50、229 和 73 个互不相同的任务。HSPR 的模型设定、采集目标和校准，在只使用源数据的验证之后、目标回放之前被冻结。每个目标有五条 HSPR 查询路径（种子 0 到 4），每条包含 $B$ 个互不相同的任务。预算分别施加于每种方法和每条查询路径。预测在为了计分而读取完整目标结局之前被记录。历史回答库被视为给定，$B$ 计的是回放期间揭示的互不相同的目标任务结局。这一预算代表任务执行次数，而不重新运行已归档的智能体。

我们比较均匀原始均值、难度分层、RSL [Zhang et al., 2025]、FAQ-port [Wu et al., 2026]、Mid-Range 原始均值 [Ndzomga, 2026]、带 Ridge 的 Mid-Range、ATLAS-port [Li et al., 2026]，以及冻结的 PTA-IRT [Duan et al., 2026]。RSL 把源数据拟合的 RidgeCV 用到均匀抽样的任务上，惩罚为 $(.1,1,10)$，并与 Uniform raw 共享查询集。Mid-Range 选择源通过率最接近 0.5 的 $B$ 个任务。带 Ridge 的 Mid-Range 共享 Mid-Range 原始查询集：一个源数据拟合的回归，把所选结局映射到全分数。FAQ-port 使用不放回查询，并按可用源队列限制因子秩。ATLAS-port 保留 Fisher 引导的选择和 p-IRT 估计，使用源折上的 4PL 题库。PTA-IRT 在同一批配置上使用已发布的冻结预测。附录 C 说明这些改写。

表 1 在匹配的目标任务预算下比较完整流程，允许它们的查询策略和估计器不同。表 2 在受控设定下考察组不确定性、自适应查询和预测决策。

#### 指标。

对每个任务库，令 $\mathcal{A}$ 表示四折汇总后的留出智能体配置集合。对每种方法和每个查询种子，我们计算

$$ \mathrm{MAE}=\frac{1}{|\mathcal{A}|}\sum_{a\in\mathcal{A}}|\widehat{S}_{a}-S_{a}|, $$

公式 (17)

$$ \mathrm{MaxErr}=\max_{a\in\mathcal{A}}|\widehat{S}_{a}-S_{a}|. $$

公式 (18)

Kendall 的 $\tau_{b}$ 使用队列中的全部配对，并计入并列。然后我们对查询种子平均这些汇总指标。抽样和 RSL 基线有十个已保存种子，ATLAS-port 和 HSPR 有五个，确定性或冻结方法对每个配置有一个预测。全文中 MAE 和 MaxErr 都以 pp 报告。

附录 G 报告 HSPR 评测器的开销。

表 2：10% 预算上的消融；MAE 单位为 pp，并给出等权任务库宏平均。A 保留每一折的采集目标、全局配置和中位数校准；只改变组不确定性，两个变体各自生成查询路径。B 冻结 HSPR 的重构和校准，使用五个 Uniform 种子或一条确定性的 Mid-Range 路径。C 共享 HSPR 查询路径，校准按决策族在源数据上分别选择。数值按原表保留。

表 3：历史回答结构。$\bar{G}$ 是源组数对目标取的平均；$N/\bar{G}$ 用任务数除以这一平均。源上全零的任务，在源智能体中没有任何成功。这些集合内的目标成功率在预测之后、使用完整结局、对目标取平均。

图 3：四个 SWE-bench 任务库在 5% 到 20% 任务预算上的预算敏感性。HSPR 使用固定的、按 10% 在源数据上选出的设定，以及嵌套的查询路径；基线保留随预算变化的设定。MAE 和 MaxErr 的单位是 pp；指标先汇集目标配置，再对查询种子取平均。

4.2 主要结果

在 10% 的任务预算下，HSPR 在 Lite、Full 和 Pro 上取得最低的 MAE 点估计，在 Verified 上与 ATLAS-port 相差不超过 0.055 pp（表 1）。它在全部四个任务库上具有最低的、按种子平均的 MaxErr，并在全部 12 个基准–指标组合中位列前二，其中八个排名第一。等权任务库宏平均 MAE 为 1.664 pp，而在这一汇总上最强的基线 PTA-IRT 为 2.478 pp。

在 Pro 上，原始 Mid-Range 保住了排序（$\tau_{b}=.967$），但 MAE 为 22.798 pp，而 HSPR 为 2.098 pp。这一差别说明，在报告排名保真度的同时，也要报告绝对分数误差。

对配对的、按种子平均的绝对误差所做的 Holm 校正 Wilcoxon 检验，在全部四个任务库上支持 HSPR 优于 RSL，在三个任务库上优于 Stratified，并在 Pro 上优于 ATLAS-port。附录 D 报告完整的自助区间和校正后的检验。

4.3 消融研究

#### 分层建模。

分层不确定性影响的不只是最终重构那一步。表 2A 在每一折内保持源数据所选的采集目标不变，并保留所采用的全局配置和中位数校准。两个变体各自生成查询路径，因此去掉组不确定性既改变所收集的证据，也改变对证据的解释。去掉分层结构使等权任务库宏平均 MAE 从 1.664 升到 1.808 pp；0.143 pp 这一差值的配对配置自助区间是 $[-0.012,0.302]$。最大的收益出现在 Full 上，分层把 MAE 从 1.331 降到 0.717 pp。附录 E 报告执行协议，以及一条保持查询路径不变的单独重构对照。

#### 查询自适应性。

在重构器保持不变时，有信息量的查询分配带来很大的总体收益。表 2B 冻结 HSPR 模型、预测中位数和校准，并用 Uniform 或固定的 Mid-Range 查询替换自适应查询。宏平均 MAE 分别从 1.664 升到 3.085 和 2.934 pp。HSPR 在每一次观察到结局之后更新采集分数，使后续查询反映当前的目标后验。

#### 预测决策。

表 2C 使用相同的 HSPR 查询路径，用后验均值替换中位数，并按每个决策族在源数据上选择校准。基于中位数的估计宏平均 MAE 略低（1.664 对 1.674 pp）。

4.4 机制分析

源签名组支持局部证据共享。Full 的 2,294 个任务在各目标上平均形成大约 276 个源签名组，从而 $N/\bar{G}=8.32$（表 3）。一次观察到的结局会更新共享组成功率的后验，从而为未查询的同组成员提供信息。Verified 在 500 个任务中保留 426 个组，可供利用的组内共享更少。这一结构对比，与 Full 上更大的端到端分层收益相一致。更大的组允许更多组内汇集；它是否有用，也取决于历史结构如何迁移到目标。

源上全零的任务，是在给定源折的智能体中没有任何成功的任务。在 Full 和 Pro 上，分别有 41.3% 和 36.7% 的任务源回答全为零，但这些集合内的目标成功率分别是 1.84% 和 2.07%。这些事后的目标成功率在估计之后使用完整结局。这些任务在一折内共享源签名，却允许不同的目标结局。不确定的、目标专属的成功率表示这种偏离，并让已观察证据修正对其余同组成员的预测。

分层也改变证据被采集的位置。在受控的 Full 比较中，有分层时源上全零的任务得到 13.2% 的查询，没有分层时只有 0.19%。

4.5 预算敏感性

在 5% 到 20% 的任务预算上，HSPR 的等权任务库宏平均 MAE 从 2.562 降到 1.262 pp（图 3）。它按 10% 在源数据上选出的设定在所有检查点上保持固定，路径是嵌套的、任务互不相同，每个目标有五个查询种子。基线保留它们已保存的、随预算变化的设定。

4.6 讨论

在给定目标潜在状态时，公式 12 的第二项随其他未查询同组成员的数量，以及它们共同成功率的后验方差而缩放。在任务库大小和成功率后验固定时，一次观察可以在更大的组里为更多剩余结局提供信息。Full 更大的源签名组（表 3）允许比 Verified 更多的组内共享，这与它更大的分层收益（表 2）一致。随着查询揭示结局，剩余组大小和成功率后验会改变，从而改变这一项对 Score 采集的贡献。

5 结论

HSPR 把源数据拟合的回答因子、不确定的组成功率和后验引导的采集结合起来，从有限观察估计全基准分数。它的最终估计使用后验中位数，并加上只在源数据上选出的校准。在 10% 的任务预算下，所比较的方法中，HSPR 在四个 SWE-bench 任务库中的三个上取得最低的 MAE 点估计，并在全部四个上取得最低的 MaxErr。受控实验显示，自适应查询带来可观的总体收益。组不确定性的贡献随任务库而变化，观察到的最大改进出现在 SWE-bench Full 上。这些结果突出了历史回答结构在任务高效的分数恢复中的作用。

局限

我们在 SWE-bench 家族的四个任务库上评测留出的智能体配置。在模型家族或智能体脚手架发生大幅偏移时的泛化，仍有待评测。HSPR 的回答因子和源签名组来自历史源库，因此依赖该库的覆盖。后验不确定性以所假设的回答模型为条件，包括组内可交换性。

我们用互不相同的目标任务执行次数来度量评测预算，并在附录 G 中报告评测器推断开销。token、墙钟时间和金钱上的节省取决于每项任务的执行成本，不能直接从任务数的减少推出来。历史数据收集、源拟合和配置选择还会带来额外成本。

伦理考量

本研究使用已有的软件智能体回答矩阵，不涉及人类参与者或私人用户数据。把恢复出来的分数当作完全观察的结果，可能误导模型比较，尤其是当历史源数据对目标配置代表性很差时。因此我们建议报告评测预算，并清楚区分恢复分数和全基准测量。

附录 A 实现与只使用源数据的配置

表 4：冻结的、只在源数据上选出的设定。当 $r>0$ 时，标量能力精度为 0.25，残差精度为 $\gamma$；当 $r=0$ 时，能力精度为 $\gamma$。Score 和 Latent 表示第 3.4 节中的采集规则。每一行是一个任务库的一折，数值按原表保留。Lite 四折的秩分别是一、四、四、一，精度伽马分别是四、四、八、八，卡帕分别是一、四、零点二五、四，其中第三折采集策略是 Latent、校准为零，其余三折是 Score、校准为零点五。Verified 四折里第二折是 Latent。Full 第零折的残差秩为零，能力精度用伽马零点二五，四折的卡帕都是一。Pro 四折的卡帕为四、十六、四、十六，第一折采集策略是 Latent。这些冻结设定在目标回放之前已经选定，后文所有主结果都使用这一张表，而不是在目标上再调参。

#### 题目初始化。

对任务 $i$，令 $h_{i}=\sum_{s}M_{si}$。只使用源数据的边际似然，把混合 $\pi\delta_{0}+(1-\pi)\operatorname{Beta}(\alpha,\beta)$ 拟合到历史任务成功率上。当 $h_{i}>0$ 时，初始成功率为 $(h_{i}+\alpha)/(m+\alpha+\beta)$。对全零列，该值再乘以连续分量的后验概率。成功率在取 logit 之前被截断到 $[10^{-4},1-10^{-4}]$。零质量从源回答中连续估计。

源能力是其 Jeffreys 平滑全分数的 logit，用源均值和以 0.25 为下限的标准差做标准化。十六次正则化牛顿更新拟合题目截距和正斜率。截距在其初始 logit 周围有单位二次正则；斜率在 1 周围的精度为二。更新的幅度被截断到 0.5，截距截断到 $[-10,10]$，斜率截断到 $[.05,5]$。这些数值设定对源拟合是固定的。

#### 残差因子。

令 $\hat{p}_{si}=\sigma(b_{i}+a_{i}\theta_{s})$ 为拟合的源概率，令 $E$ 表示跨源中心化后的 $M-\hat{p}$。把平均拟合伯努利方差定义为 $\bar{d}_{i}=m^{-1}\sum_{s=1}^{m}\hat{p}_{si}(1-\hat{p}_{si})$。对 $E=U\Sigma V^{\top}$，残差载荷的第 $k$ 列是

$$ v_{ik}=\frac{V_{ik}\Sigma_{kk}}{\sqrt{\max(1,m-1)}\max(\bar{d}_{i},.08)}. $$

公式 (19)

每当移除一行验证数据，题目模型和残差因子都会重新拟合。最多计算八个方向；残差秩网格是 $r\in\{1,2,4\}$、精度 $\gamma\in\{1,4,8\}$，再加上标量情形 $r=0$、精度 $\gamma\in\{.25,1\}$。当 $r>0$ 时，能力精度为 0.25，残差坐标的精度为 $\gamma$。当 $r=0$ 时，能力精度为 $\gamma$。源签名组对截距、斜率和残差方向取平均，避免源上完全相同的题目之间出现数值差异。残差载荷把奇异值按源样本量和该题的平均伯努利方差缩放，方差下限取零点零八，以免极难或极易的题目把方向放大。秩网格只取一、二、四，另加秩为零的标量模型；精度只取给定的有限集合。因此这里报告的不是连续最优，而是源验证在这个网格上留下的那一个点。

#### 只使用源数据的配置网格。

HSPR 在有限配置网格上做分阶段的留一源智能体验证。全局网格把上面十一个秩/精度组合，与逻辑斯蒂分数方差采集或潜在状态采集，以及校准 $\lambda\in\{0,.5\}$ 结合起来（44 个设定）。这一阶段保留所选的秩和精度。在这些量保持固定时，分层网格使用 $\kappa\in\{.25,1,4,16\}$、Score 或 Latent 采集，以及后验均值校准 $\lambda\in\{0,.5\}$。然后在组不确定性强度和采集规则保持固定的情况下，于由此得到的查询路径上选择中位数校准。

全局阶段使用确定性查询路径，并对留出的源智能体平均误差。分层阶段和中位数阶段还对查询种子 0、1 和 2 取平均。源 MAE 出现并列时，使用每个智能体最大的验证误差，在适用时跨种子平均，然后按固定的网格顺序打破并列。每个被留出的源在重新拟合回答模型和任务组之前被排除。我们用所选配置在全部源智能体上重新拟合模型，并在目标回放之前把它冻结。表 4 列出每一折所部署的设定。

#### 后验提议与更新。

一个辅助的逻辑正态组 MAP 为 $z$ 提供高斯提议。它的局部偏移具有二次精度 $\kappa$，并与全局坐标一起用 Schur 补求解。提议在每八个已观察结局之后刷新。两次刷新之间，共轭更新重新加权已有节点，并在加权节点模型内精确更新已观察计数。

若节点 $z_{j}$ 从提议密度 $q$ 中抽出，其归一化权重满足

$$ w_{j}\propto\frac{p(z_{j})}{q(z_{j})}\prod_{g}\frac{\mathrm{B}(A_{g}(z_{j}),F_{g}(z_{j}))}{\mathrm{B}(c_{g}p_{g},c_{g}(1-p_{g}))}. $$

公式 (20)

各节点共有的高斯归一化常数会抵消。实现用上升阶乘的 log1p 项计算 Beta 积分后的有序似然，以避免集中度很大时的相消。该似然使用的概率被截断到 $[10^{-12},1-10^{-12}]$。

8,192 个节点使用打乱的 Sobol 序列，再通过标准正态逆 CDF 映射，模拟种子为 20261005。预测中位数使用 131,072 次完整的有限分数抽取。预测决策抽样使用同一个固定数值种子，但使用与查询随机数发生器分开的生成器。分开的生成器使预测抽样独立于组内查询随机化。查询种子 0 到 4 提供五条目标路径。

附录 B 采集准则的推导

令 $m_{g}(z)=A_{g}/(A_{g}+F_{g})$，$\tau_{g}^{2}(z)=m_{g}(z)(1-m_{g}(z))/(A_{g}+F_{g}+1)$。在给定 $z,D_{t}$ 时，

$$ \mathbb{E}[K_{g}\mid z,D_{t}]=U_{g}m_{g}(z), $$

公式 (21)

$$ \operatorname{Var}(K_{g}\mid z,D_{t})=U_{g}m_{g}(z)(1-m_{g}(z))+U_{g}(U_{g}-1)\tau_{g}^{2}(z). $$

公式 (22)

对条件方差积分，再加上条件分数均值的方差，就得到预测的有限分数方差。伯努利结局方差和共享成功率的不确定性都留在这一计算里。

对组 $g$ 中某个特定的未查询题目，它与 $S$ 的条件协方差是

$$ \operatorname{Cov}(S,Y_{g}\mid z,D_{t})=\frac{m_{g}(z)(1-m_{g}(z))}{N}+\frac{(U_{g}-1)\tau_{g}^{2}(z)}{N}. $$

公式 (23)

对 $z$ 边际化，是在 $D_{t}$ 保持固定时，取这一条件协方差的后验期望，再加上条件分数均值与 $m_{g}(z)$ 之间的协方差。这一附加项捕捉组与组之间的全局迁移。如果省略直接的题目项，优化的就会是关于其他未查询任务的信息，而不是当前题目本身。

对任意随机变量 $T$ 和二元查询结局 $Y$，令 $p=\Pr(Y=1\mid D)\in(0,1)$，$\mu_{y}=\mathbb{E}[T\mid D,Y=y]$。则

$$ \operatorname{Cov}(T,Y\mid D)=p(1-p)(\mu_{1}-\mu_{0}), $$

公式 (24)

$$ \operatorname{Var}(\mathbb{E}[T\mid D,Y]\mid D)=p(1-p)(\mu_{1}-\mu_{0})^{2}. $$

公式 (25)

因此全方差公式给出

$$ \operatorname{Var}(T\mid D)-\mathbb{E}[\operatorname{Var}(T\mid D,Y)\mid D]=\frac{\operatorname{Cov}(T,Y\mid D)^{2}}{p(1-p)}. $$

公式 (26)

取 $T=S$ 即证明命题 1；按坐标对 $T=z_{k}$ 求和即得到公式 13。这一恒等式对所假设的分布是精确的，包括有限加权节点近似。把它说成采集语言：查询一个二元结局所能消掉的分数方差，等于该结局与全分数的协方差的平方，再除以该结局自己的方差。公式二十一和二十二先给出组内未观察成功计数的条件均值和条件方差，其中第二项来自共享成功率的不确定性，并随未查询人数的平方增长。公式二十三把这份不确定性写进与全分数的协方差。公式二十四到二十六对任意随机变量和一次二元查询成立，所以既能用于分数，也能逐坐标用于潜在状态。推导不声称贪心采集对最终绝对误差最优，只说明这一步在当前后验下减少的是哪一种方差。

附录 C 评测协议与可复现性

算法 1 在固定任务库上运行，并通过执行预言机揭示目标结局。在源验证期间，整行被留出的数据会在拟合初始成功率、题参数、残差因子和源签名之前被移除。然后用所选配置在全部源行上重新拟合模型。所有模型、查询策略和校准选择都在目标回放之前冻结。

每一步的采集只使用源数据和已观察历史。已经耗尽的组被排除，并在揭示二元结局之前，于所选组内均匀抽取一个剩余任务。每条路径包含 $B$ 次互不相同的执行。每种方法和每条查询路径有自己的 $B$ 次执行预算。预测抽取使用与查询选择分开的数值生成器。

分数估计和已查询任务的标识，在读取完整目标结局之前被记录。完整真值随后提供 MAE、排名和最大误差。完整的目标折在每个查询种子内先汇总，再对指标取平均，定义见第 4.1 节。这一顺序把推断信息与计分信息分开。历史库的收集和源拟合是 $B$ 之外的额外成本。

#### 改写后的基线协议。

FAQ-port 使用不放回变体，并把逻辑斯蒂因子秩上限设为源队列大小减一。它保留后验因子更新和 PAI 估计器；这一变体并不继承有放回情形的覆盖定理。ATLAS-port 保留序贯期望后验能力估计、带前五随机化的最大 Fisher 信息选择，以及 p-IRT 分数估计。它用源折上的 4PL 题库代替原来的 R/mirt 3PL 拟合，并施加固定的、任务互不相同的预算。因此这些行报告的是在现有题库上改写后的流程。RSL 使用 Uniform 查询集；Mid-Range 原始均值和带 Ridge 的 Mid-Range 共享它们在源数据上选出的任务集。两者都不共享 HSPR 的自适应查询路径。PTA-IRT 保留其已发布的冻结预测，包括它对历史轨迹信息的使用。匹配的目标任务预算并不拉平历史信息或源拟合成本。

附录 D 完整的配对统计比较

表 5：配对 MAE 差值，定义为 HSPR 减去比较对象，因此负值有利于 HSPR。按种子平均的智能体误差被配对。95% 百分位自助区间使用 10,000 次配置重抽样，以归档任务库为条件，且未经调整。Wilcoxon 的 $p$ 值在全部 16 次比较上做 Holm 调整。差值、区间和 $p$ 值按原表保留。

表 5 中的对比在一个基准内都使用相同的留出配置键。基线的种子数不同，因此按种子平均的误差为每个配置提供一个配对观察。自助法度量的是归档配置样本上的变异性，并以所观察的任务库为条件。Wilcoxon 检验使用与第 4 节相同的、全局 16 个对比的 Holm 校正。十六行覆盖四个基准乘四个比较对象。负的差值表示 HSPR 的平均绝对误差更小。Lite 相对 ATLAS-port、PTA-IRT、Stratified 和 RSL 的差值分别是负零点七六二、负零点七九七、负二点五四一和负二点九八四。Verified 相对 ATLAS-port 为正零点零五五，区间跨过零，校正后的 p 值为一。Full 相对 PTA-IRT 为负一点五六二，但校正后 p 值为零点一一六。Pro 相对 ATLAS-port 为负五点六三八，区间从负八点零六八到负三点三一三，校正后 p 值为零点零零三。读这张表时，区间未经 Holm 调整，p 值已经调整，两者不要混成同一个显著性声明。

附录 E 补充的受控分析与数值验证

#### 端到端的分层对照。

表 2A 保留每一折由源数据选出的采集目标（13 个 Score 折和 3 个 Latent 折）、全局秩和精度，以及所采用的中位数校准。去掉分层结构，是把组成功率设成它的全局回答概率，从而消除条件 Beta 变异。每个对照更新自己的后验，并选择自己的、任务互不相同的路径。两者都保留全部 133 个目标配置和五个查询种子。等权任务库宏平均差值，在每个任务库内、对种子取平均之后，使用 10,000 个配对配置自助样本。去掉分层结构使宏平均 MAE 从 1.664 升到 1.808 pp；0.143 pp 这一差值的条件 95% 区间是 $[-0.012,0.302]$ pp，其中包含零。对四个分层比较用 Holm 方法校正之后，单个任务库上的 Wilcoxon 检验不再显著。宏平均区间概括的是归档配置队列之间的总体变异。

#### 预测精度。

源验证检查预测样本均值是否落在解析后验均值的六个蒙特卡洛标准误之内。对中位数的数值区间，二项次序统计量的分位数在 131,072 个已排序的分数抽取中标出中央 95% 的下标。它的宽度对照一个有限任务增量 $1/N$ 来检查。这一区间度量的是后验中位数的蒙特卡洛精度。

#### 积分分辨率。

只使用源数据的检查，在共同的查询历史上比较 8,192 和 32,768 个节点，分数容差在 0 到 1 的刻度上为 0.0005（0.05 pp）。Verified 的抽取分辨率检查，使用同一套冻结的查询策略和因子约定，比较 65,536 和 131,072 次抽取。这些比较评估的是所报告运行设定下的数值精度。

#### 匹配路径的重构。

表 6：历史组结构，以及 10% 预算上匹配路径的重构。两列 MAE 都使用后验均值，查询路径和校准相同。$\bar{G}$ 是对目标平均的源组数。组收益是无组不确定性的 MAE 减去有组不确定性的 MAE，在四舍五入之前计算，单位为 pp。粗体标出最大的 $N/\bar{G}$ 和最大收益。数值按原表保留。

所报告的同路径无组对照，保留相同的全局配置和所选任务，但在积分全局后验时不带 Beta 成功率残差。它以后验均值来评测。把它与分层均值比较，可以把条件组不确定性在这些路径上的效应分离出来。表 2C 在相同查询路径上比较后验均值和中位数，校准按每个决策族分别选择。表 6 报告完整的匹配路径比较。效应随任务库而变化：最大的改进在 Full 上，而 Pro 略微偏向无组均值。

#### 采集对照。

表 2B 保留全部 HSPR 模型设定和中位数校准。Uniform 复用已保存的基线排列，种子为 11、23、37、53 和 71；Mid-Range 按源成功率到 0.5 的距离排序，并列时保持稳定的任务顺序。全部 133 个目标产生 665 个 Uniform 预测和 133 个确定性的 Mid-Range 预测。

三十二次只使用源数据的检查，在相同路径上比较积分分辨率，并在拟合和选择之前排除被留出的源。静态采集对照的预测抽样使用一条预先规定的数值精度规则：从 131,072 次抽取开始，每次加倍，直到 2,097,152，直到样本均值在六个蒙特卡洛标准误内一致，并且中位数数值区间的跨度最多为 $1/N$。这一规则在完整目标计分之前使用数值误差估计。所有自适应参照都满足该准则；797 个静态预测使用 131,072 次抽取，有一个使用 524,288 次。所记录的静态路径能够复现它们的基线选择器。

预算扫描保留主要的 10% 预测，并在相同数值容差下检查全部源检查点。

附录 F 历史回答结构与迁移诊断

表 7：10% 预算上的事后支持诊断。每个目标使用其冻结的源折；条目对目标等权平均，查询再对五个种子平均。源上全零的任务在全部源智能体中成功次数为零。目标成功率在预测之后、为本诊断而计算。数值按原表保留。

表 7 给出支撑第 4.4 节的、按任务库分开的完整支持统计。条目对配置等权平均，并使用每个目标冻结的源折。目标成功率在该目标的源上全零任务内部测量；查询覆盖率是从其查询任务中抽自这一集合的比例，再对五个种子平均。查询覆盖率反映所部署的、只在源数据上选出的采集策略。

附录 G 计算开销

我们在 10% 任务预算上，对全部 133 个目标配置和五个查询种子（665 次运行）剖析了 HSPR。实验使用一台 AMD EPYC 7352 服务器，有 96 个逻辑 CPU 和大约 566 GiB 系统内存，运行 Python 3.11.3、NumPy 1.26.4 和 SciPy 1.17.1。我们同时跑 24 个评测，每个评测在单独进程里使用一个 CPU 线程，不使用 GPU。计时包括后验初始化、顺序查询与更新，以及最终的预测决策和校准。它不包括数据加载、源拟合与配置选择，以及软件智能体的任务执行。

表 8：10% 任务预算上，HSPR 评测器对每个目标和每个查询种子的墙钟时间。P90 是每个任务库内各次运行的第 90 百分位。秒数和运行次数按原表保留。

表 8 报告共享服务器上每次运行的墙钟时间。整批在并发评测下用了 510.1 秒；被计时的推断区间总共消耗 3.31 个 CPU 小时。所有回放的查询路径都与归档的主要结果一致，单位分数刻度上最大的绝对预测差是 $2.22\times 10^{-16}$。这些测量量化的是部署时的推断开销，而不是只使用源数据的配置选择的总计算成本，也不是端到端智能体评测所节省的成本。

附录 H 跨模型家族的分数恢复

图 4 在 10% 任务预算上比较全基准分数和 HSPR 估计。每个点代表一个目标配置，模型家族用颜色和标记区分。对角线表示完全一致，从而在整个分数范围内看出高估和低估。

所代表家族的相对误差随任务库而变化。在 Lite 上，GPT/o 系列配置的平均误差低于 Claude 配置（1.71 对 2.15 pp），而在 Verified 上顺序反过来（1.70 对 1.52 pp）。Full 在其配置上始终显示很小的误差：GPT/o 系列、Claude 和未标明组别的平均误差分别为 0.39、0.80 和 0.74 pp，并且每个配置的平均绝对误差都低于 1.71 pp。单个点还揭示家族平均所掩盖的、家族内部配置之间的变异。

图 4：10% 任务预算上，按模型家族画出的全基准分数和 HSPR 估计。点是五个查询种子上的预测均值；误差条是这些种子上的一个样本标准差。虚线表示完全一致，阴影参考带表示 $\pm 2$ pp。分面 MAE 对配置和种子平均绝对误差。家族标签沿用归档配置名；Mixed 表示多个已命名家族，Unspecified 表示没有识别出家族。