生产环境中的高效评测：一项持续演进的大语言模型智能体研究

生产环境中的高效评测：一项持续演进的大语言模型智能体研究

Yining She（卡内基梅隆大学；这项工作在 Meta 完成）、Lei Lin（Meta）。arXiv:2609.21267v1，2026 年 9 月 18 日。许可证：CC BY 4.0。

摘要

生产环境里的大语言模型智能体一边改、一边要反复评测，但整套智能体基准重跑很贵。本文研究一个生产分析智能体的重复评测怎样少跑题，并写下实际部署经验。这个智能体每月服务数万活跃用户。作者用该生产基准的 574 次历史运行，按时间切成标定段和留出段，比较随机抽样、历史缓存、固定的代表性子集，以及基于项目反应理论（IRT，用题目难度和作答者能力预测通过概率的模型）的自适应测试。多维双参数逻辑斯蒂模型（2PL，每道题除难度外还有一组区分度）的自适应测试，总体分数保真度最好：只执行 200 题，即完整运行的 38.5%，通过率的平均绝对误差（MAE）为 1.03 个百分点。尽管如此，上线用的是按难度分层的固定子集，因为操作更简单。这套子集不用重新标定就能迁到另外 5 个智能体族，标定窗短到 1 天也仍然稳定。文末是给重复生产评测的做法建议。

1 引言

生产智能体的模型、提示词、工具和外围系统一直在变，配置要反复拿到人工整理的基准上评。每一题都可能是一条多步轨迹：反复调用模型、使用工具、带状态的交互，以及按任务打分。结果还有随机性，有时要重复试（Kapoor 等，2026；Yao 等，2024；Jimenez 等，2024）。作者面对的是已经上线的分析智能体，每月数万活跃用户；开发和监控会产生数以万计的评测运行，基准评测是其中一大块。核心基准 519 题，每次大约 3 小时。持续开发需要更省时间和算力的测量。

已有工作用子集选择、分数重构和自适应测试来降低大语言模型评测成本（Vivek 等，2024；Polo 等，2024；Perlitz 等，2024；Kipnis 等，2025；Yuan 等，2025；Truong 等，2025）。那些方法主要在公开基准上、用不同模型的作答来标定。一个会持续变的生产智能体则不同：更早运行、按时间排好的结果，可以用来指导后面的评测。这方面知道得更少。

作者问的是：在持续开发里，只评一部分题，能在多大程度上代替整卷。两条轴：分数保真度，即执行题数和整卷分数估计误差的交换；排序保真度，即各次运行之间的名次还能不能保住。

对照是随机抽样。历史数据有三种用法：缓存复用稳定的裁决；固定子集每次跑同一批有代表性的题；自适应测试按本次运行已经看到的作答选下一题（Polo 等，2024；Truong 等，2025）。数据是真实历史：52 天里 574 次基准运行，287 次标定、287 次留出（图 1）。

部分评测可以用少得多的执行次数，把整卷表现找回来。多维 2PL 自适应测试的分数保真度最强：519 题里跑 200 题（38.5%），通过率 MAE 为 1.03 个百分点。排序也能保住：300 题时，最好的自适应配置与整卷排名的 Spearman 相关为 0.992。非自适应方法里，按难度分层的固定子集最强；作者因为它操作简单而部署了它，并用跨智能体迁移和标定窗敏感性做了核对。

贡献有四条：用 574 次历史运行和按时间留出的协议，研究持续演进的生产智能体；比较上述四种方法在分数与排序上的交换；分析方法设计，并把难度分层子集迁到 5 个智能体族、检查它对标定历史的敏感度；从结果和这条生产流水线的部署经验写出做法建议。

2 问题设定

2.1 重复评测

模型、提示词、工具和外围系统一变，开发者就要在人工整理的基准上再评一遍配置。每题是二元的通过或失败，汇总成一次运行的通过率，用来比较配置。

整卷有 \(N\) 道题，\(\mathcal{Q}=\{q_1,\ldots,q_N\}\)。运行 \(r\) 在题 \(q_i\) 上的裁决 \(y_{ri}\in\{0,1\}\)，1 表示通过。整卷向量是

\[ \mathbf{y}_r=(y_{r1},\ldots,y_{rN}), \tag{1} \]

整卷通过率是

\[ s_r=\frac{1}{N}\sum_{i=1}^{N} y_{ri}. \tag{2} \]

\(s_r\) 是高效评测要恢复的参考分数。

2.2 部分评测

方法 \(m\) 只执行子集 \(S_r^{(m)}\subseteq\mathcal{Q}\)，把整卷通过率估成 \(\hat{s}_r^{(m)}\)。\(\mathcal{H}_r\) 是更早运行里已经有的题目级裁决。估计器是

\[ \hat{s}_r^{(m)}=f_m\big(\{y_{ri}:q_i\in S_r^{(m)}\},\mathcal{H}_r\big), \tag{3} \]

\(f_m\) 可以用本次裁决，也可以用历史。不同方法选题不同，报通过率的算法也不同。第 3 节给出选择规则和估计器。

效率用执行比例衡量：

\[ \mathrm{ExecutionFraction}_r^{(m)}=|S_r^{(m)}|/N. \tag{4} \]

2.3 评测目标

分数保真度：报出的通过率要接近整卷。在运行集合 \(\mathcal{R}\) 上，

\[ \mathrm{MAE}^{(m)}=\frac{1}{|\mathcal{R}|}\sum_{r\in\mathcal{R}}\big|\hat{s}_r^{(m)}-s_r\big|. \tag{5} \]

排序保真度：开发者靠运行名次比较改动、查回退，部分评测应保住整卷的顺序。作者用 Spearman 相关和 Kendall 的 \(\tau\)，比较 \(\{\hat{s}_r^{(m)}\}\) 与 \(\{s_r\}\) 的名次是否一致。Spearman 看名次的线性相关，Kendall 看两两先后有多少对得上。

3 方法

四种方法各定义被执行的集合，以及整卷通过率的估计器。

3.1 随机抽样

无放回均匀抽 \(k\) 题，报未加权通过率：

\[ \hat{s}_r^{\mathrm{rand}}=\frac{1}{k}\sum_{q_i\in S_r^{\mathrm{rand}}} y_{ri}. \tag{6} \]

3.2 历史结果缓存

近期运行里一直过或一直挂的题，智能体只做了不大的更新之后，裁决翻转的可能更低。缓存就复用这些题的期望裁决，不再执行。从历史 \(\mathcal{H}_r\) 取回看窗口 \(\mathcal{W}_r\)，题 \(q_i\) 的历史通过率是

\[ \bar{y}_{ri}=\frac{1}{|\mathcal{W}_r|}\sum_{u\in\mathcal{W}_r} y_{ui}. \tag{7} \]

当

\[ \min(\bar{y}_{ri},1-\bar{y}_{ri})\le\epsilon \tag{8} \]

时该题可以缓存。\(\epsilon\in[0,0.5]\) 控制要多稳。可缓存的题用近期多数裁决 \(\tilde{y}_{ri}=\mathbf{1}[\bar{y}_{ri}\ge 0.5]\)，其余题照常执行。若 \(K_r\) 是缓存集合，则执行 \(S_r=\mathcal{Q}\setminus K_r\)，报告

\[ \hat{s}_r^{\mathrm{cache}}=\frac{1}{N}\Big(\sum_{q_i\in S_r} y_{ri}+\sum_{q_i\in K_r}\tilde{y}_{ri}\Big). \tag{9} \]

3.3 固定子集

沿 Polo 等（2024），用历史结果选出一组代表题，以后每次运行都用同一组。作者比较三种选题方式和两种打分方式，把“怎么抽题”和“怎么把分数补全”拆开。

#### 3.3.1 IRT 模型

多维 2PL 给每次运行一个能力向量 \(\boldsymbol{\theta}_r\)，给每题一个区分度向量 \(\boldsymbol{\alpha}_i\) 和一个标量难度 \(\beta_i\)。通过概率是

\[ p_{ri}=\Pr(y_{ri}=1\mid\boldsymbol{\theta}_r,\boldsymbol{\alpha}_i,\beta_i)=\sigma(\boldsymbol{\alpha}_i^\top\boldsymbol{\theta}_r-\beta_i), \tag{10} \]

\(\sigma\) 是逻辑斯蒂函数。参数用历史裁决做最大后验估计，先验为高斯。Rasch 模型，也就是单参数逻辑斯蒂（1PL），是 \(\alpha_i=1\) 的单维特例：

\[ p_{ri}=\sigma(\theta_r-\beta_i). \tag{11} \]

#### 3.3.2 选题

难度分层直接、可解释：在估计难度的全范围内抽题。对照是历史作答聚类和 IRT 特征聚类，改编自 Polo 等（2024）的两种聚类选择器。

难度分层：在标定运行上拟合 Rasch 模型（式 11），按难度 \(\beta_i\) 排序，分成大约相等的 \(k\) 层。每层选最接近该层难度中位数的一题，权重是该层占整卷的比例。

历史作答聚类：每题用一个向量记下它在各次历史运行中的通过或失败，做 \(k\) 个簇的 K 均值。取离每个簇中心最近的题，权重是该簇占整卷的比例。

IRT 特征聚类：改为用拟合好的 2PL 参数 \([\boldsymbol{\alpha}_i;\beta_i]\) 表示题目，再用同样的 K 均值和加权。

#### 3.3.3 打分

每种选题都配两种估计器。加权子集只用选中的题。广义 p-IRT（gp-IRT）再用拟合好的 IRT 把没跑的题补上。

加权：选中的题代表它所在的层或簇。权重 \(w_i\) 满足 \(\sum_{q_i\in S} w_i=1\)，

\[ \hat{s}_r^{\mathrm{weighted}}=\sum_{q_i\in S} w_i y_{ri}. \tag{12} \]

p-IRT 先用子集 \(S\) 上的作答估计本次能力 \(\hat{\boldsymbol{\theta}}_r\)，题目参数保持标定值不动，再把没观测到的裁决换成预测通过概率：

\[ \hat{s}_r^{\mathrm{pIRT}}=\frac{1}{N}\Big(\sum_{q_i\in S} y_{ri}+\sum_{q_i\notin S} p_i(\hat{\boldsymbol{\theta}}_r)\Big). \tag{13} \]

实验里，难度分层的选择和重构都用 Rasch 参数；聚类变体用拟合好的多维 2PL。

gp-IRT 把两种估计混在一起：

\[ \hat{s}_r^{\mathrm{gpIRT}}=\lambda\hat{s}_r^{\mathrm{weighted}}+(1-\lambda)\hat{s}_r^{\mathrm{pIRT}}, \tag{14} \]

\[ \lambda=\frac{\hat{b}^2}{\hat{\sigma}^2/(4|S|)+\hat{b}^2}. \tag{15} \]

IRT 重构偏差 \(\hat{b}^2\) 相对加权估计的方差 \(\hat{\sigma}^2/(4|S|)\) 越大，就越相信直接加权。\(\hat{\sigma}^2\) 是历史运行里、运行内部题目结果方差的平均；\(\hat{b}^2\) 是留出历史运行上 IRT 重构 MAE 的平方。按 Polo 等（2024）默认的锚估计器调整，把 \(\hat{\sigma}^2\) 再除以 4，相当于把估计的标准差减半。

3.4 基于 IRT 的自适应测试

自适应测试用本次已经看到的作答决定下一题，直觉是每次都挑对当前评测信息量最大的题。作者改编 Truong 等（2025）的 Rasch／费舍尔信息流程，并额外做了多维 2PL 加 D 最优选择。D 最优是让能力向量各维的不确定性一起下降，而不只盯一个标量能力。

先用历史运行标定难度 \(\{\beta_i\}_{i=1}^{N}\)，新运行的能力从 \(\hat{\theta}_r^{(0)}=0\) 开始。第 \(t\) 步，尚未观测的题的预测通过概率是

\[ p_i^{(t)}=\sigma(\hat{\theta}_r^{(t)}-\beta_i). \tag{16} \]

Rasch 下，题 \(q_i\) 的费舍尔信息是

\[ \mathcal{I}_i(\hat{\theta}_r^{(t)})=p_i^{(t)}(1-p_i^{(t)}). \tag{17} \]

每一步执行信息最大的未观测题，用全部已观测裁决重估 \(\hat{\theta}_r\)，到 \(k\) 题停止。

多维 2PL 估计能力向量 \(\hat{\boldsymbol{\theta}}_r\)。已累积的费舍尔信息矩阵为 \(\mathbf{I}_t\) 时，选择使 \(p_i^{(t)}(1-p_i^{(t)})\boldsymbol{\alpha}_i^\top\mathbf{I}_t^{-1}\boldsymbol{\alpha}_i\) 最大的题，再用全部已观测裁决更新能力向量和信息矩阵。

费舍尔选题挑的是信息量大的题，不是有代表性的题，所以这些题的原始通过率不必接近整卷通过率。整卷通过率用上面的 p-IRT 重构（式 13）来估计。

4 实验设置

4.1 生产数据

被评测的系统是生产分析智能体，用自然语言回答关于数据的问题。它把语言模型推理和检索、分析工具合在一起，模型、提示词、工具和外围系统一变就再评。

基准题由内部分析师撰写，是关于数据的人工题。题目和记录下来的评测结果都不含用户数据或个人信息。每条结果是自动评分器给出的通过或失败。作者保留那些至少 80% 的题目有有效结果的运行，参考通过率只在有效结果上计算。由此得到第 1 天到第 28 天的 287 次标定运行，以及第 29 天到第 52 天的 287 次测试运行（图 1）。

4.2 时间协议和配置

随机抽样的 \(k\) 取 \(\{10,20,30,50,75,100,150,200,250,300,350,400\}\)，20 个随机种子取平均。

历史缓存用先前常规运行的滚动 7 日窗口，可缓存的题至少要有 5 次历史试验，并且每天重建，供当天的评测复用。\(\epsilon\) 从 0.00 到 0.30，步长 0.01；式 8 成立就缓存。

固定子集用全部标定运行、按与随机抽样相同的 \(k\) 只构造一次，然后原样用到每一次测试运行。选题和 p-IRT 重构用的 IRT 也在全部标定运行上拟合。为估计 gp-IRT 的偏差 \(\hat{b}^2\)，把标定运行对半切：前一半拟合辅助 IRT，后一半上公开每次运行一半的已有结果，测量重构误差。每次多维 2PL 拟合，维度 \(d\) 在 \(\{2,5,10,15\}\) 里选，依据是已观测标定单元格里固定 15% 样本上的对数似然。

自适应测试用同样的 \(k\)。题目参数在全部标定运行上拟合，测试运行选题时保持不动。比较 Rasch 自适应和多维 2PL，看多维能力是否改善精度与执行量的交换。

5 结果

5.1 分数保真度

图 2 在 287 次留出运行上比较历史缓存、难度分层固定子集（加权和 gp-IRT），以及 Rasch 自适应测试。方法族内部的其余设计放在第 5.3 节。附录用表给出完整数字。下面第 5.1、5.2 节里称为“自适应测试”的曲线是 Rasch，不是摘要里的多维 2PL。

固定预算方法按 \(k/519\) 计算执行比例。缓存各点是各阈值上的平均执行比例。

在固定预算的方法里，小预算时难度分层领先：\(k=100\)（19.3%）时，gp-IRT 的 MAE 为 2.65 个百分点，随机抽样 2.94，Rasch 自适应 2.92。从 \(k=200\)（38.5%）起 Rasch 自适应领先：MAE 1.37 个百分点，固定子集 gp-IRT 为 1.40，随机抽样 1.79。\(k=300\)（57.8%）时三者分别为 0.79、0.99、1.18 个百分点。这些预算上，加权和 gp-IRT 接近。

缓存的执行量由资格阈值决定，平均执行比例从 20.3% 到 81.6%，MAE 从 7.36 到 0.81 个百分点。缓存越激进，执行越少、误差越大，曲线在与其他方法重叠的区间上位于上方。例如缓存在 69.1% 执行比例上 MAE 为 1.54 个百分点，而 Rasch 自适应、固定子集 gp-IRT、随机抽样在 \(k=350\)（67.4%）时分别为 0.60、0.73、0.93 个百分点。

小预算时难度分层固定子集最好；从 \(k=200\) 起，这一节比较的 Rasch 自适应 MAE 最低。同等执行量下，历史缓存不如另外三种准。

5.2 排序保真度

图 3 是同一批配置的排序保真度。两种相关都随预算上升，方法之间的差距在 Kendall 的 \(\tau\) 上更明显。

\(k=100\)（19.3%）时，固定子集 gp-IRT 的 Spearman 为 0.930、Kendall 为 0.770；Rasch 自适应为 0.923 与 0.760；随机抽样为 0.911 与 0.751。

预算变大后自适应更强。\(k=200\)（38.5%）时，Rasch 自适应和固定子集 gp-IRT 的 Spearman 都是 0.972，Kendall 则是 0.873 对 0.859。\(k=300\)（57.8%）时，Rasch 自适应为 Spearman 0.986、Kendall 0.920；固定子集 gp-IRT 为 0.981 与 0.887；随机抽样为 0.975 与 0.875。

缓存保住名次的能力，好于它的分数 MAE 所显示的程度。执行比例 20.3% 时，正文写 Spearman 0.905、Kendall 0.733；附录表 2 同一行（阈值 0.30）是 0.904 与 0.732，差在四舍五入的千分位。执行比例 79.0% 时，正文与表 2 一致：0.996 与 0.967；Rasch 自适应在 \(k=400\)（77.1%）时为 0.995 与 0.962。

小预算时难度分层的排序最好；预算变大后自适应领先。历史缓存对名次的保留，明显好于只看分数误差时的印象。

5.3 方法族内部的设计

第 5.1 与 5.2 节的分数排序和名次排序大体一致，后面的分析因此只看 MAE，秩相关放在附录。

#### 5.3.1 固定子集：选题和打分

图 4 把选题和打分拆开。难度分层在大多数预算上 MAE 最低，并且从 \(k=150\)（28.9%）起，两种估计器都领先。用 gp-IRT 时，历史作答 K 均值从 \(k=30\)（5.8%）到 \(k=100\)（19.3%）领先，并且总体上好于 IRT 特征 K 均值。从 \(k=200\)（38.5%）起，两种聚类在任一估计器下都不如随机抽样，难度分层仍然更好。

gp-IRT 帮聚类多于帮难度分层；难度分层的加权和 gp-IRT 一直很接近。排序相关大体重复 MAE 的顺序（图 8、图 9）。

IRT 特征 K 均值偏弱，和 Polo 等（2024）相反；那篇论文里基于 IRT 的选题一直有效。两处实验设定不同，可能解释冲突。第一，这里的标定数据是同一个生产智能体的重复配置，不同的作答模式可能少于 Polo 等用的多样模型群体，多维题目参数没那么稳，簇也就没那么有代表性。难度分层只需要一个难度排序，并直接覆盖这个范围。第二，子集占整卷的比例大得多：\(k=100\) 是 19.3%，而 Polo 等是在大约 14,000 道 MMLU 题里取 100 道。抽样比例一大，随机抽样本身就更准，聚类能挤出的空间变小。

难度分层总体最好。更复杂的选择器没有稳定收益，中等预算上还落到随机抽样下面。

#### 5.3.2 自适应模型：Rasch 与多维 2PL

图 5 比较两种自适应测试。多维 2PL 在每一个 \(k\) 上的 MAE 都低于 Rasch 和随机抽样。优势最大在 \(k=100\)（19.3%）：1.97 个百分点，对比 Rasch 的 2.92 和随机抽样的 2.94。执行越多，优势越窄。Spearman 和 Kendall 的顺序相同（图 10）。

摘要里的 1.03 个百分点，以及 300 题时 Spearman 0.992，来自这一节和附录表 4 的多维 2PL，不是第 5.1 节图 2 里的 Rasch。表 4 在 287 次留出运行上的完整对照如下。MAE 单位是百分点，越低越好；相关越高越好。

Rasch 把每次运行放在一根能力轴上。多维 2PL 允许题目结果通过区分度向量依赖不同的能力坐标，D 最优因此可以去补那些还没被已跑题目覆盖的坐标。这个好处在小预算上最大。跑得越多，p-IRT 就越多用观测替换预测，两个模型的差别变小。

表达能力更强的 IRT 可以明显改进自适应测试。另需注意：Rasch 在 \(k=250\) 的 MAE 也是 1.03 个百分点，和多维 2PL 在 \(k=200\) 的 1.03 不是同一个数字。

6 固定子集的实践核对

前面的比较说明，难度分层固定子集的分数和排序都不差。多维自适应的误差更低，但难度分层更好操作：子集只构造一次，不需要按顺序选题，也不需要每次运行更新能力。每次跑同一批题，智能体演进时还能直接做题目级比较和诊断。这些性质让作者在生产流程里用了它。

因此后面只核对难度分层固定子集的两件事：在一个智能体上标定的子集能不能迁到别的智能体族，以及保真度怎样随标定窗变化。

6.1 跨智能体迁移

把原始智能体上标定的难度分层子集，以及 Rasch 和 gp-IRT 参数，不做重新标定，用到另外 5 个智能体族的 299 次运行上。这些系统的智能体框架、执行环境、工具集和模型配置都不同。选题和拟合估计器都没有用这些家族的结果。对照是同样预算上的均匀随机抽样，20 个种子平均。

附录表 5 的运行数是：家族 A 51、B 146、C 56、D 34、E 12，合计 299。

合并后的迁移运行上，gp-IRT 在 12 个预算里的 11 个上 MAE 低于随机抽样（图 6）。\(k=200\)（38.5%）时，随机抽样、加权、gp-IRT 的 MAE 分别为 1.86、1.49、1.47 个百分点；gp-IRT 也接近它在原始 287 次留出运行上的 1.40。两种固定子集估计器在每一个预算上的 Spearman 和 Kendall 也都高于随机抽样（图 11）。

优势不是每个家族、每个预算都有。尽管如此，每个家族内部的多数预算上，gp-IRT 的 MAE 仍低于随机抽样。附录有合并结果和分家族全表。例如家族 A 在 \(k=300\) 时，随机抽样 MAE 为 1.21，加权为 1.47，gp-IRT 为 1.34，随机抽样反而更低（表 7）。家族 E 在 \(k=200\) 时，随机抽样 1.71，加权 1.89，gp-IRT 1.74（表 11）。

这种迁移说明，IRT 抓住了题目难度里可以跨智能体系统推广的部分，即便标定只在一个智能体上完成。

不重新标定，难度分层子集在合并的迁移运行上、12 个预算中的 11 个优于随机抽样，并接近它在原智能体上的保真度；增益因家族而异。

6.2 标定窗有多敏感

标定数据的数量和时间跨度怎样影响固定子集：标定结束日固定在第 28 天，起始日从第 1 天到第 28 天、每 3 天前移一次，得到 10 个嵌套窗口，运行数从 287 到 14（表 12）。每个窗口重新拟合 Rasch 和 gp-IRT，为 \(k\in\{100,200,300,400\}\) 重建难度分层子集，仍在同一批 287 次留出运行上评测。

窗口变短时，MAE 不是单调变差（图 7）。\(k=100\) 变化最大。\(k=200\) 时 gp-IRT 的 MAE 在 1.35 到 1.59 个百分点之间：1 天窗口（14 次运行）是 1.41，完整四周窗口是 1.40。加权和 gp-IRT 仍然接近。Spearman 和 Kendall 也是这种非单调形态（图 15）。

表 12 的通过率 MAE（百分点）如下。每一窗都在第 28 天结束。

同一张表里，\(k=200\) 的 gp-IRT Spearman 从第 1 天窗口的 0.972 到第 28 天窗口的 0.977，中间最低是第 25 天窗口的 0.968，没有随历史变短而单调下跌。Kendall 在这四个 \(k\) 上同样不是单调的；完整相关格子见原文 PDF 表 12(b)(c)。

这种稳定，可能是因为研究期间智能体已经比较成熟，日与日之间变化有限。近期运行就够用来估计分层所需的难度顺序，也更贴近紧接着的测试期；更早的运行增加的新信息有限。

在所研究的窗口里，固定子集的保真度是稳的。把 4 周历史全部留下，没有一致的好处。

7 实践建议

上线不能只看统计保真度，还要看怎么接进现有流水线。历史缓存留着全部题目，但要有近期结果，还要盯着过期裁决。固定子集的执行量可预期，各次运行共用同一批题。自适应测试可以按每次运行改选题，但要顺序编排、保存本次状态，并反复更新能力。因此该用哪种，取决于周围的评测系统。

这条生产流程部署的是难度分层固定子集，\(k\in\{100,200,300,400\}\)，让使用者自己选执行量和保真度。固定子集在开跑之前就知道工作量，并保留题目级比较，用来诊断行为变化。评测系统本来就是并行跑题的，固定子集不必再加一套顺序服务。子集不重新标定就迁到了另外 5 个智能体族，各标定窗上也没有单调的保真度损失。这些结果支持在所研究的系统和时期里复用。

智能体继续变时，作者建议在模型、提示词、工具或执行系统有实质性改动之后，或者题目级结果出现持续偏移之后，重新标定。开发者还应定期跑整卷，把整卷通过率和固定子集估计比一比，量出持续监控期间引进的误差。

8 相关工作，以及和结果直接有关的限制

高效评测。已有工作从题目子集估计整卷结果。固定试卷式的方法用跨模型相关、IRT、聚类或基准级优化（Vivek 等，2024；Polo 等，2024；Perlitz 等，2024；Kipnis 等，2025；Fogliato 等，2024）。另一些方法按目标模型裁剪子集、优化名次保持，或一边选观测题、一边预测没观测的结果（Yuan 等，2025；Saranathan 等，2025；Li 等，2025）。自适应评测接在计算机化自适应测试之后（Lord，1980），按题目对当前系统的期望信息量选题（Truong 等，2025）。这些方法通常标定在不同语言模型的作答矩阵上。本文改在一个持续演进的生产智能体上，用按时间排列的评测，比较历史缓存、可复用固定子集和自适应测试。这也是第 5.3.1 节里 IRT 特征聚类不如 Polo 等的原因之一：标定群体不是一批彼此不同的模型。

评测大语言模型智能体。智能体评测贵，是因为每一项都可能是完整轨迹，要跟代码仓库交互、浏览、调用工具或多轮对话（Jimenez 等，2024；Mialon 等，2024；Yao 等，2024）。那些工作做的是比较不同智能体的基准和基础设施。这里关心的是同一个智能体演进时反复产生的评测。因此历史裁决可以当先验，而不是每次都把智能体当成没见过的新模型。

持续演进系统的连续评测。这个问题也像回归测试的最小化、选择和优先级（Rothermel 与 Harrold，1997；Yoo 与 Harman，2012）。持续集成用代码变更和历史执行来分配测试（Kim 与 Porter，2002；Elbaum 等，2014；Machalica 等，2019）。智能体结果不确定，像不稳定测试（Luo 等，2014）。传统回归测试靠覆盖率或变更影响找故障，但大语言模型智能体的改动并不能直接指出哪些基准题会受影响。所以作者用历史的题目级结果，加上当前运行的一部分，来估计整卷分数和运行名次，而不是声称找到了受影响的题。

局限性

数据来自一个组织和一套生产基准。难度分层子集迁到了另外 5 个智能体族，但这只覆盖固定子集，不能说明历史缓存或自适应测试也能同样迁移，更不能说明换一套基准仍然成立。后续应用更多样的智能体数据来扩展。

指标是通过率 MAE，以及用 Spearman 和 Kendall 看的总体名次。它们不直接衡量操作阈值上的回退检测或发布门禁：漏掉的回退、误报，以及和“按整卷做决定”是否一致，都还没测。

基准题、题目级结果矩阵和实现都不发布。所比较的方法在第 3 节写全了，任何记下逐题结果的基准都可以按这个说明重做。

附录说明

附录 A 是图背后的完整数字：表 1 为图 2、图 3 的固定预算对照（其中自适应列是 Rasch），表 2 为缓存阈值扫描，表 3 为三种选题乘两种估计器，表 4 为 Rasch 与多维 2PL，表 5 至表 11 为五个家族的迁移，表 12 为标定窗。上面已经全文列入表 4，以及表 12 的 MAE 面板；表 12 的 Spearman、Kendall 面板只写入了 \(k=200\) 的范围说明，没有逐格抄入。表 1、表 2、表 3、表 6 至表 11 的其余格子留在原文 PDF，正文没有为了缩短而改动已写入的数字。

出处：Yining She, Lei Lin，Efficient Benchmarking in Production: A Study of an Evolving LLM Agent，2026-09-18，https://arxiv.org/abs/2609.21267，CC BY 4.0。