知道何时停下：按精度给大语言模型评测停采样

知道何时停下：面向大语言模型评测的贝叶斯最优停止

2026-08-14

Toby D. Pilditch。单位：英国 AI Security Institute，伦敦。通信：toby.pilditch@dsit.gov.uk。

摘要

大语言模型评测常常使用固定的采样预算：每一题都测同样的次数，即使估计已经足够精确。本文介绍 optstop，一个按精度做自适应停止的框架。它把评测当成序贯测量：不确定还高的地方继续采样，估计已经足够精确或足够稳定的地方就停下。框架建立在分层贝叶斯推断上，支持二元、有序和连续结果，并且每一道基准题都仍然可以被抽到，不需要事先标定好的题库。它可以在评测进行中使用，也可以对已经做完的数据集做回顾分析。它还有一道保险：当测得的成绩接近零时采样更谨慎，因为那里稀有的成功最要紧。

在一个说明性的设置里，200 道题、每题 10 个回合（epoch，同一题重复测的次数）。九种验证设置上，它去掉了计划试验的 57% 到 97%，总体结论与完整跑完等价。这些结果表明，评测算力可以按不确定度来分配，而不是按固定的重复次数。省下多少，取决于评测怎么设计。

1 引言

1.1 问题

评测大语言模型，已经成为人工智能安全保证的一根支柱。主要实验室、监管机构和独立审计方，在部署之前做越来越全面的测试，用来刻画模型的能力和风险。前沿模型现在经常在几百个不同任务上被评估，覆盖推理、事实知识、编码、多语言能力和与安全相关的行为。单个基准例如 BIG-bench 超过 200 个任务，HELM 在 42 个场景上评测模型。

每个任务通常有几百或几千道测试题。语言模型生成是随机的，所以每题要重复多次，才能得到稳定的成绩估计。一套 200 个任务、每个 1000 题、每题 5 次重复，单个模型就要一百万次推理调用，这还没算跨模型家族或跨评测条件的比较。模型发布很快，新版本要重新评测，有意义的对比又常常要求在同一条件下重测前代模型，计算负担因此更重。

1.2 评测里的统计充分性

要理解现行评测为什么可能校准不好，得看评测数据的统计结构，以及它向实践者提出的推断要求。评测数据天然是分层的：单次回答针对具体题目（提示或问题），题目归在任务或子领域里，任务再聚成更宽的能力领域，整套结构在多个被评模型上重复。最细的一层上，同一题重复提问可以得到不同回答，所以每题需要多个回合，才能把能力和采样噪声分开。这种分层结构在评测里很普遍，却很少得到相称的统计处理。

图 1 是评测数据分层嵌套结构的一个例子，取自 HiBayES 那份工作。原图在附录所据的文献里，本文不另造。

更复杂的是，成绩在评测空间里并不均匀。模型能力不是一起变好或一起变差。「锯齿前沿」借用 Dell’Acqua 等人研究人工智能增强专业任务时的比喻：模型可以在一种能力上很强，在表面相似的另一种能力上失败。成绩随任务、难度、提示写法以及它们的交互而变。评测里的不确定本身也不均匀：有些模型–任务组合观察几次就很稳，另一些方差很高，要抽很久才分得清。现行做法却不管推断目标或内在变异，一律用同一套采样。

常规频率派做法——样本均值加上标准误或置信区间——预设大样本、近似正态、方差齐性。在稀疏、不连续或异质的评测数据里，这些假设经常不成立。分层贝叶斯模型明确表示数据的嵌套结构，可以在各层之间做部分合并（partial pooling，借相邻组的信息来稳住估计很少的那一组）。后验可信区间（credible interval，按后验概率划出的区间）即使数据很少也能给出有效的不确定度，不依赖渐近假设。HiBayES 框架已经在大语言模型评测上表明这些优点：不确定度估计更校准，推断比常规方法更稳。

本文的 optstop 同样用分层贝叶斯，但是问的是逻辑上更早的问题。HiBayES 一类框架回答的是数据收集之后「这些数据说明什么」。optstop 回答「数据收集何时可以安全停下」。它在评测过程中监视贝叶斯可信区间的宽度，一旦单题或模型–任务分组的估计达到使用者指定的精度，就自动停止继续收集。

1.3 效率在测试里的价值

停止问题可以收成一个资源分配问题：怎样让下一次观察带来的期望信息最大。后验不确定度在评测空间里下降得不均匀。有效的策略是，精度已经够的地方停止收集，把力气集中到不确定还在的地方。

这有直接的实际后果。全面评测的直接成本很高：有些智能体基准里，单个任务消耗的词元值几百美元。这些成本决定了什么会被评测，迫使人们在覆盖的广度和评估的深度之间取舍。评测延迟会压缩安全保证的周期，挤掉补救和审议的时间。除了钱和时间，效率还关系到环境上的可持续，以及能否公平地做严格评测。更要紧的是，自适应停止把评测从固定预算，变成有目标的再分配：从已经刻画清楚的模型–任务组合上省下的计算，可以转到能力边界和稀有事件上，那里的不确定和安全相关性最大。

1.4 相关工作

已经有几条互补的路，用来提高大语言模型评测的效率。自适应选题来自项目反应理论（IRT）和计算机化自适应测试（CAT）。它们为每个模型挑选信息量最大的题目，从而降低成本。Perlitz 等人表明，可靠的基准排名可以用一小部分题目得到。Hofmann 等人把基于 IRT 的能力估计和动态选题合在一起。Li 等人用费舍尔信息引导选题，所需题目最多可以减少 90%。Balkır 等人把自适应测试扩到连续分数，并按精度停止。这些做法减少的是评测的广度（每个模型更少的题目），但通常需要事先标定的题库。新基准或安全关键任务往往没有这样的题库，而且那些任务要求覆盖全面。

另一条线把最优停止用在推理时采样上：决定对一条提示何时停止生成候选回答。Wan 等人用贝叶斯序贯搜索，Kalayci 等人用潘多拉盒子模型。它们优化的是生成质量，不是评测设计。

本文占的是另一个位置：在评测运行期间做自动的、实时的停止决定，判断已经收集的数据对单题和分组两层的可靠推断是否足够。不需要事先标定题目参数，也不改评测内容。

2 optstop 框架

optstop 是一个 Python 库，公开在 https://github.com/UKGovernmentBEIS/optstop 。它作为实时早停协议接进 inspect_ai 评测框架，也可以单独对已经完成的数据集做回顾分析。

2.1 按精度停止

核心停止准则看的是：某个成绩参数的后验可信区间宽度，是否已经低于使用者指定的精度阈值 δ。记 W = θU − θL 为参数 θ 的 (1−α) 可信区间宽度。当 W < δ 时停止。框架在两层上运作：一个阈值管单题（一道提示的重复评测已经够了），另一个阈值管分组（一个模型–任务组合里已经评过的题目够了）。δ = 0.05 表示在指定的可信水平上精确到 ±2.5 个百分点。默认可信水平是 97%。

第二条稳定化准则，用来发现继续收集数据的推断收益已经变小。它在一个滑动窗口里看最近可信区间宽度的斜率。斜率接近零、而且没有朝更陡的下降走时，就宣布稳定。在宽度阈值会需要多到不切实际的观察时，它是退路。形式说明在附录 A.1.2，本篇不展开公式。

正当使用有两个条件：每个分组内的观察可交换（联合分布不因排列而变），以及题目呈现顺序是随机的。inspect_ai 用 sample_shuffle 选项支持后者。这个选项默认不打开。如果评测者不能保证题目顺序与难度或其他混杂因素无关，建议打开，当作预防。单独使用 optstop 的人，应当自己保证同等的随机化。

2.2 保守性

任何早停都有一个系统风险：在稀有但重要的事件被观察到之前就停了。在大语言模型评测里，这个风险在能力检测上最尖。只在 1% 的尝试上成功的模型，比 99% 都成功的模型更需要谨慎地停。这和 pass@k 直接相关：k 次尝试里哪怕只有一次成功，也和持续失败在能力上定性不同。pass@k 指 k 次尝试中至少成功一次的比例。

当估计成绩低于一个低阈值（默认 1%）时，包做不对称的保守调整：用来和停止阈值比较的有效可信区间宽度，乘以一个保守因子（默认 c = 5）；稳定化准则的斜率阈值也按同一因子收紧。这会推迟低成绩组合的停止，多给稀有成功被观察到的机会，而不惩罚成绩明显很高的评测。这个机制在标定过的成绩水平上的敏感性分析见附录 B.11。

2.3 分层推断与分组

评测数据天然嵌套：单次回答嵌在题目（不同提示）里，题目嵌在分组（模型–任务组合）里。框架同时在两层上运作。题目层上，贝叶斯推断刻画每一道提示在重复评测上的成绩。分组层上，分层贝叶斯模型在题目之间做部分合并，于是即使各题在不同时点停止，估计仍然稳。

分组由使用者定义，是评测空间的划分。每个分组维持自己的推断状态，并独立触发停止准则。一般建议按所有可能系统影响成绩的操纵因素做析因分组，例如模型 × 任务，或模型 × 任务 × 难度。分组更细，分辨率更高，但要更多观察才能达到精度阈值；分组更粗，收敛更快，但可能掩盖成绩的异质性。

表 1：三条推断路径的摘要。μ0 默认是 0。表中的先验尺度是路径默认值，两者都可以用 prior_mu 和 prior_sigma 配置。μ_group、σ_group、ϕ_group 分别是组层均值、题目间尺度和精度参数。停止阈值在题目层和分组层都用。估计成绩低于低成绩阈值时，第 2.2 节的不对称保守调整对三条路径都适用。完整规格，包括题目层先验、切点参数化，以及 Dirichlet-多项退路模型的先验，在附录 A.4。

2.4 推断路径

包按分数类型走三条定制路径，分布假设与数据类型相配。路由由使用者配置决定：二元推断是默认；声明哪些任务使用有序类别评分后，启用有序推断；使用分数聚合函数或连续指标的任务，启用连续推断。表 1 概括三条路径。

二元分数（对/错）在分组层用 logit-正态分层结构。选择它而不是共轭的 Beta-二项，是为了计算上更可靠（模拟证据在附录 B.6）。估计量是总体水平的平均成功概率。

有序分数（离散的有序类别，例如 0–10 的评分细则）用分层有序逻辑（累积链接）模型。有序假设不合适时，退到 Dirichlet-多项。估计量是题目平均的类别分布的众数类别。停止混用两条路径。路径 1 同时要求众数可信区间窄，并且分布熵低，从而确认分布真的有峰，而不是稀疏数据造成的假窄区间。路径 2 看熵的可信区间宽度是否已经低于收敛阈值，用来处理合法地很散、没有清楚众数的分布。

有界连续分数（例如归一化的相似度、评分细则的均值）用分层 logit-正态，作用在题目层的汇总统计上，而不是单次观察上。相对逐次观察的推断，理论上大约快 20 倍。

3 实证验证

为了看停止框架是否在各推断路径和成绩谱上保持统计有效性，作者做了一个 3×3 矩阵实验：三条推断路径（二元、有序、连续；表 1）乘三个成绩水平（估计的 p：低、中、高）。每个格子以影子模式运行：把计划中的全部试验都做完，同时在内部记录停止准则本来会在何时满足。为了分离纯粹的截断效应，把完整跑的分数，和只保留到停止决定为止的那些试验算出的分数相比较，从而去掉大语言模型随机性造成的运行之间的方差。

二元这一列用不同的基准和模型，以得到自然的成绩差异：MATH 第 5 级配 GPT-3.5 Turbo（低，估计 p 约 0.05）；GPQA Diamond 配 GPT-4o（中，约 0.50）；MMLU 零样本配 GPT-4o（高，约 0.83）。有序和连续这两列用 WritingBench 配 Claude Sonnet 4.5，用 max_tokens 为 50、500、5000 来调节成绩，评分细则有 11 个类别（K=11，分数 0–10）。所有模型都在 2026 年 3 月通过 API 访问：Anthropic Claude Sonnet 4.5（claude-sonnet-4-5-20250929），OpenAI GPT-4o（gpt-4o-2024-08-06），OpenAI GPT-3.5 Turbo（gpt-3.5-turbo-0125）。

每个格子用 200 道题（二元中等那格是 198 道，即完整的 GPQA Diamond），每题 10 个回合，精度阈值 δ = 0.05，可信区间 97%。完整实验协议在附录 B.8.1。

3.1 停止效率与分数保真

图 2 给出全部九个格子的核心验证。九个格子都触发了早停。效率增益从 57.2%（有序、中等）到 97.3%（连续、低）。所有格子上，完整跑与截断估计之间的平均绝对分数偏差是 0.006（归一化到 [0,1]），平均效率增益 81.1%。

有两个形态。第一是路径效应：连续路径效率最高（平均 95.1%，范围 93%–97%），然后是有序（75.0%，57%–92%）和二元（73.3%，59%–84%）。连续路径的优势来自实值分数的信息密度高：每次观察减少的后验不确定，比二元结果（最多 1 比特）或离散的有序类别大得多。第二是极端效应：每条路径内部，成绩极端（靠近地板或天花板）的格子比中等成绩更省，因为中等分数让每题方差最大，后验收敛更慢。这次实验没有用到第 2.2 节的不对称保守调整：即便成绩最低的格子（估计 p 约 0.05）也高于触发它的 1% 低成绩阈值。该机制另行在附录 B.11 验证。

效率增益很大，分数保真仍然高。图 2 上叠着的标记表明，完整跑和截断估计在所有格子上都靠得很近。有序路径偏差最小（平均绝对差 0.001），然后是二元（0.006）和连续（0.011）。即便单格最大的偏差（0.022，连续、高）也落在精度阈值 δ = 0.05 之内。有序、中等那一格值得注意：它走的是路径 2（熵收敛），而不是路径 1（众数可信区间），这支持双路径设计能够处理没有主导众数的分布（附录 B.3）。这里报告的偏差，是每次运行的汇总估计之间不成对的比较，汇总估计是每题、按回合平均之后再取均值（图 2 显示的就是这个单位）。第 3.2 节按题目配对的分析，分离的是每题上的截断效应。

图 2：3×3 验证矩阵上的停止效率与分数保真。柱是试验次数：完整跑（蓝，计划 2000 次；二元中等为 1980 次）对截断（橙，并标出停止时的试验数）。叠着的标记是归一化的任务成绩：完整跑为蓝圆，截断为橙方。标记靠得很近，说明试验大幅减少后保真仍然高，连续路径尤其明显（2000 次里只用了 54 到 142 次）。误差线是题目层的 95% 置信区间（均值 ±1.96 倍标准误）。

3.2 统计等价

为了正式评估截断是否引入系统偏差，作者用 HDI（highest density interval，最高密度区间）加 ROPE（region of practical equivalence，实际等价区域）做贝叶斯等价检验。逐格分析用 94% 的 HDI，沿用 HiBayES 的分析惯例；合并的元分析用 97% 的 HDI，与 optstop 的停止准则一致。每个格子里，完整跑和截断跑的、按回合平均的每题分数按题目身份配对。分层元分析把九个格子合在一起，得到截断效应的联合估计（逐格结果见附录 B.8.3，元分析规格见附录 B.8.5）。

有两个二元格子（低和中）结论是未决。这反映的是二元评分信息量低（每次观察最多 1 比特，后验宽），不是截断偏差。另有一个有序格子（高）未决，反映的是众数估计量和均值估计量不一致。细节在附录 B.8.5。这三格都由分层元分析解决。

图 3 给出结果。(a) 是带分层收缩的森林图：灰方块是独立的格子估计（误差线是由观察到的标准误得到的 Wald 95% 置信区间），彩色圆是向组均值做部分合并之后的分层估计（97% HDI）。收缩在标准误较大的格子上最明显，尤其是二元低、二元中和有序高，它们的独立估计被拉向可以忽略的组均值。(b) 是总体平均截断效应 μ 的后验。估计是 +0.0003，97% HDI 为 [−0.002, +0.003]，整个落在 ±0.02 的 ROPE 里，因此接受零效应。格间异质性的估计 τ 为 0.001，说明各格一致。

作为补充，作者核验截断是否保持相对成绩排名。这对能力比较很关键。有序和连续两列用的是同一基准 WritingBench，在三个 max_tokens 水平上评测。分层模型确认，排名 5000 > 500 > 50 在完整跑和截断条件下都保持，而且 94% HDI 不重叠（附录 B.8.6）。

这些结果说明：框架的停止决定在所有格子上保持分数保真，在合并水平上保持统计等价；三个单独未决的格子由分层元分析解决。逐格检验故意很严：在比框架自身精度目标更窄的 ROPE 里做题目配对的等价检验。未决表示这一格的证据不够，而不是检出了差异。把 ROPE 放到与 δ 相同时，两个二元格子都接受等价（附录 B.8.4）。

图 3：九个格子上截断效应的贝叶斯分层元分析。(a) 森林图。灰方块是独立估计，彩色圆是部分合并后的分层估计。虚线箭头连接成对估计，表示向组均值收缩。底行是总体估计 μ。格子标签报告 N，即配对比较里对上的题目数；在走完所有题之前就停的格子里，N 更少。灰色误差线：由观察到的标准误得到的 Wald 95% 置信区间。彩色误差线：分层后验的 97% HDI。(b) μ 的后验密度（总体平均差，归一化到 [0,1]）。阴影是 ROPE（±0.02）。竖直虚线是 97% HDI 的边界。整个 HDI 落在 ROPE 内，判决为接受零效应。

4 结论

本文给出 optstop：一个按精度做最优停止的框架，用来决定大语言模型评测的数据收集何时可以停下。和自适应选题不同，它不需要事先标定的题库，每一道基准题都仍然可以被评，而不是预先挑一个子集。

第 3 节的 3×3 矩阵实验表明，框架可以去掉大部分计划试验，同时保住分数保真和统计等价。分层元分析确认截断偏差可以忽略。效率增益取决于路径：连续分数省得最多，然后是有序，再然后是二元。这反映实值和有序类别数据每次观察的信息，高于单比特的二元结果。因此，如果评估任务允许，想要效率的人应优先用连续或有序的评分细则，而不是二元的通过/失败。这些结果来自每组 200 题、每题 10 个回合。实际省多少会随评测设计变化。更瘦的配置（更少的题或回合）早停的余地更小，但后验收敛仍然需要足够的数据。

框架的有效性依赖分组内观察可交换，以及呈现顺序随机。两者在实践里都可以满足：inspect_ai 提供 sample_shuffle 做随机化（默认不打开，见附录 A.1）；可交换看起来被违反时——例如一个任务内部有系统的难度梯度——通常可以用更细的分组把异质题目分成更齐的子集来解决（附录 A.3）。可信区间的覆盖取决于分层模型规格是否合适。成绩靠近边界（接近 0% 或 100%）时，收缩效应可能使区间覆盖不足。

呈现顺序的稳健性测试（附录 B.10）在二元和连续格子上得到 100% 的经验覆盖（90/90 次排列比较）。这与停止准则的设计一致：停止在区间宽度达到 δ 时触发，得到的区间宽到足以吸收观察到的小截断偏差（二元和连续格子上平均绝对 Δθ 不超过 0.015）。这反映的是精度保证，不是频率派覆盖的校准。保守机制（附录 A.1.3）进一步在低成绩区间延长数据收集，而覆盖不足在那里会最严重（该机制的验证在附录 B.11）。停止准则对准的是区间宽度而不是覆盖，所以窄区间表示后验集中，即使收缩使估计相对真值有小的位移。受控模拟（附录 B.6）发现，在中等异质性下，分层二元模型的经验覆盖大约是名义 94% 下的 80%。这个缺口在模型选择之间是对称的，反映的是有限样本校准，而不是模型有缺陷；但它强化了：框架保证的是宽度，不是频率派覆盖。

眼下的验证虽然跨了三条推断路径、三个成绩水平和多个基准，仍然是单一实验配置。在更多评测语境、规模和分组结构上重复，会加强对框架可推广性的信心。

optstop 作为开源 Python 库提供。在计算成本限制评测广度或深度的活动里，它给出一个有原则的办法：从已经刻画清楚的模型–任务组合上收回资源，转到真正不确定的区域。它是为了大语言模型评测做的，但只要分布假设做了相应调整，也可以用到其他收集数据又贵、又有分层结构的领域。知道何时停下，不只是优化，它是既严格又可维持的评测制度的一部分。

在典型评测条件和默认设置下，停止由可信区间宽度准则驱动。稳定化准则是区间收敛很慢时的安全网。附录里用放松了 100 倍的参数做过测试；那些参数和产品默认值之间的差距意味着，默认设置下稳定化的精确行为仍然没有被经验刻画，尽管机制在结构上相同。

代码与数据。optstop 包，以及本文图和表所依据的模拟、验证代码和影子模式数据集，在 https://github.com/UKGovernmentBEIS/optstop 。

致谢。作者感谢 Magda Dubois 和 Lennart Luettgau 在整个工作中的讨论与反馈，感谢 JJ Allaire 做出 inspect_ai 的连接，并感谢 Cozmin Ududec 对稿件的意见。

本篇按原文第 1 至第 4 节的顺序写完，并保留结论里对附录限制的说明。附录 A、附录 B 的公式、逐格表和模拟协议没有放进这一篇。

Toby D. Pilditch，Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations，2026-08-14，https://arxiv.org/abs/2608.14425，CC BY 4.0。