Seq@K：在序列反馈下评测语言模型

Seq@K：在序列反馈下评测语言模型

Thomson Yen、Gilbert Yang、Naimeng Ye、Minghui Chen 为同等贡献，单位是哥伦比亚商学院决策、风险与运营学部（Decision, Risk, and Operations Division, Columbia Business School）。Dong Xia、Yechan Jeon、Daksh Mittal、Fangyu Wu、Hongseok Namkoong 同属该学部。Tianyi Shen 的单位是加州大学圣塔芭芭拉分校（University of California, Santa Barbara）。Yaqin Chen 的单位是西北大学（Northwestern University）。作者姓名按原文保留，不音译。

摘要

语言模型智能体与此前的智能系统有一个根本差别：它们能在上下文中从自然语言里学习。这一能力使智能体可以根据反馈迭代地改写答案，而这正是当前智能体工作流里常见的运行方式。然而，社区主要仍用 Pass@1 或 Pass@K 这类指标给模型排名，这些指标捕捉不到模型如何利用先前尝试上的反馈。我们提出 Seq@K，一种自然的评测协议。它度量的是：在前一次失败之后都提供反馈的条件下，模型能否在 $K$ 次顺序尝试之内解决一个问题。与考察长程规划的多轮智能体基准不同，Seq@K 把从反馈中改进这一核心能力单独抽出来并形式化。我们在 7 个基准、16 个前沿模型上评测 Seq@K，并表明它揭示的是一套实质上不同的模型选择图景：在 Seq@K 下，（1）模型排名常常改变，（2）帕累托前沿允许更高效的配置，（3）选择最优模型配置所带来的收益，相对 Pass@K 既可能变宽，也可能变窄。我们进一步表明，分析 Seq@K 下的模型轨迹，有助于刻画迭代改进行为，例如模型处理反馈所指出问题的速率，或者它们多么僵硬地抓住自己的答案。最后，我们研究反馈的性质如何影响模型的迭代改进，表明实践者必须仔细设计并基准测试迭代智能体系统的反馈回路。这些结果合在一起，说明 Seq@K 如何为通常运行在这种反馈回路中的智能系统提供更忠实的指标，以及在为这些系统评测模型时考虑 Seq@K 的必要性。

1 引言

带反馈的多轮交互是机器学习的一种基本模式，推动了多臂赌博机（Auer et al., 2002）、主动学习（Settles, 2009）和强化学习（Sutton & Barto, 2018）等经典范式。近来，同一原则催化了大语言模型的许多进展，支撑了测试时计算（Snell et al., 2024）、自动提示优化（Yuksekgonul et al., 2025）和智能体系统（Park et al., 2023；Yao et al., 2023）。然而，这些系统的运行方式与评测方式之间出现了显著脱节。即便现代方法（Shinn et al., 2023；Madaan et al., 2023）和环境（Wang et al., 2024；Yao et al., 2025）以迭代改进为中心，社区仍主要用 Pass@K（Chen et al., 2021）给模型排名，而那是一个严格无视反馈的指标。

我们认为，只依赖无视反馈的评测，不足以发展智能体系统：它可能奖励错误的行为，并掩盖正确的行为。例如考虑一个编码智能体：用户发出初始请求，智能体提出一处编辑，用户给出有针对性的批评，智能体再修改。这种提议、反馈、修订的循环，是今天智能体使用的主导模式，应用也远超出编码。但 Pass@K 看不出一个智能体能否在这个序贯决策循环里表现好。这个盲点隐藏了失败模式，也低估了那些能通过迭代真正变好的模型。

在这项工作中，我们沿一条新的轴来量化模型在序列反馈下改进的能力，并把它命名为 Seq@K。Seq@K 度量的是：每次失败尝试之后都收到反馈时，模型能否在 $K$ 次尝试内解决任务。用 Pass@K 给模型排名，隐含地假设一轮里准确的模型也会用好反馈。我们表明这一假设常常不成立。我们在编码（MBPP Pro、HumanEval Pro（Yu et al., 2025））、复杂指令遵循（AdvancedIF（He et al., 2025））、领域推理（CLBench DKR（Dou et al., 2026））和医疗基准（HealthBench（Arora et al., 2025））上评测 Seq@K。结果揭示：当允许模型根据反馈修订工作时，模型排名、成本前沿和失败模式会如何改变。

我们的贡献和主要经验发现围绕三个问题组织：

1. 模型选择与成本动态：基于 Pass@K 和基于 Seq@K 的评测之间，模型排名可以改变。我们表明：（a）Seq@K 作为校准指标会导向更好、也更省成本的模型；（b）Pass@K 可能低估或高估序列反馈下的能力差异；（c）Seq@K 在部署时常常暴露出优于 Pass@K 的帕累托前沿；（d）Seq@K 追踪的是与 Pass@K 不同的能力（第 5.1 节）。
2. 揭示修订模式：除了报告 Seq@K，我们还分析模型如何修订尝试：（a）模型获得收益的时机不同，有的大部分收益在第一次重试，有的在更后面的尝试；（b）修订并不总是针对反馈，有的模型原样重新提交同一次尝试；（c）即便针对了全部反馈的修订，也可能因为破坏了先前已经通过的要求而失败（第 5.2 节）。
3. 诊断反馈回路：Seq@K 也帮助诊断反馈本身。我们表明：（a）有信息量的反馈是否有用，同时取决于基准和模型能力；（b）对照评分量规写成的批评，倾向于帮助模型修复多得多的失败要求；（c）把先前尝试做成摘要可能降低成功率，因此历史如何保留，应当和 Seq@K 一起报告（第 5.3 节）。

2 相关工作

##### 从反馈中改进。

一条相关工作让模型针对批评或执行反馈进行推理和修订，以此提高智能体表现（Madaan et al., 2023；Shinn et al., 2023；Gou et al., 2024）。Reflexion（Shinn et al., 2023）与我们的设定最接近：它考虑智能体在二元通过/失败信号，或在自生成测试用例的结果之上进行推理。译注：原文此处写 closet，按最接近理解。与之相反，我们的工作以 Seq@K 作为评测指标为中心，因此考虑的是反馈在关于正确答案或评分标准的特权信息之下给出的情形。这反映了一个常见设定：智能体的用户会说明它的尝试为何不够。其他近期工作通过引入新任务来评测这一能力。RefineBench（Lee et al., 2025）引入一套带清单式评测的新任务，并发现自我改进几乎没有提升，而有针对性的反馈能把前沿模型推到接近饱和。ICPC-Eval 的 Refine@K（Xu et al., 2025）在竞赛编程中度量来自执行反馈的修订。我们并不构造新任务，而是表明：在社区已经考虑的现有基准和设定上，Seq@K 评测协议已经能揭示模型表现排名和新的成本–表现帕累托前沿。这些发现说明，在实践中预期会做迭代改进的基准或设定上，Seq@K 是应当与 Pass@K 一并报告的重要指标。

##### 多轮与智能体评测。

SWE-bench、WebArena 和 $\tau$-bench（Jimenez et al., 2024；Zhou et al., 2024；Yao et al., 2025）等智能体基准，以及 MINT（Wang et al., 2024）等多轮评测，在与工具和环境的长交互上给模型打分。在这些设定里，成功同时取决于规划、工具使用、状态跟踪和对反馈的使用。Seq@K 把最后一项单独抽出来：每一则反馈都提供关于整次尝试的信息。因此 Seq@K 上的差异反映的是模型如何修订尝试，而不是它们如何在环境中导航。

3 Seq@K 评测协议

Pass@K 和 Seq@K 都评测模型是否在尝试预算 $K$ 之内至少成功一次，但它们的差别在于：候选是独立抽出的，还是通过来自反馈的迭代改进生成的。独立抽样从静态任务提示生成每个候选，而序列评测把每一次修订条件于先前的候选回答和反馈。我们把这些指标数学地表述如下。

令 $\mathcal{D}=\{x_{i}\}_{i=1}^{N}$ 表示含 $N$ 个任务的基准，$x_{i}$ 是任务 $i$ 的初始提示。令 $\mathcal{Y}$ 表示候选解空间。每个任务 $x_{i}$ 配有验证器 $V_{i}:\mathcal{Y}\to\{0,1\}$，表示候选 $y\in\mathcal{Y}$ 是否满足成功要求。若基准的评测协议要求大语言模型评分员，验证器可以是一个大语言模型。参数为 $\theta$ 的模型，在输入上下文 $c$ 上诱导 $\mathcal{Y}$ 上的条件解码分布 $\pi_{\theta}(\cdot\mid c)$。我们把这个模型称为行动者，以区别于撰写反馈的模型（批评者）和给尝试评分的模型（评分员）。

##### Pass@K。

在独立抽样下，上下文被严格限制为原始任务提示（$c=x_{i}$）。对每个任务 $x_{i}$，模型独立抽出 $K$ 个候选解 $Y_{i,1},\dots,Y_{i,K}\sim\pi_{\theta}(\cdot\mid x_{i})$。若至少有一个候选通过验证器 $V_{i}$，该任务成功。Pass@K 计算基准上的期望成功率：

$$ \mathrm{Pass@}K=\frac{1}{N}\sum_{i=1}^{N}\mathbb{E}_{Y_{i,1},\dots,Y_{i,K}\sim\pi_{\theta}(\cdot\mid x_{i})}\left[\max_{1\leq t\leq K}V_{i}(Y_{i,t})\right]. $$

公式：Pass@K

因为 $V_{i}(y)\in\{0,1\}$，对尝试步 $t$ 取最大，只要任一尝试成功就为 $1$，否则为 $0$。

译注：独立抽样时，每一次候选都不看其他候选，上下文始终是原始任务提示。先对模型的随机解码取期望，再对全部任务取平均。预算 K 次里面只要有一次通过验证器，该任务就记为成功。

##### Seq@K。

在序列评测下，尝试被迭代生成，提示上下文可以随过去的候选回答和环境反馈而扩展。令 $\mathcal{F}$ 表示反馈消息的空间。反馈模式 $m$ 规定行动者在失败尝试之后收到什么反馈消息（第 4 节）。第 $t$ 次尝试之前的交互历史是 $H_{i,t-1}=\big((Y_{i,1},F_{i,1}),\dots,(Y_{i,t-1},F_{i,t-1})\big)$，且 $H_{i,0}=\emptyset$。

在尝试 $t\in\{1,\dots,K\}$，模型抽样 $Y_{i,t}\sim\pi_{\theta}(\cdot\mid x_{i},H_{i,t-1})$。若尝试失败（$V_{i}(Y_{i,t})=0$），环境按反馈模式 $m$ 返回反馈 $F_{i,t}\in\mathcal{F}$，并把它附加到 $H_{i,t-1}$ 供下一轮使用。若尝试成功（$V_{i}(Y_{i,t})=1$），交互提前终止。我们把 $t\geq 2$、因而条件于更早尝试和反馈的尝试，称为修订或修订尝试。令 $\tau_{i}$ 表示由此得到的序列轨迹，令 $P_{\theta,m,i}^{(K)}(\cdot\mid x_{i})$ 表示由模型、反馈模式 $m$ 和预算 $K$ 诱导的轨迹联合分布。Seq@K 评测期望轨迹成功率：

$$ \mathrm{Seq@}K=\frac{1}{N}\sum_{i=1}^{N}\mathbb{E}_{\tau_{i}\sim P_{\theta,m,i}^{(K)}(\cdot\mid x_{i})}\left[\max_{1\leq t\leq K}V_{i}(Y_{i,t})\right]. $$

公式：Seq@K

当轨迹因成功而提前停止时，最大值在预算 $K$ 内已生成的尝试上计算。与 Pass@K 不同，Seq@K 中相继的候选尝试不是从静态提示独立抽出的；每一次修订都直接依赖先前的尝试和反馈。

译注：交互历史把先前的候选回答和对应反馈成对保存。失败才继续，成功就停。从第二次尝试起，抽样条件于这条历史，所以叫修订。Seq@K 对这条轨迹的联合分布取期望，而不是对互不相关的样本取期望。

##### 反馈模式与协议依赖。

Seq@K 构成一族以反馈模式 $m$ 为索引的、条件于反馈的评测。一个数值上的 Seq@K，只有在同时规定反馈模式 $m$、基准任务划分、验证器、提示构造器、解码超参数和尝试预算之后，才是定义良好的。

4 实验设计

我们评测跨越指令遵循、量规评分的生成和可执行代码合成的 7 个基准变体。表 1 列出这些基准、实验配置，以及使用它们的结果章节。每一次经验比较所使用的行动者、任务划分和协议设定都来自这一中心集合，匹配标准和其余协议差异在附录中说明。所有基准、成功标准、任务筛选程序和解码参数的详细定义见附录 A。

表 1：各评测队列的实验覆盖。概览与我们的分析相关的、已完成运行记录，覆盖所评测的 7 个基准变体。该表汇总行动者覆盖、运行次数，以及每个基准关联的结果章节。行动者一列统计跨基准被评测的不同模型数。

译注：表 1 按原文恢复。CLBench DKR 是八个行动者、八十次运行，并用于第 5.1、5.2、5.3 节。CLBench RSA 是三个行动者、八次运行，只用于第 5.1 节。HealthBench 是七个行动者、六十七次运行，用于第 5.1 与第 5.3 节。ResearchRubrics 是八个行动者、三十五次运行，用于第 5.1 与第 5.3 节。MBPP Pro 一百一十二次运行，HumanEval Pro 一百零八次运行。合计是十六个不同模型、四百七十一次运行。

##### 反馈模式。

我们把独立的并行抽样（Pass@K）与三种不同的序列反馈模式比较。它们按失败尝试之后提供给行动者的信号分类。二元反馈：只提供结局上的通过或失败裁决。这一模式评测的是，仅仅知道候选失败了，是否足以引导后续修订。原始验证器反馈：返回直接的环境或评测器诊断，包括执行栈跟踪、失败的测试断言，或量规条目的分解。这一模式检验模型能否解释并依照评测器诊断行动。大语言模型批评反馈：用一个语言模型，从候选回答和提供给批评者的信息生成有针对性的批评。批评者角色可以由行动者模型自己承担，也可以由另一个语言模型承担。我们系统地改变批评者的上下文，包括它是否明确看到底层评分量规。反馈模式规定修订轮次中维持的信息边界。例如，原始测试诊断可以暴露测试失败和期望输出，而知道量规的批评者用量规为行动者生成指导。

在确立基准覆盖、反馈通道和评测协议之后，我们接下来给出经验发现：Seq@K 如何重塑模型选择、暴露修订动态，并跨这些系统量化反馈的效用。

5 结果

我们的经验考察围绕三个核心问题：（1）在序列反馈下评测模型，是否改变模型选择和成本–表现权衡？（2）修订如何在相继的反馈轮次中展开？（3）反馈通道的哪些性质决定一次尝试是成功还是停滞？

5.1 Seq@K 下的模型选择

#### 5.1.1 用 Seq@K 做更有效也更高效的模型选择

模型在静态、单次尝试评测（Pass@5）下的排名，可以与多轮序列评测（Seq@5）下的排名显著分叉。如图 1 所示，在 AdvancedIF 上，Sonnet 从独立抽样下的末位，在序列反馈之后升到并列最高的一组；CLBench DKR 上也有类似的顺序颠倒。鉴于这一差别，实践问题是：评测预期中的反馈回路，能否在有限的校准花费下帮我们选出更好的模型。

（a）AdvancedIF。图中比较独立抽样与序列反馈下的模型名次。Sonnet 在序列反馈后从末位升入并列最高组，CLBench DKR 上有同类的名次颠倒。

选择检验。我们模拟一位实践者：在少数校准任务上挑选行动者，然后在新任务上用序列反馈部署它。我们比较按 Pass@5 挑选，与按更短深度的 Seq@K 挑选（$K=3$ 或 $4$）。因为每一次序列尝试都把更早的尝试和反馈带进上下文，Seq@K 可能更贵。因此我们也记录校准成本。每个候选行动者在相同的校准任务上、于 $T=0.7$ 跑三次，我们对其三次重复的成功率取平均。我们挑选校准任务上分数最高的行动者（并列时均匀随机打破），并在留出任务上用带失败测试细节的原始验证器反馈、以 Seq@5 评测它。选择损失是我们用来评测选择过程的主要指标，即被选行动者与最佳候选在留出集上的分数差。

我们把 45 个 MBPP Pro 任务和 40 个 HumanEval Pro 任务（附录 A.3）在每个基准上均匀分成两个固定组，A 组和 B 组。我们在 A 上校准、在 B 上评测，然后反过来。对给定的校准组与评测组，我们对每个 $n\in[20]$ 反复从校准组抽取 $n$ 个任务，评测任务集在各次抽取和各校准规模上保持固定。图 2 报告在抽取上和两个方向上平均的选择损失与校准成本，每个方向按其评测组大小加权。表 2 报告 $n=10$。置信区间来自自助法（附录 B.1）。

图 2：短的序列校准，为序列部署选出更好的行动者。选择损失和校准成本对应 $n=1$ 到 $20$ 个校准任务（$T=0.7$）。被选行动者在含失败测试细节的原始验证器反馈下以 Seq@5 评测。标记显示 $n\in\{1,5,10,20\}$，表 2 报告 $n=10$。在 MBPP Pro 上，用 1 个任务做 Seq@3 校准，选择损失大约达到用 10 个任务做 Pass@5 的水平，成本低约 11 倍。竖直箭头标出在所绘制的任务数中，Seq@3 与 Pass@5 之间的最大差距。误差条是 95% 自助区间。虚线是均匀随机选择行动者的基线，它没有校准成本。

表 2：用 10 个校准任务做选择。每次选择的平均校准成本，以及被选行动者的留出 Seq@5，$T=0.7$，任务为 45 个 MBPP Pro 和 40 个 HumanEval Pro。Seq@K 校准使用 $K=3$ 或 $4$。注意 Seq@K 和 Pass@K 都在第一次成功时停止，不再产生额外成本。收益表示相对按 Pass@5 校准，按 Seq@5 校准所选出的更好行动者带来的改进。

发现。用 Seq@3 或 Seq@4 校准，比为序列部署而用 Pass@5 校准，能选出显著更好的行动者，成本相近或更低（图 2 和表 2）。收益在 HumanEval Pro 上最大：在 Pass@5 下看起来相近的行动者，在 Seq@5 下差得很开（表 3）。

#### 5.1.2 Pass@K 可能高估或低估表现差距

选到更差行动者的代价，取决于候选行动者在表现上相距多远（表 3）。在 AdvancedIF 上，最好与最差行动者的差距在 Pass@5 下是 33.3 分，但在带原始验证器反馈的 Seq@5 下只有 6.7 分。这是一个例子：只要提供恰当的反馈，行动者之间的表现差距并没有那么大。HumanEval Pro 是相反的例子：当反馈给出失败测试的细节时，行动者之间的差别更大（从 Pass@5 到 Seq@5，由 10.8 分变为 51.7 分）。这里，行动者的差别在于它们在下一次尝试中用反馈的好坏，而任务又恰好是这种能力要紧的任务。全部模型配对上的平均差距沿同一方向移动，说明这是每个基准里普遍的模式。在 MBPP Pro 上，差距也变宽。这些情形表明，Pass@K 可能显著低估或高估行动者之间的差异，因此在预期有序列交互的地方，应当改而考虑 Seq@K。

表 3：Pass@5 可能高估或低估行动者之间的表现差距。最好与最差行动者的差距，以及全部模型配对上的平均差距，$T=0.7$。Seq@5 在 AdvancedIF 上使用原始验证器反馈，在 MBPP Pro 和 HumanEval Pro 上使用失败测试的细节。变化是 Seq@5 下的差距减去 Pass@5 下的差距。细节见附录 B.2。

#### 5.1.3 Seq@K 揭示更好的帕累托最优选择

实践中，可以把智能体部署为 $K$ 次并行尝试，这由 Pass@K 表示。Seq@K 表示另一种做法：用反馈修订，直到预先确定的 $K$ 次尝试。虽然每一次序列尝试携带更多来自先前会话的上下文，它们也往往因为纳入反馈而更早成功。这促使我们考察两种协议的成本–表现帕累托前沿。

图 3 显示每种协议在两个基准、全部行动者和 $K=1$ 到 $5$ 上的帕累托前沿。Seq@K 常常揭示比 Pass@K 更好的帕累托前沿，在相同成本下成功率更高。差别在 DKR 上最大：独立抽样最多解决大约 14% 的任务，而序列反馈达到 50%（Opus 4.7 在 $K=5$）。

（a）AdvancedIF。图 3 比较 Pass@K 与 Seq@K 在 $K=1$ 到 $5$ 上的成本与成功率。Seq@K 常常在相同成本下达到更高成功率。DKR 上独立抽样最多约 14%，序列反馈在 Opus 4.7、$K=5$ 时达到 50%。

#### 5.1.4 Seq@K 追踪与 Pass@K 不同的能力信号

前面的结果说明 Seq@K 对选择模型的操作含义。我们用一项更直接的研究来补充：Seq@K 如何追踪与 Pass@K 不同的能力。乍看之下，两个指标有一定相关。在 26 个模型–基准配对上，Pass@5 与 Seq@5 的 Spearman 相关为 $+0.68$（图 4a）。这是因为两种协议在第一次尝试上的成功率大致相同，反映的是行动者在该任务上的一次性能力。为了控制这一点，我们改为测量每种协议下第 2 到第 5 次尝试增加了多少：

$$ {\Delta\text{Pass@K}=\text{Pass@K}-\text{Pass@1},\qquad\Delta\text{Seq@K}=\text{Seq@K}-\text{Seq@1}.} $$

去掉第一次尝试之后，相关降到 $-0.08$（图 4b）。也就是说，一个模型从更多独立样本中获得多少，几乎说明不了它从反馈中获得多少。因此，Seq@K 评测旨在追踪的迭代改进能力，与 Pass@K 所捕捉的并不是同一件事。译注：原文这一句后半写成 “what Seq@K captures”，与上文 “distinct from Pass@K” 的论证不一致，这里按该段比较的两个协议译为 Pass@K。

图 4：最终成功率在协议之间相关，但重试带来的增益并不相关。每个点是一个模型–基准配对，$K=5$。Seq@5 对每个配对使用最佳的非二元反馈配置。（a）Seq@5 对 Pass@5。（b）每种协议下第 2 到第 5 次尝试的增益。细节见附录 C。

5.2 Seq@K 揭示修订何时以及如何成功

前面关于成功率的数值结果，并没有显示修订何时成功，或行动者如何回应反馈。但智能体修订成功的速率，以及修订在多大程度上针对反馈，直接影响智能体系统是否可用。在这一节，我们考察修订尝试何时带来收益，以及智能体修订模式中的失败。

#### 5.2.1 修订时机区分前倾收益与分散收益

Seq@5 相近的模型，可以在各轮上走出不同的修订轨迹。当部署限制修订轮数时，这一剖面就重要。为刻画这一行为，我们分析表现改进如何分布在修订轮次上。对任何净改进为正的模型（$\Delta\text{Seq@5}>0$），我们计算早期收益份额（EGS）和末次收益份额（LGS）：

$$ {\mathrm{EGS}=\frac{\text{Seq@2}-\text{Seq@1}}{\Delta\text{Seq@5}},\qquad\mathrm{LGS}=\frac{\text{Seq@5}-\text{Seq@4}}{\Delta\text{Seq@5}}.} $$

早期收益份额是第一次重试所获得的改进比例。末步份额是最后一次允许的尝试所获得的比例。

我们在量规引导的 DKR 设定上、用两种不同的批评风格评测这些指标：指令式反馈（给出明确、可执行的修订指示）和苏格拉底式反馈（给出有针对性的探问）。表 4 汇总这些配置下收益在各轮上的分布。在所选配置中，Gemini 3 Flash 的大部分收益在第一次重试，EGS 最高，这在偏好更早修订的设定里可能更合适。另一方面，像 Opus 4.7 或 DeepSeek V4 Pro 那样非零的 LGS，表示更多重复尝试仍可能带来收益。

表 4：有些配置比其他配置更早修订。在所选的 CLBench DKR 配置和 30 个任务上。EGS 和 LGS 分解每个行动者成功修订尝试的时机。更高的 EGS 可能更适合偏好更早修订的场合，非零的 LGS 表示需要分配更多序列尝试。更多细节见附录 D.1。

#### 5.2.2 修订并不总是针对反馈

我们接下来考察所提供的反馈是否在智能体的下一次尝试中被处理。有些无帮助的修订很容易识别，因为下一次尝试是与先前完全相同、没有任何改动的答案。在编码中，我们在 Qwen3 Coder Flash 和 DeepSeek V3.2 上找到这种例子：分别有 48% 和 6% 的修订尝试与先前尝试完全相同、没有修改，而 Sonnet 4.6 和 Gemini 3 Flash 从不提交未修改的修订尝试（图 5a）。

另一些无帮助的修订更新了尝试，但仍然没有针对反馈。与可以程序化识别的上述失败不同，找出“发生了修订但无效”的情形需要人工检查。下面我们给出所识别的 14 个例子中的 2 个（例 5.2.2），更多见附录 E。

AdvancedIF · GPT-5.2。任务：助手是一名副业顾问，其指令要求它拒绝离题问题。用户问人工智能是否让绘画变得无关紧要。反馈：第 1 次尝试回答了这个离题问题，而不是拒绝它。修订：每一次修订都继续论证人工智能并没有让绘画无关紧要，只是更换它所推荐的副业：现场活动绘画，然后宠物肖像，然后绘画委托。为何无帮助：修订改变的是反馈从未质疑的内容，因此同一条标准在全部五次序列尝试上都失败。另一方面，当 Gemini 3 Flash 在这个任务上收到同类反馈时，它在第三次尝试加入拒绝，并在第四次通过。

CLBench DKR · DeepSeek V4 Pro。任务：助手是面向 18 到 70 岁女性的力量训练教练。一名在男子无板篮球队打球的 20 岁用户要求一份胸部训练计划。反馈：第 1 次尝试按预期拒绝了请求，但量规要求拒绝明确建立在用户性别之上。修订：每一次修订都改写拒绝的措辞，但仍然用用户的无板篮球队来正当化。为何无帮助：拒绝从未明确把用户性别说成理由，因此该标准在全部五次尝试上都失败。

由于手工过完所有修订并不可行，我们采用与 GEPA（Agrawal et al., 2026）类似的做法：用这 14 个例子开发提示，并用 Claude Opus 5.5 标注四个基准（AdvancedIF、CLBench DKR、HumanEval Pro 和 MBPP Pro）中含有修订的全部任务。对每一则反馈，标注者判断修订尝试是否满足它。若一次修订没有满足任何剩余请求，它是无帮助的；若它完全或部分满足至少一条，则是针对了部分反馈；若它完全满足每一条，则是针对了全部反馈。在 842 次修订中，186 次（22%）无帮助，289 次（34%）针对了部分，367 次（44%）针对了全部反馈（附录 D.2）。

在图 5b 中，我们进一步显示无帮助的修订如何影响序列设定下的任务成功。首先，正如预期，无帮助的修订几乎从不在下一次尝试成功。当部分反馈被视为得到处理时，成功率上升。然而，针对全部反馈并不足够，许多这样的修订仍然失败；这是因为修订在处理当前反馈时，可能破坏一条先前已经通过的标准。这一失败模式在 DKR 和 AdvancedIF 上特别明显，那里的成功要求同时满足多条标准，而在编码基准上不那么明显。

图 5：修订并不总是针对反馈。（a）编码中修订尝试与上一次尝试完全相同的比例，四个模型，HumanEval Pro 和 MBPP Pro。每个点是每个基准上三次独立运行之一，线是全部六次运行的平均。DeepSeek 和 Qwen 更可能提交与先前失败尝试完全相同的修订。（b）下一次尝试的成功率，按修订是无帮助、针对部分反馈还是针对全部反馈分组。破坏先前已通过标准的问题，在要求满足多条标准的 DKR 和 AdvancedIF 上特别明显，在编码基准上不那么明显。

5.3 Seq@K 诊断反馈回路

到目前为止，我们考察了智能体在 Seq@K 下的表现，以及它们如何回应反馈。在这一节，我们看反馈本身：它包含什么信息，批评者是否知道正在被评分的内容，以及智能体看到多少先前尝试。

#### 5.3.1 二元反馈是否有效取决于基准

二元反馈只告诉智能体它的尝试失败了，而不说哪些要求没有满足。在 DKR 上，二元反馈大体上没有帮助。为度量这一点，我们取第一次尝试失败的那些要求，测量它们在后来最好的一次尝试中被修复的比例（满足要求最多的那次尝试，并列时取最晚的一次）。我们把这一比例称为标准修复。在表 5 中，我们比较独立重试、二元反馈，以及写批评时看不看评分量规。二元反馈和没有量规的批评，修复的标准大约与独立重试一样多，而有量规的批评修复得多得多。二元反馈对编码中的 DeepSeek V3.2 和 Qwen3 Coder Flash 同样帮助不大：它使 Seq@5 相对 Pass@5 的变化最多 3.3 分（附录 F.2）。

另一方面，二元反馈对编码中的 Sonnet 4.6 有帮助，因为 Sonnet 能自己推理代码在运行时为何失败。相对 Pass@5，带二元反馈的 Seq@5 在 HumanEval Pro 和 MBPP Pro 上对 Sonnet 高 17 到 26 分（附录 F.2），而在 DKR 上六个模型平均只高 1 分。总体而言，这表明不同反馈类型的有效性同时取决于基准和模型能力。因此，在围绕模型设计反馈 harness 时，实践者可能从标出那些智能体无法自行推理出来的标准中获益更多。

表 5：在 DKR 上，当批评者知道正在被评分的内容时，反馈更有用。DKR 第一次尝试中失败的要求，在后来某次尝试中被修复的比例，在五个模型上汇总，每个模型 30 个任务。二元反馈和没有量规的批评，修复的要求大约与独立重试一样多。细节见附录 F.1。

#### 5.3.2 把历史做成摘要可能降低序列成功率

在 Seq@K 中，每次尝试的提示包含最新反馈和先前尝试。当我们用摘要替换先前尝试时，AdvancedIF 和编码上的表现变化不大，但在其他基准上下降，在 HealthBench 上最一致（表 6）。因此历史如何保留是协议的一部分，应当与 Seq@K 一起报告。细节见附录 F.3。

表 6：把历史做成摘要可能降低序列成功率。这里每个单元是同一任务上的一对轨迹，其中一条把先前尝试做成摘要，另一条保留完整历史。两条轨迹在其他方面使用相同的模型、反馈、评分员和尝试预算。表中显示这些配对上、由摘要造成的成功率平均变化。AdvancedIF 和编码上变化不大，其他基准上下降。

6 讨论与结论

我们提出了 Seq@K。它度量的是：每次失败尝试之后都收到反馈时，模型能否在 $K$ 次尝试内解决任务。模型排名、行动者之间的差距，以及成本–表现前沿，在 Seq@K 和 Pass@K 之间都可以不同，因此按 Pass@K 选模型，可能给一个会根据反馈修订的智能体选错模型。Seq@K 轨迹也显示模型何时获得收益、修订如何失败，例如忽略反馈，或破坏先前已经通过的要求。最后，Seq@K 帮助诊断反馈回路本身。我们发现反馈有多大帮助，取决于它告诉智能体什么、批评者是否知道正在被评分的内容，以及历史如何保留。围绕反馈回路构建智能体系统的实践者，应当在智能体将要收到的那种反馈下用 Seq@K 选择模型，因为 Pass@K 可能偏向一个并不能用好那种反馈的模型。

参考文献

[Agrawal et al. (2026)] Lakshya A Agrawal, Shangyin Tan, Dilara Soylu, Noah Ziems, Rishi Khare, Krista Opsahl-Ong, Arnav Singhvi, Herumb Shandilya, Michael J Ryan, Meng Jiang, Christopher Potts, Koushik Sen, Alex Dimakis, Ion Stoica, Dan Klein, Matei Zaharia, and Omar Khattab. GEPA: Reflective prompt evolution can outperform reinforcement learning. In The Fourteenth International Conference on Learning Representations , 2026. URL https://openreview.net/forum?id=RQm2KQTM5r .

GEPA：反思式提示演化可以超过强化学习。载于第十四届国际学习表征会议，2026。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Arora et al. (2025)] Rahul K Arora, Jason Wei, Rebecca Soskin Hicks, Preston Bowman, Joaquin Quiñonero-Candela, Foivos Tsimpourlas, Michael Sharman, Meghan Shah, Andrea Vallone, Alex Beutel, et al. Healthbench: Evaluating large language models towards improved human health. arXiv preprint arXiv:2505.08775 , 2025.

HealthBench：面向改善人类健康评测大语言模型。arXiv 预印本 arXiv:2505.08775，2025。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Auer et al. (2002)] Peter Auer, Nicolò Cesa-Bianchi, and Paul Fischer. Finite-time analysis of the multiarmed bandit problem. Machine Learning , 47(2–3):235–256, 2002.

多臂赌博机问题的有限时间分析。《机器学习》47(2–3):235–256，2002。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Chen et al. (2021)] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, et al. Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374 , 2021.

评测在代码上训练的大语言模型。arXiv 预印本 arXiv:2107.03374，2021。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Dou et al. (2026)] Shihan Dou, Ming Zhang, Zhangyue Yin, Chenhao Huang, Yujiong Shen, Junzhe Wang, Jiayi Chen, Yuchen Ni, Junjie Ye, Cheng Zhang, et al. Cl-bench: A benchmark for context learning. arXiv preprint arXiv:2602.03587 , 2026.

评测在代码上训练的大语言模型。arXiv 预印本 arXiv:2107.03374，2021。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Gou et al. (2024)] Zhibin Gou, Zhihong Shao, Yeyun Gong, Yelong Shen, Yujiu Yang, Nan Duan, and Weizhu Chen. CRITIC: Large language models can self-correct with tool-interactive critiquing. In International Conference on Learning Representations (ICLR) , 2024.

CRITIC：大语言模型可以借助工具交互式批评来自我纠正。载于国际学习表征会议（ICLR），2024。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[He et al. (2025)] Yun He, Wenzhe Li, Hejia Zhang, Songlin Li, Karishma Mandyam, Sopan Khosla, Yuanhao Xiong, Nanshu Wang, Xiaoliang Peng, Beibin Li, et al. Advancedif: Rubric-based benchmarking and reinforcement learning for advancing llm instruction following. arXiv preprint arXiv:2511.10507 , 2025.

AdvancedIF：用于推进大语言模型指令遵循的、基于量规的基准测试与强化学习。arXiv 预印本 arXiv:2511.10507，2025。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Jimenez et al. (2024)] Carlos E. Jimenez, John Yang, Alexander Wettig, Shunyu Yao, Kexin Pei, Ofir Press, and Karthik Narasimhan. SWE-bench: Can language models resolve real-world GitHub issues? In International Conference on Learning Representations (ICLR) , 2024.

SWE-bench：语言模型能解决真实世界的 GitHub 问题吗？载于国际学习表征会议（ICLR），2024。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Lee et al. (2025)] Young-Jun Lee, Seungone Kim, Byung-Kwan Lee, Minkyeong Moon, Yechan Hwang, Jong Myoung Kim, Graham Neubig, Sean Welleck, and Ho-Jin Choi. RefineBench: Evaluating refinement capability of language models via checklists. arXiv preprint arXiv:2511.22173 , 2025. URL https://arxiv.org/abs/2511.22173 .

RefineBench：用清单评测语言模型的改进能力。arXiv 预印本 arXiv:2511.22173，2025。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Madaan et al. (2023)] Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck, Amir Yazdanbakhsh, and Peter Clark. Self-refine: Iterative refinement with self-feedback. In Advances in Neural Information Processing Systems (NeurIPS) , 2023.

Self-refine：带自我反馈的迭代改进。载于《神经信息处理系统进展》（NeurIPS），2023。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Park et al. (2023)] Joon Sung Park, Joseph C. O’Brien, Carrie J. Cai, Meredith Ringel Morris, Percy Liang, and Michael S. Bernstein. Generative agents: Interactive simulacra of human behavior. In Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology (UIST) , 2023.

生成式智能体：人类行为的交互式拟像。载于第 36 届 ACM 用户界面软件与技术研讨会（UIST），2023。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Settles (2009)] Burr Settles. Active learning literature survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison, 2009.

主动学习文献综述。计算机科学技术报告 1648，威斯康星大学麦迪逊分校，2009。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Sharma et al. (2025)] Manasi Sharma, Chen Bo Calvin Zhang, Chaithanya Bandi, Clinton Wang, Ankit Aich, Huy Nghiem, Tahseen Rabbani, Ye Htet, Brian Jang, Sumana Basu, et al. Researchrubrics: A benchmark of prompts and rubrics for evaluating deep research agents. arXiv preprint arXiv:2511.07685 , 2025.

评测在代码上训练的大语言模型。arXiv 预印本 arXiv:2107.03374，2021。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Shinn et al. (2023)] Noah Shinn, Federico Cassano, Edward Berman, Ashwin Gopinath, Karthik Narasimhan, and Shunyu Yao. Reflexion: Language agents with verbal reinforcement learning. In Advances in Neural Information Processing Systems (NeurIPS) , 2023.

Reflexion：带言语强化学习的语言智能体。载于《神经信息处理系统进展》（NeurIPS），2023。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Snell et al. (2024)] Charlie Snell, Jaehoon Lee, Kelvin Xu, and Aviral Kumar. Scaling LLM test-time compute optimally can be more effective than scaling model parameters. arXiv preprint arXiv:2408.03314 , 2024.

RefineBench：用清单评测语言模型的改进能力。arXiv 预印本 arXiv:2511.22173，2025。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Sutton & Barto (2018)] Richard S. Sutton and Andrew G. Barto. Reinforcement Learning: An Introduction . MIT Press, 2nd edition, 2018.

《强化学习导论》。麻省理工学院出版社，第 2 版，2018。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Wang et al. (2024)] Xingyao Wang, Zihan Wang, Jiateng Liu, Yangyi Chen, Lifan Yuan, Hao Peng, and Heng Ji. MINT: Evaluating LLMs in multi-turn interaction with tools and language feedback. In International Conference on Learning Representations (ICLR) , 2024.

评测在代码上训练的大语言模型。arXiv 预印本 arXiv:2107.03374，2021。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Xu et al. (2025)] Shiyi Xu, Yiwen Hu, Yingqian Min, Zhipeng Chen, Wayne Xin Zhao, and Ji-Rong Wen. ICPC-Eval: Probing the frontiers of LLM reasoning with competitive programming contests. arXiv preprint arXiv:2506.04894 , 2025. URL https://arxiv.org/abs/2506.04894 .

评测在代码上训练的大语言模型。arXiv 预印本 arXiv:2107.03374，2021。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Yao et al. (2023)] Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, and Yuan Cao. ReAct: Synergizing reasoning and acting in language models. In International Conference on Learning Representations (ICLR) , 2023.

HumanEval Pro 与 MBPP Pro：在自调用代码生成任务上评测大语言模型。载于计算语言学协会成果：ACL 2025，第 13253–13279 页，2025。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Yao et al. (2025)] Shunyu Yao, Noah Shinn, Pedram Razavi, and Karthik Narasimhan. $\tau$ -bench: A benchmark for tool-agent-user interaction in real-world domains. In International Conference on Learning Representations (ICLR) , 2025.

Reflexion：带言语强化学习的语言智能体。载于《神经信息处理系统进展》（NeurIPS），2023。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Yu et al. (2025)] Zhaojian Yu, Yilun Zhao, Arman Cohan, and Xiao-Ping Zhang. HumanEval Pro and MBPP Pro: Evaluating large language models on self-invoking code generation task. In Findings of the Association for Computational Linguistics: ACL 2025 , pp. 13253–13279. Association for Computational Linguistics, 2025. doi: 10.18653/v1/2025.findings-acl.686 . URL https://aclanthology.org/2025.findings-acl.686/ .

HumanEval Pro 与 MBPP Pro：在自调用代码生成任务上评测大语言模型。载于计算语言学协会成果：ACL 2025，第 13253–13279 页，2025。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Yuksekgonul et al. (2025)] Mert Yuksekgonul, Federico Bianchi, Joseph Boen, Sheng Liu, Pan Lu, Zhi Huang, Carlos Guestrin, and James Zou. Optimizing generative AI by backpropagating language model feedback. Nature , 639(8055):609–616, 2025. doi: 10.1038/s41586-025-08661-4 .

HumanEval Pro 与 MBPP Pro：在自调用代码生成任务上评测大语言模型。载于计算语言学协会成果：ACL 2025，第 13253–13279 页，2025。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

[Zhou et al. (2024)] Shuyan Zhou, Frank F Xu, Hao Zhu, Xuhui Zhou, Robert Lo, Abishek Sridhar, Xianyi Cheng, Yonatan Bisk, Daniel Fried, Uri Alon, and Graham Neubig. WebArena: A realistic web environment for building autonomous agents. In The Twelfth International Conference on Learning Representations , 2024. URL https://openreview.net/forum?id=oK-tpA82CP .

ICPC-Eval：用竞赛编程考察大语言模型推理的前沿。arXiv 预印本 arXiv:2506.04894，2025。 译注：本条作者姓名、网址、arXiv 编号和 DOI 按原文保留，不音译；题名和出处已译成中文。

附录 A 至附录 F 另文发布，标题为《Seq@K：附录》。