Prefix Executability：评测工具调用智能体时，不能只看最终成功

Prefix Executability：评测工具调用智能体时，不能只看最终成功

Amir H. Rezaeian，通信作者，电子邮件：Amir.Rezaeian@oracle.com。Weiyi Sun、Yassine Benajiba 与 Dan Roth。单位：Oracle AI，即甲骨文人工智能。四位作者依次是 Amir H. Rezaeian、Weiyi Sun、Yassine Benajiba 与 Dan Roth，单位都是 Oracle AI。星号标出的通信作者是 Amir H. Rezaeian。

工具使用基准常常按最终任务成功给智能体打分，但终局结果会掩盖中间的工具调用轨迹是否可执行。我们提出前缀可执行性，作为面向工具使用智能体的轨迹级评测协议。该协议度量一条被预测的工具调用序列的每一个前缀，在工具模式、状态前置条件和数据依赖之下是否仍然可执行，并用前缀可执行曲线（Prefix Executability Curves，PEC）、首次错误深度（First-Error Depth，FED）、轨迹可执行率（Trajectory Executability Rate，TER）、按视野归一化的 AUC-PEC，以及恢复率（Recovery Rate，RR）来汇总可靠性。我们在 BFCL-v3 多轮和 ToolSandbox 的分层样本上，以及 $\tau^{3}$-bench 的全部 Airline/Retail 基础划分上实例化这一协议。我们观察到，只看结果的排名与前缀级排名会分开：执行以一份未经核验的计划为条件的智能体，其最终成功的点估计常常高于不以计划为条件的基线，同时大幅降低 TER 和 AUC-PEC。这些分歧正是前缀可执行性要暴露的失败模式：它们揭示表面上的成功是否建立在一条可执行轨迹上，无效性首先从哪里进入，以及成功是否来自对更早失败的恢复。作为一项验证性干预，在执行前显式检查计划，可以在保持有竞争力的终局成功的同时，提高可执行前缀的存活。这些结果表明，仅有最终成功不足以评测工具使用智能体，而前缀级可执行性为比较智能体、诊断失败和评估验证机制提供了一个可操作的可靠性信号。

1 引言

使用工具的语言智能体在 API、用户定义的工具和交互式软件环境上工作，正确性并不只取决于最终答案。一次有效运行必须维持一串可执行的中间动作，同时遵守工具模式、跨步骤依赖和不断变化的环境状态 [1, 2, 3, 4]。这一要求在多轮设定中尤其尖锐：一次早期的无效调用可以破坏后来的状态，或迫使智能体进入恢复行为，而这种行为对只看结果的评分是不可见的 [3, 4, 5, 6]。考虑一个服务工作流：智能体先检索一条记录，再把返回的标识传给更新、支付或通知工具。后来的调用在句法上可以是良构的，但如果它引用一个过期标识、跳过必需的前置条件，或在相应状态存在之前就施加更新，它就不可执行；随后的修复仍然可以产生所希望的最终状态，同时藏起轨迹第一次变得无效的位置。

近期的评测工作已经超出简单的终局准确率。T-Eval 把工具使用分解成逐步的子技能 [7]；ToolSandbox 评测任务所规定的中间条件与最终条件，并检查被禁止的状态或事件 [4]；TRAJECT-Bench 在完整轨迹上给工具选择、参数正确性和依赖顺序打分 [8]；ToolPRMBench 与 AgentProcessBench 评估局部过程质量 [9, 10]；过程感知的评测表明，名义上成功的运行仍然可以违反任务过程 [11]。TRACE 对工具使用轨迹增加了不依赖参考的效率、幻觉和适应性评估 [12]。鲁棒性研究进一步探测查询扰动、工具集变化和被注入的执行故障 [13, 14]。这些工作使一个仍然存在的缺口变得清楚：标准指标仍然很少量化一条自然生成的展开在第一个无效前缀之前还能保持可执行多久，也很少量化最终成功有多少次只是在进入失败区间之后才达成。

前缀可执行性补充这些评测：它在明确的工具语义和状态语义下，检查实际发出的展开的执行可行性。它承认替代的可执行动作序列，而不要求一条黄金路径，并记录首次失败、存活和恢复。附录 A 比较先前评测协议所度量的内容。

我们研究前缀级可执行性失败：轨迹前缀作为文本可能看起来合理，但在可用的工具模式、显式前置条件、跨步骤引用或当前环境状态下不可执行。我们认为前缀可执行性是一条缺失的可靠性轴，因为最终成功和与参考轨迹的匹配把三个问题混在一起：展开保持有效多久，有效性首先在哪里断裂，以及后来的动作是否从断裂中恢复。因此我们形式化可执行前缀，并报告以 PEC、FED、按视野归一化的 AUC-PEC、TER 和 RR 为中心的一族指标。这些指标主要诊断可靠性；当与轨迹长度、延迟或金钱成本一起报告时，它们也支持对效率敏感的分析，因为它们把短而有效的展开，与长的或容易失败的展开区分开。

这些区分在对成本敏感的工具使用中具有操作意义。在会触发外部交易、消耗稀缺资源、修改持久状态或需要人工升级的工作流里，第一个无效动作的深度既可以决定失败的成本，也可以决定恢复是否可行。因此前缀可执行性提供一个实用的评测信号：它不仅决定智能体最终是否成功，也决定执行是保持不间断，还是沿途需要恢复。

这篇论文以评测为先。我们有意只把一个最小的双环规划器–验证器干预当作受控探针：我们测试执行前验证是否能改进这些指标，即使最终成功的排名讲的是另一个故事。这一框架把评测贡献与特定干预分开，并让我们询问计划条件何时有助于工具使用，何时会放大无效的中间结构。

我们的贡献是：

• 1. 我们为使用工具的智能体形式化可执行前缀，并把 PEC、FED、TER、AUC-PEC 和 RR 定义为变长视野轨迹的前缀级评测协议。附录 B 在明确的抽样假设下建立精确性质和一致性。
• 2. 我们在 BFCL v3 多轮和 ToolSandbox 上用分层的 200 例样本实例化该协议，并在 $\tau^{3}$-bench 的全部 164 个 Airline/Retail 基础划分任务上实例化它，各方法与各模型共享任务标识，并报告任务级置信区间。
• 3. 我们表明，只看结果的排名与前缀级排名可以分开：未经核验的计划条件可以提高最终成功，同时急剧降低可执行性；而执行前验证在 BFCL v3 和 ToolSandbox 的三种大模型条件下，一致地提高 TER、AUC-PEC 和早期 PEC。一个有代表性的 BFCL 设定说明这一模式：一个以未经核验的计划为条件的执行器可以到达正确的终局结果，同时发出无效的中间工具调用前缀；双环则在保持终局表现的同时恢复前缀可执行性。$\tau^{3}$-bench 的审计进一步表明，前缀可靠性与终局成功可以对方法给出不同的排序。

我们评测 BFCL v3 和 ToolSandbox，是因为它们合在一起覆盖多步函数组合，以及有状态的、在策略上的工具交互 [3, 4]。Airline/Retail 审计在 $\tau^{3}$-bench 中受策略约束的用户–智能体–环境交互里评测该协议。三个基准合在一起，对每个模型–方法条件覆盖 564 个任务实例和 6,768 次展开。

2 前缀级可执行性评测

2.1 可执行前缀

我们把一次智能体展开建模为一条被预测的轨迹 $\hat{\tau}=(a_{1},\ldots,a_{T})$，其中每个普通动作 $a_{t}$ 是一次带参数的工具调用。令 $s_{t}$ 表示执行 $a_{t}$ 之前的环境状态。一个动作可执行，当且仅当所选工具可用，参数符合其模式，所有显式前置条件在 $s_{t}$ 中成立，并且任何被引用的中间值都存在且类型一致。

一个前缀 $\hat{\tau}_{\leq k}=(a_{1},\ldots,a_{k})$ 可执行，当且仅当前缀中的每一个动作都在先前动作所诱导的状态下成功执行。这一定义评测的是可行性，而不是与单条参考轨迹的一致。这很重要，因为许多工具任务允许多种有效的执行顺序，或替代的可执行调用序列 [3, 4, 6]。

基准侧的评分器是确定性的，不使用大模型评判。它检查暴露的工具、参数绑定与校验器、当前且类型兼容的引用、信息是否可用、显式前置条件，以及基准是否接受这次转移。被接受的动作推进状态；第一次拒绝固定 FED。前缀重放随后停止，而完整展开被保留，用于最终成功和恢复。这个评分器不同于基于大模型的执行前验证器。附录 C.1 规定该过程以及依基准而异的语义。

2.2 前缀级可靠性指标

对展开 $i$，令 $T_{i}$ 表示被评测的工具动作槽位数，令 $Y_{i}\in\{0,1\}$ 表示基准所定义的最终任务成功。对普通轨迹，$T_{i}$ 是被预测的工具调用次数。如果智能体在一个被选中的工具使用任务里、在发出任何工具调用之前就终止，测量装置把它表示为一个长度为 1 的终局无工具动作；该动作仅当基准允许不使用工具就完成任务时才可执行。因此对所有被评测的展开都有 $T_{i}\geq 1$。我们用不带下标的 $T$ 和 $Y$ 表示对应的随机变量，帽子表示在被评测展开上的有限样本估计。

第一个原语是首次错误深度（FED）：

$$\mathrm{FED}_{i}=\min\{k\in\{1,\ldots,T_{i}\}:\hat{\tau}_{i,\leq k}\text{ is not executable}\}, \tag{1}$$

若直到完整轨迹的每一个前缀都可执行，则 $\mathrm{FED}_{i}=T_{i}+1$。因此对任意 $k\leq T_{i}$，

$$\hat{\tau}_{i,\leq k}\text{ is executable}\quad\Longleftrightarrow\quad\mathrm{FED}_{i}>k. \tag{2}$$

我们把主要的前缀可执行曲线（PEC）定义为首次错误深度上的固定队列生存曲线，

$$\mathrm{PEC}(k)=\Pr[\mathrm{FED}>k]=\Pr[T\geq k\ \wedge\ \hat{\tau}_{\leq k}\text{ is executable}]. \tag{3}$$

这是通常的时间到事件意义上的离散生存函数 [15, 16]。我们不施加删失校正：在深度 $k$ 之前终止的展开，并不是在深度 $k$ 未被观察，而是落在式 (3) 中事件 $T\geq k$ 之外。在 $N$ 次被评测展开上的经验估计是

$$\widehat{\mathrm{PEC}}(k)=\frac{1}{N}\sum_{i=1}^{N}\mathbf{1}\{\mathrm{FED}_{i}>k\}=\frac{1}{N}\sum_{i=1}^{N}\mathbf{1}\{T_{i}\geq k\ \wedge\ \hat{\tau}_{i,\leq k}\text{ is executable}\}. \tag{4}$$

分母固定为 $N$，即给定数据集、模型和智能体变体的展开数。因此 $\widehat{\mathrm{PEC}}(k)$ 对 $k$ 单调不增；展开视野 $T_{i}$ 不应与样本量 $N$ 混淆。

为了诊断，我们也跟踪合格集大小

$$n_{k}=\sum_{i=1}^{N}\mathbf{1}\{T_{i}\geq k\}, \tag{5}$$

并且当 $n_{k}>0$ 时，跟踪条件合格深度量

$$\widehat{\mathrm{PEC}}_{\mathrm{elig}}(k)=\frac{1}{n_{k}}\sum_{i=1}^{N}\mathbf{1}\{T_{i}\geq k\ \wedge\ \mathrm{FED}_{i}>k\}. \tag{6}$$

这条条件曲线回答的是另一个问题：在至少有 $k$ 个工具动作槽位的展开中，有多大比例具有长度为 $k$ 的可执行前缀？因为合格集随 $k$ 变化，$\widehat{\mathrm{PEC}}_{\mathrm{elig}}(k)$ 不必单调，也不是式 (3) 中的生存曲线。主 PEC 图和表使用式 (4)。

两条曲线满足精确的支撑分解

$$\widehat{\mathrm{PEC}}(k)=\frac{n_{k}}{N}\widehat{\mathrm{PEC}}_{\mathrm{elig}}(k),\qquad n_{k}>0. \tag{7}$$

因此固定队列 PEC 度量的是：全部已开始的展开中，有多大比例以可执行前缀到达深度 $k$；它的下降既可以反映前缀失败，也可以反映在该深度之前终止。合格深度 PEC 则把条件于到达 $k$ 的有效性分离出来。

轨迹可执行率（TER）是完整预测轨迹可执行的概率：

$$\mathrm{TER}=\Pr[\mathrm{FED}=T+1],\qquad\widehat{\mathrm{TER}}=\frac{1}{N}\sum_{i=1}^{N}\mathbf{1}\{\mathrm{FED}_{i}=T_{i}+1\}. \tag{8}$$

当所有回合共享一个共同的固定视野 $T_{0}$ 时，TER 等于 $\mathrm{PEC}(T_{0})$。对变长视野的展开，式 (8) 是无歧义的端点定义。

恢复率（RR）是在至少经历过一个无效前缀的条件下的最终成功，

$$\mathrm{RR}=\Pr[Y=1\mid\mathrm{FED}\leq T],\qquad\widehat{\mathrm{RR}}=\frac{\sum_{i=1}^{N}\mathbf{1}\{Y_{i}=1\}\mathbf{1}\{\mathrm{FED}_{i}\leq T_{i}\}}{\sum_{i=1}^{N}\mathbf{1}\{\mathrm{FED}_{i}\leq T_{i}\}}, \tag{9}$$

当分母非零时如此定义；否则该条件下 RR 无定义。我们把这个分母报告为 RR-Eligible。RR 在精神上最接近 Beyond Success Rate 所报告的恢复率，但它条件于展开中有机观察到的首次前缀失败，而不是外部注入的 API 故障 [14]。

最后，为了用一个标量比较变长回合，我们报告可执行前缀轮廓下、按视野归一化的面积：

$$\mathrm{AUC\mbox{-}PEC}=\mathbb{E}\left[\frac{1}{T}\sum_{k=1}^{T}\mathbf{1}\{\mathrm{FED}>k\}\right]=\mathbb{E}\left[\frac{\mathrm{FED}-1}{T}\right]. \tag{10}$$

经验估计是

$$\widehat{\mathrm{AUC\mbox{-}PEC}}=\frac{1}{N}\sum_{i=1}^{N}\frac{\mathrm{FED}_{i}-1}{T_{i}}. \tag{11}$$

式 (10) 的第二个等号成立，是因为在完全可执行轨迹采用约定 $\mathrm{FED}=T+1$ 时，$\sum_{k=1}^{T}\mathbf{1}\{\mathrm{FED}>k\}=\mathrm{FED}-1$。AUC-PEC 落在 $[0,1]$ 中，对完全可执行轨迹等于 $1$，并且对更晚的首次失败给予比对更早的首次失败更高的奖励。后文表头为可读性不写出帽子符号；图注说明所报告的条目是经验估计。

这族指标在总体和样本中都满足 $0\leq\mathrm{TER}\leq\mathrm{AUC\mbox{-}PEC}\leq 1$，并且精确地有 $n_{\mathrm{RR\text{-}Eligible}}=N(1-\widehat{\mathrm{TER}})$。一条完全可执行的轨迹对 TER 和归一化面积都贡献 1；一条失败轨迹对 TER 贡献 0，对面积的贡献小于 1。令 $q=\mathrm{TER}$，$s=\Pr(Y=1\mid\mathrm{FED}=T+1)$，$r=\mathrm{RR}$。对 $0<q<1$，

$$\Pr(Y=1)=qs+(1-q)r. \tag{12}$$

这把终局成功划分为不间断执行和恢复，而不要求它与 TER 有单调关系。附录 B 证明这些性质，并在独立同分布抽样下给出一致性和集中结果，并明确把它与本文所研究的有限分层队列区分开。

用中文复述这组定义，公式编号保持不变。首次错误深度是第一个使此前缀不可执行的工具动作槽位；若整条轨迹的每个前缀都可执行，则把它记为轨迹长度加一。因此在不超过轨迹长度的深度上，前缀可执行当且仅当首次错误深度大于该深度。前缀可执行曲线是固定队列上的离散生存函数：深度 k 上的值，是首次错误深度大于 k 的概率，也就是轨迹至少到达 k 且该前缀可执行的概率。提前结束的展开不是在该深度上未观察，而是不属于到达该深度这一事件，所以不做删失校正。经验估计对全部被评测展开取平均。轨迹可执行率是整条轨迹可执行的比例。视野归一化面积把每条轨迹上、直到其长度为止的生存指示加总，再除以该轨迹长度，然后对展开取平均。恢复率只在已经出现前缀失败的回合上，计算最终仍然成功的条件比例；没有合格回合时它无定义。终局成功可以写成完全可执行部分与恢复部分之和，因此它不必随轨迹可执行率单调变化。

2.3 前缀级指标增加了什么

表 1 汇总本研究使用的评测信号，以及所提出的前缀级指标如何补充标准的结果分数和参考匹配分数。精确调用和轨迹匹配指标度量与参考解的一致，但它们不定位第一个无效前缀，并且可能惩罚替代的可执行轨迹。最终成功捕捉任务效用，但不表明展开是否全程保持可执行，还是只在一次更早的无效动作之后才成功。PEC、FED、TER、AUC-PEC 和 RR 填补这一缺口：它们度量前缀存活、首次错误深度、完整轨迹可执行性、归一化的可执行前缀面积，以及前缀失败之后的恢复。

表 1：标准指标与前缀级评测指标的覆盖。不依赖参考，指一项指标可以承认替代的可执行轨迹，而不要求与单条参考路径一致。执行状态，指该指标依赖于环境执行或显式验证语义。$\mathrm{PEC}(k)$ 是式 (3) 中的固定队列生存曲线；$\widehat{\mathrm{PEC}}_{\mathrm{elig}}(k)$ 是式 (6) 中的经验合格深度诊断。TER 是端点事件 $\mathrm{FED}=T+1$，平均 $\mathrm{FED}_{i}$ 汇总首次错误深度，AUC-PEC 汇总按视野归一化的前缀生存轮廓，RR 条件于 $\mathrm{FED}\leq T$。

2.4 首次失败标注协议

当 $\mathrm{FED}_{i}\leq T_{i}$ 时，我们用一个主要原因标注第一个无效前缀处的动作：模式失败、依赖失败、前置条件失败、状态一致性失败，或信息失败。这些标签按该顺序做确定性的平局打破，因而互斥，类别计数之和等于 RR-Eligible 集合。这些标签只用于诊断；它们不用于计算 PEC、TER、AUC-PEC 或 RR。这一分类不依赖特定基准，但反映 BFCL、ToolSandbox、NESTFUL、FAIL-TaLMs 和函数调用鲁棒性研究所强调的压力因素 [3, 4, 5, 17, 13]。

2.5 验证干预

双环被纳入为受控的验证干预，而不是主要的架构主张。给定用户目标、工具模式和一份紧凑的状态摘要，规划器提出一份结构化计划。验证器检查工具是否存在、模式是否符合、显式前置条件，以及变量绑定。若验证失败，规划器使用验证器反馈修订计划；一旦验证成功，被批准的计划作为条件交给一个 ReAct 执行器，只有执行器向环境发出工具调用。因此规划器和验证器的消息是方法侧计算，不是基准工具动作，所有前缀指标都在已执行的工具轨迹上计算。这一干预跟随规划器–执行器以及验证器引导生成的工作，但在这里充当评测协议的压力测试 [18, 19, 20, 21, 22]。附录 D 给出示意图。

2.6 基准与实验设置

我们用 BFCL v3 和 ToolSandbox 测试多步函数调用的正确性，以及有状态的在策略交互。BFCL v3 在标准化接口下提供多轮函数调用情景，因此适合作为模式、顺序和跨步骤依赖错误的试验台 [3]。ToolSandbox 增加有状态的工具执行、隐式状态依赖、在策略的用户模拟器，以及动态的中间/最终里程碑评测，使中间失败之后的恢复在展开期间可观察 [4]。

对每个基准，我们评测一个分层样本，实例数 $N=200$。BFCL v3 子集在本研究使用的四个多轮类别上均匀分层：multi_turn_base、multi_turn_miss_func、multi_turn_miss_param 和 multi_turn_long_context，每类 $50$ 个任务。ToolSandbox 子集包含 $200$ 个受支持的开源情景模板，由一个确定性的贪心多标签分层器按情景类别标签选出。抽样对每个数据集只做一次，同一批任务标识被每个模型和方法复用，因此所有方法比较都在任务级成对。BFCL-v3/ToolSandbox 网格包含 $200\times 2\times 3\times 4=4{,}800$ 次被评测展开，跨越两个数据集、三个模型和四个智能体变体。我们报告 95% 的任务级置信区间。边际区间重叠并不确立成对显著性，我们也不从它推断成对效应。BFCL-v3/ToolSandbox 网格中托管推理和本地编排部分的计算资源见附录 E。

两个基准都在动作级被测量。对每次展开，我们记录每个被预测的调用是否可执行、第一个失败步骤、其主要错误标签，以及该回合后来是否达到基准所定义的任务成功。在 BFCL v3 上，这要求对被预测序列做逐前缀重放，而不是只给终局轨迹打分。在 ToolSandbox 上，我们从已执行轨迹和基准提供的轨迹导出同样的量，因此状态转移和下游恢复是直接观察到的，而不是事后推断的。

我们在 $\tau^{3}$-bench 的文本半双工协议（记录版本 v1.0.1）下，评测全部 50 个 Airline 任务和 114 个 Retail 基础划分任务。这是这两个基础划分的完整覆盖，而不是全部基准领域。每个任务、模型和方法一次展开，得到 1,968 个 Airline/Retail 回合。跨三个基准，主网格在每个模型–方法条件的 564 个任务上包含 6,768 次展开。附录 F 报告完整的标量指标、不确定性、成本，以及一项单独的成对验证器敏感性研究。任务级区间描述固定协议下跨任务的变异，而不是一个任务内部重复运行的变异。

2.7 智能体变体与实验控制

我们比较一个嵌套的干预阶梯，含四个变体：

• 1. ReAct：交织的推理与行动，没有显式的计划验证 [2]。
• 2. Prompt Planning：先规划的变体，计划被生成，但在执行期间不被强制。
• 3. Plan-Conditioned ReAct：生成的计划在执行期间作为显式控制信号提供。
• 4. Dual-Loop：同一个以计划为条件的执行器，加上执行前验证。

在每个大模型条件内部，执行器调用共享相同的模型设置、工具规格格式、解码策略和基准视野上限。规划器和验证器调用发生在执行之前，计入方法成本，而不是 $T_{i}$ 中的工具动作。提供方特定的解码和展开设置见附录 E。我们报告三种大模型条件：GPT-5.4（reasoning.effort=high）、GPT-4.1，以及 Llama-4-Maverick-Instruct。

3 基准结果

3.1 主要基准结果

表 2 报告第 2.6 节所述分层样本上、三种大模型条件下的主要比较。括号中的区间是 $95\%$ 置信区间。对 TER、平均 FED、AUC-PEC、最终成功和 PEC 检查点，我们使用 $10{,}000$ 次任务级百分位自助重抽样；每次重抽样在一个数据集内、在所有模型–方法展开上保留共享的任务标识。RR 是条件比例，因此其区间用所观察到的 RR-Eligible 分母计算 Wilson 得分区间。

表 2：基准结果。BFCL 多轮为 200 个分层抽样实例，ToolSandbox 为 200 个多标签分层抽样实例，处于三种大模型条件下。所有条目都是经验估计；表头为可读性不写出帽子符号。括号中的值是 95% 置信区间。TER、平均 FED、AUC-PEC 和最终成功的区间使用 10,000 次任务级百分位自助重抽样；RR 区间使用带 RR-Eligible 分母的 Wilson 得分区间。RR-Eligible 计 $\mathrm{FED}\leq T$ 的回合，不带区间报告。粗体点估计标出每个数据集–大模型块内该列的最大值，包括在所显示精度上的并列；粗体不表示统计显著性。更高的 TER、AUC-PEC 和最终成功表示相应分数更强；平均 FED 还必须结合展开视野来解释；RR 只在进入失败区间的条件下才是更好，并且应与 RR-Eligible 一起解释。

在 BFCL-v3 和 ToolSandbox 上，点估计显示终局成功与前缀可靠性之间有一致的分离。在 GPT-5.4 下，Plan-Cond. ReAct 在 BFCL 和 ToolSandbox 上达到最高或并列最高的最终成功（$0.94$ 与 $0.69$），但其前缀可靠性比 Dual-Loop 弱得多：TER 为 $0.47$ 与 $0.48$，AUC-PEC 为 $0.54$ 与 $0.52$。Dual-Loop 则在两个数据集上都达到 TER $0.94$，AUC-PEC 为 $0.96$ 与 $0.95$。同一差距在更弱的大模型下仍然存在：在 BFCL 上，Dual-Loop 的 TER 比 Plan-Cond. ReAct 在 GPT-4.1 下高出 $0.61$，在 Llama-4 Maverick 下高出 $0.83$；在 ToolSandbox 上分别高出 $0.61$ 与 $0.71$。

AUC-PEC 和平均 FED 说明只看结果的排名与前缀级排名如何分开。在使用 GPT-5.4 的 ToolSandbox 上，Plan-Cond. ReAct 的最终成功最高（$0.69$），但 Dual-Loop 的 TER、平均 FED 和 AUC-PEC 高得多（$0.94$、$4.32$ 和 $0.95$，相对于 $0.48$、$2.88$ 和 $0.52$）。

读表时按行对照原文数字，不把并列的粗体点估计解释成统计显著。BFCL、GPT-5.4、高推理强度：ReAct 的轨迹可执行率 0.69、平均首次错误深度 5.61、归一化面积 0.83、合格回合 61、恢复率 0.00、最终成功 0.61；提示规划依次为 0.78、5.72、0.85、44、0.00、0.78；计划条件化 ReAct 依次为 0.47、4.11、0.54、106、0.88、0.94；双环依次为 0.94、6.41、0.96、12、0.00、0.94。同一数据集、GPT-4.1：四种方法的轨迹可执行率依次为 0.62、0.79、0.35、0.96，最终成功依次为 0.52、0.77、0.93、0.96，合格回合依次为 76、43、130、7。同一数据集、Llama-4 Maverick：轨迹可执行率依次为 0.37、0.60、0.05、0.88，最终成功依次为 0.27、0.56、0.74、0.79，合格回合依次为 126、79、190、25；计划条件化的恢复率 0.73，双环的恢复率 0.00。ToolSandbox、GPT-5.4：轨迹可执行率依次为 0.74、0.82、0.48、0.94，最终成功依次为 0.59、0.61、0.69、0.63。ToolSandbox、GPT-4.1：轨迹可执行率依次为 0.72、0.81、0.35、0.96，最终成功依次为 0.49、0.56、0.62、0.62，计划条件化与双环的最终成功同为 0.62。ToolSandbox、Llama-4 Maverick：轨迹可执行率依次为 0.49、0.64、0.09、0.80，最终成功依次为 0.38、0.49、0.56、0.61，合格回合依次为 101、73、182、40。每一格的区间、合格计数和点估计都按表 2 原样保留。

再按置信区间把同一张表读完，端点按原文，不另做四舍五入。BFCL 上 GPT-5.4 的轨迹可执行率区间：ReAct 为 0.63 到 0.76，提示规划为 0.72 到 0.83，计划条件化为 0.40 到 0.54，双环为 0.91 到 0.97；最终成功区间依次为 0.55 到 0.68、0.72 到 0.83、0.90 到 0.96、0.90 到 0.97。GPT-4.1 的轨迹可执行率区间依次为 0.55 到 0.69、0.72 到 0.84、0.28 到 0.41、0.94 到 0.99；最终成功区间依次为 0.45 到 0.58、0.71 到 0.82、0.90 到 0.96、0.93 到 0.98。Llama-4 Maverick 的轨迹可执行率区间依次为 0.30 到 0.44、0.54 到 0.67、0.02 到 0.08、0.83 到 0.92；最终成功区间依次为 0.20 到 0.33、0.48 到 0.62、0.68 到 0.80、0.72 到 0.84。ToolSandbox 上 GPT-5.4 的轨迹可执行率区间依次为 0.68 到 0.80、0.77 到 0.88、0.41 到 0.56、0.90 到 0.96；最终成功区间依次为 0.52 到 0.66、0.54 到 0.68、0.62 到 0.76、0.56 到 0.69。GPT-4.1 的轨迹可执行率区间依次为 0.66 到 0.78、0.76 到 0.86、0.29 到 0.42、0.93 到 0.98；最终成功区间依次为 0.42 到 0.56、0.49 到 0.63、0.56 到 0.69、0.56 到 0.69。Llama-4 Maverick 的轨迹可执行率区间依次为 0.42 到 0.56、0.57 到 0.70、0.06 到 0.13、0.74 到 0.85；最终成功区间依次为 0.31 到 0.44、0.42 到 0.56、0.48 到 0.62、0.54 到 0.68。平均首次错误深度、归一化面积和恢复率的区间仍以表中括号为准，这里不改写任何一个端点。自助重抽样共一万次，并且在同一数据集内跨模型与方法保留共享任务标识；恢复率则用合格分母上的 Wilson 得分区间。

平均首次错误深度也按原文读出，以免只留下比例。BFCL、GPT-5.4 四种方法依次为 5.61、5.72、4.11、6.41；GPT-4.1 依次为 5.18、5.84、3.55、6.46；Llama-4 Maverick 依次为 4.39、5.51、1.96、6.22。ToolSandbox、GPT-5.4 依次为 3.84、4.08、2.88、4.32；GPT-4.1 依次为 3.84、4.11、2.45、4.38；Llama-4 Maverick 依次为 3.33、3.69、1.63、4.13。归一化面积在 BFCL 上按同一方法顺序，GPT-5.4 为 0.83、0.85、0.54、0.96，GPT-4.1 为 0.76、0.87、0.42、0.98，Llama-4 Maverick 为 0.62、0.79、0.15、0.93；ToolSandbox 上依次为 0.83、0.88、0.52、0.95，以及 0.84、0.89、0.40、0.97，以及 0.68、0.78、0.15、0.90。恢复率只在合格回合上解释，并与合格计数一起读。

合格回合在 BFCL 上按四种方法依次为：GPT-5.4 的 61、44、106、12；GPT-4.1 的 76、43、130、7；Llama-4 Maverick 的 126、79、190、25。ToolSandbox 上依次为 52、35、103、13，以及 56、37、129、8，以及 101、73、182、40。粗体只标出块内最大值，包括显示精度上的并列，不表示差异显著。

更高的轨迹可执行率、归一化面积和最终成功表示相应分数更强；平均首次错误深度还要结合展开视野来看；恢复率只在进入失败区间之后才谈好坏。

#### 前缀失败之后的成功。

BFCL-v3 上 Llama-4 Maverick 的 Plan-Conditioned ReAct 条件使式 (12) 变得具体。在 200 个回合中，10 个完全可执行且全部 10 个成功；190 个有前缀失败的回合中有 138 个也成功。因此 TER 为 $10/200=0.05$，RR 为 $138/190\approx 0.7263$，最终成功为 $(10+138)/200=0.74$。成功回合中整整 $138/148=93.2\%$ 是在一次更早的无效前缀之后才到达目标。这是高终局效用与低不间断执行可靠性，而不是指标之间的矛盾。附录 C.2 说明一次被拒绝的删除联系人尝试，如何可以通过先检索所需标识来修复。

RR 应与 RR-Eligible 一起阅读。在三种大模型上，Dual-Loop 进入 RR 合格区间的次数远少于 Plan-Cond. ReAct：在 BFCL 上，Dual-Loop 的计数是 $12$、$7$ 和 $25$，Plan-Cond. ReAct 是 $106$、$130$ 和 $190$；在 ToolSandbox 上分别是 $13$、$8$ 和 $40$，相对于 $103$、$129$ 和 $182$。Dual-Loop 在 BFCL 上观察到的 RR 为零；合格集很小，使这些条件估计不精确。Plan-Conditioned ReAct 把多得多的前缀失败与这些失败之后的大量成功结合在一起，因此它的 RR 度量的是恢复，而不是不间断的可执行性。合格集的大小本身并不决定恢复率。

3.2 按深度划分的前缀存活

图 1 显示 GPT-5.4 的固定队列 PEC 曲线；附录表 G.1 给出全部三种大模型条件的对应检查点。在早期深度上，BFCL-v3/ToolSandbox 审计显示很大的固定队列差异。例如，Plan-Conditioned ReAct 在三种模型条件下的 BFCL PEC@4 为 $0.42$、$0.33$ 和 $0.05$，而 Dual-Loop 为 $0.82$、$0.82$ 和 $0.78$。在式 (7) 下，这些是到达与有效性的联合统计。因此，固定队列的下降不必表示一次新的无效调用；深度支撑和条件有效性回答的是互补问题。

图 1：在使用 GPT-5.4（high）的 200 个实例 BFCL 多轮样本和 200 个实例 ToolSandbox 样本上的前缀可执行曲线。每个点用式 (4) 中的固定队列估计画出 $\widehat{\mathrm{PEC}}(k)$。BFCL 面板显示深度 $k\leq 10$；在式 (3) 下，较晚深度的下降既可以反映前缀失败，也可以反映终止。附录表 G.1 报告全部大模型条件的早期深度检查点。

3.3 迁移、成本与验证的边界

$\tau^{3}$-bench 审计再次把终局结果与前缀可靠性分开（表 F.1）。在 GPT-5.4 下，Plan-Conditioned ReAct 的最终成功点估计最高（$0.51$），而 ReAct 的 TER/AUC-PEC 估计最高（$0.95/0.95$）。在 GPT-4.1 下，Prompt Planning 在最终成功上领先（$0.51$），而 ReAct 在 TER/AUC-PEC 上领先（$0.84/0.91$）。在 Llama-4 下，ReAct、Prompt Planning 和 Plan-Conditioned ReAct 在所显示的最终成功精度上并列（$0.18$），尽管 TER 跨越 $0.52$–$0.60$，AUC-PEC 跨越 $0.56$–$0.65$。这些是依赖于模型的点估计排序，不是成对显著性的主张。

Airline/Retail 审计并没有确立在 BFCL-v3 和 ToolSandbox 上观察到的、一致的验证优势。一种可能的解释是，BFCL 强调预先规定的组合，而 $\tau^{3}$-bench 中交互式的用户反馈和状态变化可以使事先的计划过时。这是一个可检验的解释，不是一个已被识别的因果机制。

测得的智能体侧成本使这一权衡变得明确。在四种方法的 $\tau^{3}$ 审计中，Dual-Loop 相对 Plan-Conditioned ReAct 改变平均词元数/累计智能体调用延迟，对 GPT-5.4、GPT-4.1 和 Llama-4 大约分别为 $+3\%/+22\%$、$+12\%/+7\%$ 和 $-3\%/-1\%$。这些合计包括验证和修订，也包括任何下游执行上的节省；它们排除模拟器和评测器调用。表 F.2 给出全部四种方法和记账细节。

一项单独的敏感性研究在全部 164 个任务上固定初始计划和 GPT-5.4-high 的规划器/执行器，变化验证器模型和验证预算。TER 和 AUC-PEC 变化的全部成对 95% 区间都包含零。例如，验证预算 $K_{\mathrm{val}}=5$ 的 GPT-5.4 验证器使 TER 变化 $+0.006$ $[-0.018,0.030]$，同时相对其成对的 Plan-Conditioned 重跑增加 40.7k 词元和 176.9 秒。确定性接受包装器也改变执行器指引，并不是一个等价策略的无验证器控制。表 F.3 报告完整比较和局限。这些发现划定验证在这一环境中的收益边界；它们并不证明等价，也不把验证逻辑从额外计算中分离出来。

4 结论

可靠的工具使用不只是智能体最终是否成功的问题，也是它的轨迹在展开过程中是否保持可执行的问题。本文引入前缀可执行性，作为面向工具使用智能体的评测协议，为变长视野的展开形式化 PEC、FED、TER、AUC-PEC 和 RR。在三个基准的审计中，前缀可靠性与终局结果提供互补信息。验证在 BFCL-v3 和 ToolSandbox 上提高前缀可靠性，而 Airline/Retail 迁移审计和成对敏感性研究表明，这一收益依赖于环境。精确恒等式解释高最终成功如何可以与频繁的前缀失败共存，成本测量则暴露验证的操作代价。因此评测应当把不间断可执行性、恢复、终局成功和智能体侧成本一起报告。

尽管我们把 PEC、FED、TER、AUC-PEC 和 RR 作为已完成展开上的回顾性评测指标来报告，底层的可执行前缀谓词是前缀局部的。当它在执行期间可用时，可以在每个候选工具动作之后检查它，以支持运行时监视、修复、重新规划，或在无效状态被传播之前进行人工升级。在多次展开上汇总后，同样的信号可以指导离线选择，例如提示设计、验证预算和智能体选择。这些用途仍然补充本文的评测焦点：前缀可执行性暴露一条轨迹是否以及在何处变得无效，但它本身并不证明语义正确性、安全、隐私或公平。开发针对这些信号进行优化的闭环智能体和部署策略，是未来工作的一个重要方向。

局限

本研究是一次审计，而不是完整的排行榜评测：BFCL-v3 和 ToolSandbox 各自贡献 200 个抽样任务，ToolSandbox 限于受支持的本地工具情景，$\tau^{3}$ 的覆盖只对 Airline/Retail 基础划分是完整的。任务级区间不度量任务内部重复种子的变异。主网格的表提供边际区间；成对区间在单独的验证器敏感性研究中报告。固定队列 PEC 同时反映到达某一深度和保持有效，因此它的下降不是只含错误的统计量。

可执行性假设有显式模式、前置条件，以及基准可以访问的状态。部分可观察的网页或图形界面环境可能需要状态估计或学习得到的前置条件，而可执行性并不证明语义正确。我们没有评测一个匹配的、受模式约束解码的基线，因此所报告的排名并不是在这种约束下确立的。这些约束可以阻止畸形参数，而前缀检查还额外覆盖对象是否存在、来源、状态前置条件，以及转移是否被接受。

这一干预把验证/修订与额外推理结合在一起。敏感性研究变化验证器能力和预算，但它的接受包装器改变执行器指引；它并没有把验证逻辑与计算或语境效应完全分开。按方法的成本遥测可用于 $\tau^{3}$ 审计，而 BFCL-v3/ToolSandbox 网格只有汇总运行时间。更宽的主张需要更多领域、重复运行，以及匹配的约束解码和修复控制。

#### 更广的影响。

前缀级可执行性可以通过识别无效的 API 调用、未解决的依赖和状态前置条件违规，来改进对工具使用智能体的监督，使它们不至于被最终成功分数掩盖。这在工具调用会修改持久状态、消耗资源、触发外部动作或需要人工升级的工作流中最有用。同样的诊断也可能使自主工具使用更容易部署到带有隐私、安全、公平或服务访问风险的场景中。此外，一条可执行的轨迹仍然可能不安全、有偏、侵犯隐私，或与用户意图不一致。因此前缀可执行性应被当作一个可靠性信号，并在有后果的应用中与领域特定的安全策略、隐私控制、安全复核和人工监督结合。

致谢

本工作由 Oracle 资助。