Prefix Executability 附录：前缀可执行性的性质、协议与检查点

本文继续同一篇 Prefix Executability 论文，收录参考文献与附录，不是另一篇来源。

参考文献

• [1] Timo Schick、Jane Dwivedi-Yu、Roberto Dessı、Roberta Raileanu、Maria Lomeli、Eric Hambro、Luke Zettlemoyer、Nicola Cancedda 与 Thomas Scialom. Toolformer: Language models can teach themselves to use tools. 载于 Advances in Neural Information Processing Systems（神经信息处理系统进展），2023。URL https://openreview.net/forum?id=Yacmpz84TH。题名中译：语言模型可以教会自己使用工具。出处、页码与年份均按原文著录。
• [2] Shunyu Yao、Jeffrey Zhao、Dian Yu、Nan Du、Izhak Shafran、Karthik Narasimhan 与 Yuan Cao. ReAct: Synergizing reasoning and acting in language models. 载于 International Conference on Learning Representations（学习表征国际会议），2023。URL https://openreview.net/forum?id=WE_vluYUL-X。题名中译：让语言模型中的推理与行动协同起来。出处、页码与年份均按原文著录。
• [3] Shishir G. Patil、Huanzhi Mao、Fanjia Yan、Charlie Cheng-Jie Ji、Vishnu Suresh、Ion Stoica 与 Joseph E. Gonzalez. The Berkeley Function Calling Leaderboard (BFCL): From tool use to agentic evaluation of large language models. 载于 Proceedings of the 42nd International Conference on Machine Learning（第 42 届国际机器学习会议论文集），第 267 卷，第 48371–48392 页。PMLR，2025。URL https://proceedings.mlr.press/v267/patil25a.html。题名中译：伯克利函数调用排行榜，从工具使用到对大语言模型的智能体式评测。出处、页码与年份均按原文著录。
• [4] Jiarui Lu、Thomas Holleis、Yizhe Zhang、Bernhard Aumayer、Feng Nan、Haoping Bai、Shuang Ma、Shen Ma、Mengyu Li、Guoli Yin、Zirui Wang 与 Ruoming Pang. ToolSandbox: A stateful, conversational, interactive evaluation benchmark for LLM tool use capabilities. 载于 Findings of the Association for Computational Linguistics: NAACL 2025（计算语言学协会成果：NAACL 2025），第 1160–1183 页，美国新墨西哥州 Albuquerque，2025。Association for Computational Linguistics。doi: 10.18653/v1/2025.findings-naacl.65。URL https://aclanthology.org/2025.findings-naacl.65/。题名中译：一个有状态、对话式、交互式的大模型工具使用能力评测基准。出处、页码与年份均按原文著录。
• [5] Kinjal Basu、Ibrahim Abdelaziz、Kiran Kate、Mayank Agarwal、Maxwell Crouse、Yara Rizk、Kelsey Bradford、Asim Munawar、Sadhana Kumaravel、Saurabh Goyal、Xin Wang、Luis A. Lastras 与 Pavan Kapanipathi. NESTFUL: A benchmark for evaluating LLMs on nested sequences of api calls. 载于 Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing（2025 年自然语言处理经验方法会议论文集），第 33538–33547 页，中国苏州，2025。Association for Computational Linguistics。doi: 10.18653/v1/2025.emnlp-main.1702。URL https://aclanthology.org/2025.emnlp-main.1702/。题名中译：在嵌套的 API 调用序列上评测大语言模型的基准。出处、页码与年份均按原文著录。
• [6] Shunyu Yao、Noah Shinn、Pedram Razavi 与 Karthik Narasimhan. $\tau$-bench: A benchmark for tool-agent-user interaction in real-world domains. 载于 International Conference on Learning Representations（学习表征国际会议），2025。URL https://openreview.net/forum?id=roNSXZpUDN。题名中译：真实领域中工具、智能体与用户交互的基准。出处、页码与年份均按原文著录。
• [7] Zehui Chen、Weihua Du、Wenwei Zhang、Kuikun Liu、Jiangning Liu、Miao Zheng、Jingming Zhuo、Songyang Zhang、Dahua Lin、Kai Chen 与 Feng Zhao. T-Eval: Evaluating the tool utilization capability of large language models step by step. 载于 Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)（计算语言学协会第 62 届年会论文集，第 1 卷：长文），第 9510–9529 页，泰国曼谷，2024。Association for Computational Linguistics。doi: 10.18653/v1/2024.acl-long.515。URL https://aclanthology.org/2024.acl-long.515/。题名中译：逐步评测大语言模型的工具使用能力。出处、页码与年份均按原文著录。
• [8] Pengfei He、Zhenwei Dai、Bing He、Hui Liu、Xianfeng Tang、Hanqing Lu、Juanhui Li、Jiayuan Ding、Subhabrata Mukherjee、Suhang Wang、Yue Xing、Jiliang Tang 与 Benoit Dumoulin. TRAJECT-Bench: A trajectory-aware benchmark for evaluating agentic tool use. 载于 International Conference on Learning Representations（学习表征国际会议），2026。URL https://openreview.net/forum?id=TZWnWvsQ0X。题名中译：一个感知轨迹的、评测智能体式工具使用的基准。出处、页码与年份均按原文著录。
• [9] Dawei Li、Yuguang Yao、Zhen Tan、Huan Liu 与 Ruocheng Guo. ToolPRMBench: Evaluating and advancing process reward models for tool-using agents. 载于 Findings of the Association for Computational Linguistics: ACL 2026（计算语言学协会成果：ACL 2026），第 12378–12391 页，美国加利福尼亚州 San Diego，2026。Association for Computational Linguistics。doi: 10.18653/v1/2026.findings-acl.602。URL https://aclanthology.org/2026.findings-acl.602/。题名中译：评测并推进面向工具使用智能体的过程奖励模型。出处、页码与年份均按原文著录。
• [10] Shengda Fan、Xuyan Ye、Yupeng Huo、Zhi-Yuan Chen、Yiju Guo、Shenzhi Yang、Wenkai Yang、Shuqi Ye、Jingwen Chen、Haotian Chen、Xin Cong 与 Yankai Lin. AgentProcessBench: Diagnosing step-level process quality in tool-using agents. 载于 Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.2（第 32 届 ACM SIGKDD 知识发现与数据挖掘会议论文集，第 2 卷），第 8823–8834 页。Association for Computing Machinery，2026。doi: 10.1145/3770855.3817494。URL https://doi.org/10.1145/3770855.3817494。题名中译：诊断工具使用智能体的步骤级过程质量。出处、页码与年份均按原文著录。
• [11] Hongliu Cao、Ilias Driouich 与 Eoin Thomas. Beyond task completion: Revealing corrupt success in LLM agents through procedure-aware evaluation. arXiv preprint arXiv:2603.03116，2026。URL https://arxiv.org/abs/2603.03116。题名中译：超出任务完成，用过程感知评测揭示大模型智能体中的腐败成功。出处、页码与年份均按原文著录。
• [12] Wonjoong Kim、Sangwu Park、Yeonjun In、Sein Kim、Dongha Lee 与 Chanyoung Park. Beyond the final answer: Evaluating the reasoning trajectories of tool-augmented agents. 载于 Proceedings of the 43rd International Conference on Machine Learning（第 43 届国际机器学习会议论文集），Proceedings of Machine Learning Research 第 306 卷，第 58757–58786 页。PMLR，2026。URL https://proceedings.mlr.press/v306/kim26bg.html。题名中译：超出最终答案，评测带工具智能体的推理轨迹。出处、页码与年份均按原文著录。
• [13] Ella Rabinovich 与 Ateret Anaby Tavor. On the robustness of agentic function calling. 载于 Proceedings of the 5th Workshop on Trustworthy Natural Language Processing（第五届可信自然语言处理研讨会论文集），第 298–304 页，美国新墨西哥州 Albuquerque，2025。Association for Computational Linguistics。doi: 10.18653/v1/2025.trustnlp-main.20。URL https://aclanthology.org/2025.trustnlp-main.20/。题名中译：论智能体式函数调用的鲁棒性。出处、页码与年份均按原文著录。
• [14] Kristina Lewandowska. Beyond success rate: Benchmarking robustness in tool-using language agents. 载于 AAAI 2026 Workshop on Trust and Control in Agentic AI（AAAI 2026 智能体人工智能中的信任与控制研讨会），2026。URL https://trustagenticai.github.io/AAAI2026/AAAI-Workshop/17.pdf。题名中译：超出成功率，评测使用工具的语言智能体的鲁棒性。出处、页码与年份均按原文著录。
• [15] David G. Kleinbaum 与 Mitchel Klein. Survival Analysis: A Self-Learning Text（生存分析：自学教材）。Springer，第 3 版，2012。doi: 10.1007/978-1-4419-6646-9。出处、页码与年份均按原文著录。
• [16] E. L. Kaplan 与 Paul Meier. Nonparametric estimation from incomplete observations. Journal of the American Statistical Association（美国统计协会会刊），53(282):457–481，1958。doi: 10.1080/01621459.1958.10501452。题名中译：从不完整观察做非参数估计。出处、页码与年份均按原文著录。
• [17] Eduardo Treviño、Hugo Contant、James Ngai、Graham Neubig 与 Zora Zhiruo Wang. Benchmarking failures in tool-augmented language models. 载于 Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers)（计算语言学协会北美分会 2025 年会议：人类语言技术，第 1 卷：长文），第 2916–2934 页，美国新墨西哥州 Albuquerque，2025。Association for Computational Linguistics。doi: 10.18653/v1/2025.naacl-long.149。URL https://aclanthology.org/2025.naacl-long.149/。题名中译：评测带工具语言模型中的失败。出处、页码与年份均按原文著录。
• [18] Archiki Prasad、Alexander Koller、Mareike Hartmann、Peter Clark、Ashish Sabharwal、Mohit Bansal 与 Tushar Khot. ADaPT: As-needed decomposition and planning with language models. 载于 Findings of the Association for Computational Linguistics: NAACL 2024（计算语言学协会成果：NAACL 2024），2024。URL https://aclanthology.org/2024.findings-naacl.264/。题名中译：按需要用语言模型做分解与规划。出处、页码与年份均按原文著录。
• [19] Binfeng Xu、Zhiyuan Peng、Bowen Lei、Subhabrata Mukherjee、Yuchen Liu 与 Dongkuan Xu. ReWOO: Decoupling reasoning from observations for efficient augmented language models. arXiv preprint arXiv:2305.18323，2023。URL https://arxiv.org/abs/2305.18323。题名中译：把推理与观察解耦，以得到高效的增强语言模型。出处、页码与年份均按原文著录。
• [20] Lutfi Eren Erdogan、Nicholas Lee、Sehoon Kim、Suhong Moon、Hiroki Furuta、Gopala Anumanchipalli、Kurt Keutzer 与 Amir Gholami. Plan-and-Act: Improving planning of agents for long-horizon tasks. 载于 Proceedings of the 42nd International Conference on Machine Learning（第 42 届国际机器学习会议论文集），第 267 卷，第 15419–15462 页。PMLR，2025。URL https://proceedings.mlr.press/v267/erdogan25a.html。题名中译：改进智能体在长程任务上的规划。出处、页码与年份均按原文著录。
• [21] Jishnu Ray Chowdhury 与 Cornelia Caragea. Zero-shot verification-guided chain of thoughts. arXiv preprint arXiv:2501.13122，2025。URL https://arxiv.org/abs/2501.13122。题名中译：零样本的、由验证引导的思维链。出处、页码与年份均按原文著录。
• [22] Danil S. Grigorev、Alexey K. Kovalev 与 Aleksandr I. Panov. VerifyLLM: LLM-based pre-execution task plan verification for robots. arXiv preprint arXiv:2507.05118，2025。URL https://arxiv.org/abs/2507.05118。题名中译：基于大模型的、面向机器人的执行前任务计划验证。出处、页码与年份均按原文著录。
• [23] Victor Barres、Ben Shi、Ola Zytek、Soham Ray、Keshav Dhandhania 与 Pedram Razavi. $\tau^{3}$-bench: Advancing agent benchmarking to knowledge and voice. Sierra 研究发布，2026 年 3 月。URL https://sierra.ai/blog/bench-advancing-agent-benchmarking-to-knowledge-and-voice。题名中译：把智能体评测推进到知识与语音。出处、页码与年份均按原文著录。

以上二十三条文献的作者、英文题名、会议或期刊、页码、年份与链接均按原文著录。题名中译只便于检索，不替换英文题名。

附录 A 与先前评测协议的关系

表 A.1 比较相关协议的评测单位和信号。前缀可执行性度量所观察到的动作序列是否满足基准的模式、状态前置条件和数据依赖。只要这些条件成立，替代动作序列就获得完整的可执行性分数，无论是否与参考轨迹一致。因此前缀指标补充对任务结果、中间里程碑、参考轨迹一致性和语义过程质量的评测。

表 A.1：轨迹评测与过程评测协议的评测单位和信号。

附录 B 精确性质、一致性，以及与最终成功的关系

下面的性质把对每一个被评测队列都成立的恒等式，与需要抽样假设的总体保证区分开。全文中，展开 $i$ 有被评测视野 $T_{i}\geq 1$、首次错误深度 $F_{i}:=\mathrm{FED}_{i}\in\{1,\ldots,T_{i}+1\}$，以及最终成功指示 $Y_{i}\in\{0,1\}$。值 $F_{i}=T_{i}+1$ 表示一条完全可执行的轨迹。令 $(T,F,Y)$ 表示对应的总体变量。按定义，一个可执行前缀只包含可执行的更短前缀。命题 1 至 3 不需要独立性假设。

#### 命题 1（固定队列单调性）。

对整数深度 $k\geq 1$，定义

$$E_{i,k}:=\mathbf{1}\{T_{i}\geq k\ \land\ \operatorname{Exec}(\hat{\tau}_{i,\leq k})\}=\mathbf{1}\{F_{i}>k\},\qquad\widehat{\mathrm{PEC}}(k)=\frac{1}{N}\sum_{i=1}^{N}E_{i,k}. \tag{13}$$

于是经验曲线及其总体对应物 $\mathrm{PEC}(k):=\Pr(F>k)$ 都是非增的：

$$1\geq\widehat{\mathrm{PEC}}(k)\geq\widehat{\mathrm{PEC}}(k+1)\geq 0,\qquad 1\geq\mathrm{PEC}(k)\geq\mathrm{PEC}(k+1)\geq 0. \tag{14}$$

证明。 若 $E_{i,k+1}=1$，展开 $i$ 以可执行前缀到达深度 $k+1$。因此它也以可执行前缀到达深度 $k$，故 $E_{i,k}=1$。于是逐点有 $E_{i,k+1}\leq E_{i,k}$；取平均或取期望即证明该结果。分母在每一个深度都保持为 $N$。在深度 $k$ 之前结束的展开，对式 (13) 中的固定队列事件贡献零；这一陈述不需要删失模型。式中的指示函数、深度和概率符号均按原文保留。

固定队列在每一个深度上都用同一批展开做分母。若下一次深度的指示为真，则当前深度的指示也必须为真，所以经验曲线和总体曲线都不会随深度上升。在所评测深度之前结束的展开记为零，而不是被移出样本。

#### 命题 2（界与有限队列恒等式）。

定义 $G_{i}:=\mathbf{1}\{F_{i}=T_{i}+1\}$ 与 $A_{i}:=(F_{i}-1)/T_{i}$。则

$$0\leq\widehat{\mathrm{TER}}\leq\widehat{\mathrm{AUC\text{-}PEC}}\leq 1,\qquad 0\leq\mathrm{TER}\leq\mathrm{AUC\text{-}PEC}\leq 1, \tag{15}$$

$$n_{\mathrm{RR\text{-}Eligible}}=\sum_{i=1}^{N}\mathbf{1}\{F_{i}\leq T_{i}\}=N\bigl(1-\widehat{\mathrm{TER}}\bigr). \tag{16}$$

经验均值 $\overline{F}:=N^{-1}\sum_{i}F_{i}$ 满足

$$1\leq\overline{F}\leq\frac{1}{N}\sum_{i=1}^{N}(T_{i}+1). \tag{17}$$

若 $\mathbb{E}[T]<\infty$，其总体类比为 $1\leq\mathbb{E}[F]\leq\mathbb{E}[T]+1$。当每一次展开都有相同视野 $T_{0}$ 时，

$$\widehat{\mathrm{TER}}=\widehat{\mathrm{PEC}}(T_{0}),\qquad\widehat{\mathrm{AUC\text{-}PEC}}=\frac{\overline{F}-1}{T_{0}}. \tag{18}$$

证明。 一条完全可执行的轨迹有 $G_{i}=A_{i}=1$。否则 $G_{i}=0$ 且 $0\leq A_{i}<1$。因此逐点有 $0\leq G_{i}\leq A_{i}\leq 1$，取平均并取期望即证明式 (15)。事件 $F_{i}=T_{i}+1$ 与 $F_{i}\leq T_{i}$ 划分该队列，给出式 (16)。界 $1\leq F_{i}\leq T_{i}+1$ 给出式 (17) 及其期望对应物。最后，当 $T_{i}=T_{0}$ 时，事件 $F_{i}>T_{0}$ 与 $F_{i}=T_{0}+1$ 重合，归一化常数 $T_{0}$ 可以拿到经验平均之外。这些等式里的估计量符号按原文保留，中文只解释它们的含义：完全可执行时两项都是一，否则轨迹可执行率为零而面积严格小于一。

对变长视野，TER 仍然是完整轨迹事件 $F=T+1$，而 AUC-PEC 是每条轨迹归一化面积的均值 $\mathbb{E}[(F-1)/T]$。因此式 (18) 中的共同视野恒等式不得用于变长展开。特别地，平均 FED 一般不能仅由 TER 或 AUC-PEC 决定。

完全可执行时轨迹可执行率与归一化面积都等于一；否则轨迹可执行率为零，而面积严格小于一。因此逐点有零不大于轨迹可执行指示、不大于面积、不大于一。完全可执行与发生过前缀失败两件事划分整个队列。首次错误深度夹在一与轨迹长度加一之间。只有所有展开共享同一视野时，轨迹可执行率才等于该视野上的前缀可执行率，归一化面积才等于平均首次错误深度减一后再除以该视野。变长轨迹不得套用这一共同视野恒等式。平均首次错误深度一般也不能只由轨迹可执行率或归一化面积反推出来。

#### 命题 3（最终成功分解）。

令 $G:=\{F=T+1\}$ 与 $B:=\{F\leq T\}$ 表示完全可执行区间和前缀失败区间。对每一个展开分布，

$$\Pr(Y=1)=\Pr(\{Y=1\}\cap G)+\Pr(\{Y=1\}\cap B). \tag{19}$$

若 $0<q:=\Pr(G)<1$，定义 $s:=\Pr(Y=1\mid G)$ 与 $r:=\Pr(Y=1\mid B)=\mathrm{RR}$。由于 $q=\mathrm{TER}$，

$$\Pr(Y=1)=q\,s+(1-q)\,r,\qquad(1-q)r\leq\Pr(Y=1)\leq q+(1-q)r. \tag{20}$$

证明。 事件 $G$ 与 $B$ 不相交且穷尽，这证明式 (19)。当两者概率都为正时，条件概率的定义给出式 (20) 中的分解；其界来自 $0\leq s\leq 1$。在 $q=0$ 或 $q=1$ 时，缺失区间上的条件概率无定义，式 (19) 提供有效陈述，而不给该条件概率赋值。同一划分论证适用于经验计数，条件经验率只对非空区间定义。这里把终局成功写成不间断成功与失败后恢复成功之和，符号按原文保留。

因此终局成功把成功的完全可执行轨迹，与带有更早前缀断裂的成功轨迹结合在一起。在 $s$ 和 $r$ 固定时，它对 TER 的斜率是 $s-r$；跨方法时，两个条件成功率也可以变化。因此这一分解并不意味着 TER 与最终成功之间有普遍的单调关系。第 3.1 节给出这一区分的一个具体经验实例。

#### 命题 4（独立同分布抽样下的一致性与集中）。

假设任务–展开对是从固定评测分布中独立同分布抽取的。对固定深度 $k$，令 $Z_{i}$ 为下列量之一

$$E_{i,k},\qquad\mathbf{1}\{F_{i}=T_{i}+1\},\qquad\frac{F_{i}-1}{T_{i}},\qquad Y_{i}, \tag{21}$$

分别对应深度 $k$ 处的 PEC、TER、AUC-PEC 和最终成功。则 $\widehat{\theta}:=N^{-1}\sum_{i}Z_{i}$ 对 $\theta:=\mathbb{E}[Z_{i}]$ 强一致，并且对每一个 $\epsilon>0$，

$$\Pr\bigl(|\widehat{\theta}-\theta|\geq\epsilon\bigr)\leq 2\exp(-2N\epsilon^{2}). \tag{22}$$

若 $\mathbb{E}[T]<\infty$，平均 FED 对 $\mathbb{E}[F]$ 强一致。若另外还有一个有限常数 $K$ 使 $T\leq K$ 以概率 1 成立，则

$$\Pr\bigl(|\overline{F}-\mathbb{E}[F]|\geq\epsilon\bigr)\leq 2\exp\!\left(-\frac{2N\epsilon^{2}}{K^{2}}\right). \tag{23}$$

最后，若 $\Pr(B)>0$，恢复率估计

$$\widehat{\mathrm{RR}}=\frac{N^{-1}\sum_{i=1}^{N}Y_{i}\mathbf{1}\{F_{i}\leq T_{i}\}}{N^{-1}\sum_{i=1}^{N}\mathbf{1}\{F_{i}\leq T_{i}\}} \tag{24}$$

一旦至少抽到一个合格回合，分母就非零。随着样本增长，这样的回合以概率 1 出现，并且当 $N\to\infty$ 时 $\widehat{\mathrm{RR}}$ 收敛到总体恢复率 $\Pr(Y=1\mid B)$。

证明。 式 (21) 中的每一个变量都落在 $[0,1]$ 中。强大数定律确立强一致性，Hoeffding 不等式给出式 (22)。由于 $1\leq F\leq T+1$，条件 $\mathbb{E}[T]<\infty$ 保证 $F$ 可积，因此强大数定律也适用于平均 FED。在有界视野假设下，$F\in[1,K+1]$ 的值域宽度为 $K$；Hoeffding 不等式给出式 (23)。对 RR，式 (24) 的分子和分母以概率 1 分别收敛到 $\Pr(\{Y=1\}\cap B)$ 和 $\Pr(B)$。当 $\Pr(B)>0$ 时，除法在正分母处连续，从而证明该结果。对没有合格回合的有限队列，RR 仍然无定义。上述概率界里的样本量和偏差符号按原文保留。

式中每个被平均的量都落在零和一之间，因此强大数定律给出强一致，Hoeffding 不等式给出有限样本偏差界。首次错误深度有界，是因为轨迹长度的期望有限，并且在有界视野下它落在一到视野加一之间。恢复率的分子与分母分别收敛到成功且属于失败集合的概率，以及属于失败集合的概率；只有后者为正，条件恢复率才有定义。有限队列里若没有合格回合，恢复率仍然无定义，不能把空分母写成零。

#### 对所报告审计的解释。

上面的有限队列恒等式和单调性对所报告的评测精确成立，包括确定性的分层队列。总体一致性和集中性在所述的独立同分布抽样假设下成立。成功分解把完全可执行轨迹上的成功，与前缀失败之后的成功分开，使恢复与前缀可靠性并列而变得明确。

附录 C 确定性可执行性检查与恢复

C.1 可执行性检查与首次失败分类

可执行性评分器是确定性的，并且与 Dual-Loop 所用的、基于大模型的执行前验证器分开。评分器对照基准的工具语义和状态语义评测实际发出的动作；不需要学习得到的评判、人工步骤标签，或单条黄金动作序列。Dual-Loop 验证器则在执行之前检查一份被提议的计划，并可能改变执行器随后的行为。它的接受决定并不确立所发出的轨迹是可执行的。

对动作 $a_{j}$，令 $V_{j}=1$ 当且仅当工具被暴露，其参数满足所声明的接口和校验器，被引用的值可用且类型兼容，所需信息已经获得，适用的状态前置条件成立，并且基准接受这次转移。否则 $V_{j}=0$。检查器按下列方式确定首次失败。

• 1. 从基准的初始状态开始重放。可用值包括提示和基准可见的初始值。把 $\mathrm{FED}$ 初始化为 $T+1$。
• 2. 按顺序处理已发出的动作。解析所选工具；不可用的工具是模式/工具可用性失败。对已暴露的工具，检查参数绑定、所声明的类型和已登记的校验器。
• 3. 检查被引用的值是否缺失、绑定是否过期，或类型是否不兼容；这些是依赖失败。检查所需的任务信息是否已经获得，以及适用的状态前置条件是否成立。
• 4. 若这些检查通过，对照重放状态或沙箱状态执行该动作。被拒绝的转移是状态一致性失败。对被接受的转移，记录输出，更新可用值，并推进状态。
• 5. 在第一个失败的谓词或被拒绝的转移处，令 $V_{j}=0$ 且 $\mathrm{FED}=j$。按下面的优先顺序选择第一个适用的诊断类别，然后停止前缀重放。保留完整的观察展开，用于基准所定义的最终成功 $Y$ 和 RR。
• 6. 若每一个动作都满足谓词，保留 $\mathrm{FED}=T+1$。终局无工具动作仅当基准语义允许不调用工具就完成时才可执行。

诊断优先顺序是

$$\text{schema}\ \longrightarrow\ \text{dependency}\ \longrightarrow\ \text{precondition}\ \longrightarrow\ \text{state-consistency}\ \longrightarrow\ \text{information}.$$

中文顺序是：模式，然后依赖，然后前置条件，然后状态一致性，然后信息。平局打破在第一个失败动作上指定一个主要原因；它既不改变动作有效性，也不改变 FED、PEC、TER、AUC-PEC、RR 或最终成功。特别地，诊断顺序不同于适用条件被检查的顺序。

BFCL-v3 在复制的状态下、在依案例而定的函数命名空间和基准评测器语义中通过重放来评测前缀 [3]。ToolSandbox 使用相关轮次可见的工具、它们已登记的校验器，以及所记录的执行结果和状态转移 [4]。这些依基准而定的语义为同一个可执行性谓词提供依据。指标随后确定性地汇总所得的 $(T_{i},\mathrm{FED}_{i},Y_{i})$ 记录。

停止首次失败重放，并不截断所观察的回合，也不替换其最终结果。这里 $V_{j}$ 描述动作 $a_{j}$ 在其局部基准状态中的有效性。确定 FED 只需要检查动作直到第一次失败。所观察回合中更后的动作仍可以可执行，任务仍可以成功。但对 $k\leq T$，前缀有效性是

$$E_{k}=\prod_{j=1}^{k}V_{j}=\mathbf{1}\{\mathrm{FED}>k\}.$$

一旦一个动作失败，每一个随后的前缀仍然包含该失败。因此，后来的成功执行可以贡献于恢复，但永远不能为该展开恢复可执行前缀的存活。

C.2 说明性的联系人修复比较

表 C.1 在 ToolSandbox 语义下说明一个删除联系人的任务。在第一个动作中，智能体提供电话号码来代替所存储的联系人标识。尽管两个值都是字符串类型，所请求的标识在当前状态中不存在，因此该动作被拒绝且不改变状态。随后的查找获得正确标识，并使删除成为可能。

表 C.1：一次无效的第一步之后的说明性修复。完整的观察轨迹被保留，即使前缀存活在第一步结束。

这里 $V=(0,1,1)$ 但 $E=(0,0,0)$。对 $T=3$，$\mathrm{FED}=1$，该轨迹对 TER 和 AUC-PEC 贡献 $0$，并且它是 RR 合格的；其终局成功仍然可以是 $Y=1$。一条无错误的替代路径先搜索联系人，再用返回的标识删除它。这个两步序列中的两个动作都可执行，因此完整轨迹获得可执行性分数。

一个终局的 ToolSandbox 里程碑可能同时给被修复的轨迹和无错误轨迹记分。一项针对被禁止动作的、依任务而定的检查可以把它们区分开，而前缀可执行性直接记录被拒绝的转移。TRAJECT-Bench 可能惩罚这个额外动作，或认出后来的依赖和顺序；TRACE 可能评估这次修复是适应性的还是低效的。前缀指标通过深度一处的失败、为零的完整轨迹可执行性，以及尽管有该失败仍有的终局成功，来汇总同一个例子。因此前缀指标把无效动作之后的成功恢复，与无错误执行区分开，即使两条轨迹得到相同的终局成功标签。

附录 D 双环验证细节

本附录规定第 2.5 节中的验证干预。只有被评测的执行器轨迹，包括第 2.2 节所定义的终局无工具动作，进入前缀指标。规划器和验证器的消息影响随后的行为和成本，但不贡献于 $T_{i}$。图 D.1 汇总信息流。

D.1 对象与信息边界

令 $x$ 表示用户目标，$\mathcal{U}$ 表示可用的工具规格，$s_{0}$ 表示执行前基准可见状态的紧凑摘要。Dual-Loop 使用规划器 $P$、验证器 $V$ 和执行器 $R$。在验证迭代 $j$，规划器提出一份有限的候选计划

$$z^{(j)}=(z^{(j)}_{1},\ldots,z^{(j)}_{M_{j}}),$$

其中每一步描述一个意图中的工具级操作、参数值或约束，以及对先前计划步骤、这些步骤将产生的观察，或用户所提供信息的依赖。计划长度 $M_{j}$ 不必等于最终被执行的视野 $T_{i}$：计划是条件语境，不是被评分的对象。

验证器把 $(x,\mathcal{U},s_{0},z^{(j)})$ 映射为接受，或一份结构化的拒绝记录。规划器和验证器不接收基准参考轨迹、隐藏的最终成功标签，或未来观察。验证终止之后，执行器与基准交互并发出

$$\hat{\tau}_{i}=(a_{i,1},\ldots,a_{i,T_{i}}).$$

评测器直接给这条已发出的轨迹打分。因此，如果执行器偏离一份已验证的计划、提前终止，或发出一次无效调用，指标就精确反映实际发生的已发出动作。

图 D.1：双环验证干预。规划器提出一份结构化候选计划，验证器要么接受它，要么返回有针对性的反馈，执行器发出前缀级指标所评分的、唯一面向环境的动作。

D.2 验证器检查清单

验证器被设计为：在任何环境动作发生之前，拒绝那些包含可预见的、不可执行前缀来源的候选计划。它应用下面这份局部检查清单，与第 2.4 节的首次失败分类对齐：

• 1. 工具与模式有效性。每一个被计划的操作必须引用 $\mathcal{U}$ 中一个可用工具，包含必需参数，避免不受支持的参数，并满足所声明的类型或格式约束。
• 2. 依赖解析。被计划步骤所引用的值必须来自提示、初始状态摘要，或一个更早的计划步骤。验证器拒绝向前引用、过期绑定，以及类型不兼容的复用。
• 3. 信息可用性。所需的用户信息或查找结果必须已经存在、在使用前被请求，或被表示为对一个更早计划步骤的依赖。这一检查抓住那些在收集信息之前就使用信息的计划。
• 4. 显式前置条件。如果一个工具在使用前要求先前的授权、一次在前的状态更新，或某个特定对象存在，计划必须在调用该工具之前满足该前提。
• 5. 状态一致性。被计划的状态变更必须与基准可见状态兼容，并与更早计划步骤所诱导的状态变化兼容。例子包括拒绝更新不存在的对象，或拒绝消耗不可用资源的操作。

这份检查清单有意是局部的。它不是全局最优性的证明，也不取代执行之后的基准重放。基准侧评测器仍然是 FED、TER、最终成功和 RR 的权威。

D.3 修复循环与迭代预算

若验证器拒绝一份候选计划，其反馈指出最早被检测到的失败步骤、失败的检查，以及在该信息可从 $x$、$\mathcal{U}$ 或 $s_{0}$ 获得时修复所需的信息。规划器随后在任何面向环境的动作发出之前，提出一份修订后的候选。在 BFCL-v3/ToolSandbox 实验中，验证循环的上限是 $K_{\mathrm{val}}=5$ 份候选计划。若在这一上限内没有候选被接受，验证阶段返回一个失败标志，执行器不把任何已接受的计划当作强约束。展开不被丢弃；执行器随后发出的任何环境动作，都与所有其他展开以同样方式评分。因此上限耗尽是方法侧行为，不是前缀失败。

验证上限与 ReAct 执行上限分开。对 BFCL-v3 和 ToolSandbox，面向环境的执行器使用 $K_{\mathrm{exec}}=10$ 次 ReAct 动作迭代。这一分离很重要，因为两个循环约束不同的资源：$K_{\mathrm{val}}$ 限制对候选计划的、不计分的执行前搜索，而 $K_{\mathrm{exec}}$ 限制多步工具使用可用的、被计分的动作视野。一次验证迭代不增加 $T_{i}$；只有执行器发出的环境动作，或第 2.2 节所述的终局无工具动作，才贡献于 $T_{i}$，以及 PEC、FED、TER、AUC-PEC 和 RR。

D.4 指标记账与控制

下列约定使干预与前缀级定义对齐：

• 1. 候选计划、验证器决定和验证器反馈不是基准动作。它们只通过执行器随后的、面向环境的行为影响指标。
• 2. FED 在执行之后由 $\hat{\tau}_{i}$ 计算。一份已验证的计划如果后来引导执行器做出无效调用，就按普通的前缀失败计数。
• 3. RR 只对 $\mathrm{FED}_{i}\leq T_{i}$ 的展开计算。执行前被拒绝的候选计划不是 RR 合格的，因为没有基准前缀失败。
• 4. 验证在执行前不修改基准状态。它只能通过改变执行器所发出的、面向环境的动作，来改进 PEC、TER 或 AUC-PEC。

在每个基准–模型条件内部，所有变体使用相同的任务标识、工具规格、执行器视野上限和解码规则。Dual-Loop 与 Plan-Conditioned ReAct 的比较，在匹配的执行器条件下度量验证、修订及其额外推理成本的联合效应。被评分的轨迹语义在各变体之间相同。附录 F 给出验证器敏感性结果和实验控制。规划器和验证器调用在被评分轨迹之外，但在比较词元使用、延迟或部署成本时应被包括。

D.5 干预的局限

验证器可能漏掉隐藏状态约束、未充分规定的意图，或工具接口之外的语义要求，也可能拒绝可执行的替代方案。执行前验证还增加推理成本。前缀指标刻画 Dual-Loop 的效应如何随环境和配置变化（附录 F）。

附录 E 额外的实验设置与计算资源

#### 解码与展开设置。

下列解码设置和汇总运行时间适用于 4,800 次展开的 BFCL-v3/ToolSandbox 网格。所有大模型条件都使用提供方所支持的、随机性最小的配置。对 GPT-4.1 和 Llama-4-Maverick-Instruct，我们把温度设为 $0$，在暴露时使用 top-$p=1$，并关闭存在惩罚和频率惩罚。对 GPT-5.4 推理条件，不设置不受支持的抽样控制；我们改为固定 reasoning.effort=high，并把其余由提供方暴露的生成控制保持在默认值。为拉平生成预算，每一次规划器、验证器和执行器调用都使用 $4{,}000$ 词元的响应上限；对把隐藏推理词元与可见文本区分开的 API，这一上限施加在提供方的总输出词元预算上。面向环境的 ReAct 执行循环对每一个 ReAct 风格的智能体变体都封顶为 $K_{\mathrm{exec}}=10$ 次工具动作迭代，而 Dual-Loop 额外使用附录 D 所述的、分开的执行前规划器–验证器预算 $K_{\mathrm{val}}=5$；验证尝试是方法侧计算，不计入 $T_{i}$ 中的工具动作。

#### 计算资源。

我们的实验评测智能体展开，而不是训练或微调模型。全部大模型推理都通过托管模型 API 进行；本地机器只编排基准执行、工具状态更新、轨迹记录和指标计算。模型推理由 API 端点背后、由提供方管理的加速器基础设施提供，因此每次请求的 GPU 类型、GPU 数量和加速器占用对我们不可见。因此我们把本地编排计算与托管推理计算分开报告。BFCL-v3/ToolSandbox 网格包含 $200\times 2\times 3\times 4=4{,}800$ 次展开，跨越两个数据集、三个模型和四个智能体变体。评测脚手架只需一个仅 CPU 的本地工作进程；BFCL-v3/ToolSandbox 运行使用一台有 16 个虚拟 CPU 和 64 GB 内存的 Linux 工作机，不分配本地 GPU。墙钟时间由远程模型延迟和 API 速率限制主导，而不是由本地计算主导；使用 16 个异步 API 请求工作进程，4,800 次展开的 BFCL-v3/ToolSandbox 网格大约在 72 小时内完成。在同一台机器上，为这一网格离线计算 PEC、FED、TER、AUC-PEC、RR 和自助置信区间，在 1 小时以内完成。

四种方法、三个基准的审计包括 4,800 次 BFCL-v3/ToolSandbox 展开和 1,968 次 Airline/Retail 展开，合计 6,768。验证器敏感性研究使用这一合计之外的、分开的成对运行。大约 72 小时的运行时间只适用于 BFCL-v3/ToolSandbox。附录 F 报告 Airline/Retail 的智能体侧词元和延迟测量，以及敏感性研究的成本差异，并排除模拟器和评测器调用。

附录 F 迁移审计、成本与验证器敏感性

F.1 Airline 与 Retail 审计协议

我们在 $\tau^{3}$-bench v1.0.1 基于文本的、轮流发言（半双工）环境中，评测其基础划分里的全部 $50$ 个 Airline 任务和 $114$ 个 Retail 任务，使用该基准的模拟器协议、任务规格和奖励模式。这是这两个基础划分的完整覆盖，而不是每一个 $\tau^{3}$-bench 领域。每个任务在四种方法和三种模型条件的每一种下评测一次。所有方法都在相同任务上评测。表 F.1 把 $164$ 个任务汇总，对每个任务而不是每个领域赋予相等权重。RR 在这一汇总队列的合格回合上计算。

对 TER、平均 FED、AUC-PEC 和最终成功，区间是来自 $10{,}000$ 次重抽样的 $95\%$ 任务级百分位自助区间。RR 使用双侧 $95\%$ Wilson 区间，并报告恢复成功和合格回合的确切数目。这些区间描述固定展开协议下的任务级变异；每个任务一次展开并不估计重复运行之间的任务内变异。单个方法的区间并不量化方法之间成对差异的不确定性。下面各小节报告智能体成本，以及一项带有成对方法差异的单独敏感性研究。

表 F.1：完整的 Airline/Retail 基础划分审计。括号是 95% 区间。对 RR，s/n 是确切的恢复成功数/合格数。Prompt 表示 Prompt Planning；Plan-Cond. 表示 Plan-Conditioned ReAct。所有值都是经验估计。

表中数字、区间和恢复成功计数均按原文著录，只翻译表头和方法分组名。

表 F.1 把一百六十四个基础任务按任务等权汇总，数字按原文保留。GPT-5.4 高推理强度下，四种方法的轨迹可执行率依次约为 0.95、0.94、0.93、0.93，最终成功依次约为 0.43、0.46、0.51、0.46，恢复成功与合格数依次为二比九、一比十、三比十二、三比十一。GPT-4.1 下，轨迹可执行率依次约为 0.84、0.82、0.79、0.81，最终成功依次约为 0.46、0.51、0.49、0.45，恢复计数依次为十四比二十六、十三比二十九、十四比三十四、十五比三十一。Llama-4 Maverick 下，轨迹可执行率依次约为 0.52、0.55、0.60、0.51，最终成功依次约为 0.18、0.18、0.18、0.14，恢复计数依次为九比七十九、九比七十三、四比六十五、五比八十。这些区间描述固定协议下的任务间变异，不估计同一任务重复运行的变异，也不单独构成方法之间成对差异的置信区间。

F.2 智能体侧词元使用与延迟

表 F.2 报告 Airline/Retail 审计中每个回合的平均智能体词元使用和累计请求延迟。智能体词元把规划器、验证器、规划修订和执行器请求上、由提供方报告的输入词元与输出词元相加。所记录的推理词元包含在输出词元中，并且只计一次。延迟是这些相同请求的、客户端观察到的累计延迟，按回合平均。模拟器和评测器请求从两个量中都排除。这些延迟值度量累计的智能体调用时间，而不是完整基准的墙钟时长。

表 F.2：Airline/Retail 审计上的平均智能体词元 / 平均累计智能体调用延迟；k 表示千词元，s 表示秒。Prompt 与 Plan-Cond. 分别是 Prompt Planning 与 Plan-Conditioned ReAct 的缩写。

相对 ReAct，Dual-Loop 改变平均词元/延迟，对 GPT-5.4 大约为 $+14\%/+46\%$，对 GPT-4.1 为 $+27\%/+20\%$，对 Llama-4 Maverick 为 $+7\%/+8\%$。相对 Plan-Conditioned ReAct，相应的近似差异为 $+3\%/+22\%$、$+12\%/+7\%$ 和 $-3\%/-1\%$。

Dual-Loop 与 Plan-Conditioned 的对比保持模型条件、执行器、任务标识、工具规格、解码规则和执行视野固定，同时加入验证和修订。这些是回合级的净成本差异：验证器和修订成本与下游执行成本的变化结合在一起。这一比较把验证行为与推理预算一起变化。词元合计应在一个模型条件内部比较，因为词元化和推理词元记账在提供方和模型之间不同。

按方法的词元使用和延迟测量可用于 Airline/Retail 审计。对 BFCL-v3 和 ToolSandbox，计算报告限于汇总运行时间；Airline/Retail 的测量并不确立它们按方法的成本。

F.3 匹配的验证器敏感性

一项单独的敏感性研究用 GPT-5.4-high 规划器和执行器评测同样的 $164$ 个 Airline/Retail 任务。对每个任务，所有实验条件使用相同的初始计划、工具规格和执行视野。每个条件的成本包括一次共享初始计划的生成，以及它的验证、计划修订和执行请求；模拟器和评测器请求被排除。表 F.3 中的差异是相对一次分开评测的、任务成对的 Plan-Conditioned ReAct 基线来度量的。这一基线属于敏感性实验；它不同于表 F.1 和表 F.2 中的 Plan-Conditioned ReAct 估计。

指标差异的 $95\%$ 区间使用 $100{,}000$ 次成对任务自助重抽样，保留每个条件与其基线之间的任务配对。它们刻画成对重抽样下跨任务的变异，不度量重复运行上的任务内变异。成本差异以点估计报告，不带区间。

表 F.3：相对成对的 Plan-Conditioned ReAct 重跑的、匹配的验证器敏感性差异，带有 95% 成对任务自助区间。模型名标识验证器；规划器和执行器保持为 GPT-5.4-high。确定性接受条件不做验证器调用，并改变执行器的指令。

全部 TER 和 AUC-PEC 区间都包含零，在这一环境和配置中点估计变化很小。没有检验等价性。确定性接受和 GPT-4.1 验证器的最终成功区间相对成对基线为负；另外两个最终成功区间包含零。这些成对测量对每种验证器配置分别量化前缀可靠性、终局结果和推理成本。表中正负号和区间按原文保留。

#### 对验证器对比的解释。

确定性接受和 Plan-Conditioned ReAct 基线都不做验证器调用，但确定性接受告诉执行器该计划未经评测即被接受。因此它与基线的对比改变了执行器指令，并不度量去掉验证的效应。涉及大模型验证器的比较也改变推理成本。所报告的差异特定于被评测的环境和配置，并不把验证逻辑从执行器指令和计算预算中分离出来。

附录 G 按深度的 PEC 检查点

表 G.1 报告主分析所用的固定队列 PEC 曲线的检查点值。收录这些检查点是为了可审计，并显示方法沿工具调用轨迹从何处开始分开。因为 $\widehat{\mathrm{PEC}}(k)$ 是同一展开队列上的生存估计，一个数据集–模型–方法块中的全部 $N=200$ 次展开都留在分母中；这些值应在块内比较，并解释为前缀可靠性诊断，而不是合格深度上的条件准确率或路径效率分数。早期深度对方法比较最有信息，较晚深度记录尾部行为，那里的下降也可以反映在深度 $k$ 之前终止的轨迹。

式 (7) 把固定队列 PEC 表示为到达深度 $k$ 的展开所占比例，乘以这些展开中具有可执行前缀的比例。表 G.1 报告它们的乘积；它并不分开报告深度支撑和合格深度 PEC。

表 G.1：200 个实例的 BFCL 多轮样本和 200 个实例的 ToolSandbox 样本在三种大模型条件下的按深度前缀可执行性。所有条目都是经验估计。括号中的值是来自 10,000 次任务级自助重抽样的 95% 百分位置信区间。PEC@$k$ 使用式 (4) 中的固定队列生存估计：分子计 $\mathrm{FED}>k$ 的展开，分母是该数据集–大模型–方法块中的全部被评测展开。

检查点数值按原文保留。固定队列的分母始终是该块中的全部展开，而不是到达该深度的子集。

按块读检查点，分母都是二百次展开。BFCL、GPT-5.4：ReAct 的前四档前缀可执行率依次为 0.95、0.90、0.81、0.68；提示规划依次为 0.96、0.88、0.82、0.70；计划条件化依次为 0.77、0.61、0.49、0.42；双环依次为 0.98、0.97、0.94、0.82。BFCL、GPT-4.1：ReAct 依次为 0.93、0.84、0.74、0.61；提示规划依次为 0.97、0.93、0.86、0.71；计划条件化依次为 0.65、0.48、0.39、0.33；双环依次为 0.99、0.97、0.95、0.82。BFCL、Llama-4 Maverick：ReAct 依次为 0.89、0.71、0.59、0.46；提示规划依次为 0.94、0.88、0.80、0.65；计划条件化依次为 0.53、0.23、0.10、0.05；双环依次为 0.98、0.94、0.90、0.78。ToolSandbox、GPT-5.4：ReAct 依次为 0.92、0.81、0.59、0.47；提示规划依次为 0.94、0.88、0.63、0.56；计划条件化依次为 0.67、0.49、0.35、0.32；双环依次为 0.97、0.95、0.69、0.62。ToolSandbox、GPT-4.1：ReAct 依次为 0.94、0.81、0.58、0.45；提示规划依次为 0.96、0.90、0.64、0.56；计划条件化依次为 0.55、0.37、0.27、0.24；双环依次为 0.99、0.96、0.69、0.64。ToolSandbox、Llama-4 Maverick：ReAct 依次为 0.87、0.68、0.45、0.29；提示规划依次为 0.92、0.80、0.53、0.41；计划条件化依次为 0.36、0.10、0.09、0.07；双环依次为 0.99、0.88、0.65、0.55。括号中的区间仍以表 G.1 为准。这些乘积不拆开报告到达该深度的比例，以及到达者中前缀仍然可执行的比例。

区间端点同样按表著录。BFCL、GPT-5.4 的第一档区间依次为 0.93 到 0.98、0.93 到 0.98、0.70 到 0.82、0.96 到 0.99；第四档依次为 0.61 到 0.74、0.64 到 0.77、0.36 到 0.49、0.77 到 0.88。BFCL、GPT-4.1 的第一档依次为 0.89 到 0.96、0.94 到 0.99、0.57 到 0.71、0.98 到 1.00；第四档依次为 0.55 到 0.68、0.65 到 0.77、0.26 到 0.39、0.77 到 0.88。BFCL、Llama-4 Maverick 的第一档依次为 0.84 到 0.93、0.91 到 0.97、0.46 到 0.59、0.96 到 1.00；第四档依次为 0.39 到 0.53、0.58 到 0.71、0.02 到 0.08、0.72 到 0.83。ToolSandbox、GPT-5.4 的第一档依次为 0.88 到 0.95、0.91 到 0.97、0.60 到 0.73、0.95 到 0.99；第四档依次为 0.40 到 0.54、0.48 到 0.62、0.26 到 0.39、0.56 到 0.69。ToolSandbox、GPT-4.1 的第一档依次为 0.91 到 0.97、0.93 到 0.98、0.47 到 0.61、0.97 到 1.00；第四档依次为 0.38 到 0.52、0.48 到 0.62、0.18 到 0.30、0.57 到 0.70。ToolSandbox、Llama-4 Maverick 的第一档依次为 0.82 到 0.92、0.88 到 0.95、0.30 到 0.43、0.97 到 1.00；第四档依次为 0.23 到 0.36、0.34 到 0.47、0.04 到 0.12、0.48 到 0.62。第二档与第三档的区间不在这段里改写，仍以表 G.1 的括号为准。早期深度最能分开方法，较晚深度还混有在该深度之前已经结束的轨迹。

第二档与第三档的点估计已在上一段按原文列出。这里补上它们的区间下端与上端，仍不另做取整。BFCL、GPT-5.4 第二档依次为 0.85 到 0.94、0.83 到 0.93、0.55 到 0.69、0.94 到 0.99，第三档依次为 0.75 到 0.86、0.77 到 0.88、0.42 到 0.56、0.91 到 0.97。其余模型与 ToolSandbox 的第二、第三档区间一律以表 G.1 括号为准，不在正文里改写端点。检查点是生存估计的乘积，不是到达该深度之后的条件准确率。