TandemBench：面向多智能体协作的决策模型基准评测

TandemBench：面向多智能体协作的决策模型基准评测

Baohang Li 单位：哈尔滨工业大学 邮箱：baohangli@ir.hit.edu.cn Xiaocheng Feng 单位：哈尔滨工业大学 单位：鹏城实验室 Bing Qin 单位：哈尔滨工业大学

摘要

决策模型在路由与动作选择等任务中，于预定义选项之中作出选择。在多智能体协作中，一项决策决定成员如何分工、交换资源并并行行动。我们提出 TandemBench，这是一个包含 1,200 道题目的基准，场景为多智能体烹饪，其中协调选择会影响目标完成。模型接收完整全局信息与候选团队方案，参考答案通过执行与精确搜索确立。模型选出一个最优团队方案，并在保留或移除该方案的成对变体中，判断所给选项之外是否存在更好的安排。我们评测 40 个原生决策模型，并将它们与 10 个通用语言模型进行比较。最好的原生决策模型达到 62.50% 的决策准确率。原生决策模型在最优性验证上仍接近随机水平。成对测试表明，有些模型无论最优方案是否已经在列，都会报告存在更好的替代方案。这些发现表明，仅凭团队方案决策准确率，就可能掩盖在判断所给选项是否包含一种最优安排时的系统性错误。数据集与评测代码可公开获取于 https://github.com/lililibaohang/TandemBench。

1 引言

决策模型在路由与动作选择等任务中，于预定义选项之中作出选择（Duan et al., 2026；Geuter et al., 2026）。在多智能体协作中，单项决策可以决定团队成员如何协调各自的动作，以通向一个共同目标。例如，助手可以在准备餐盘之前先供给一种食材，从而使厨师能够烹饪，同时助手继续准备。先准备餐盘则会推迟交接，并让厨师等待（图 1）。因此，评判一个团队方案需要考虑成员的动作如何彼此依赖，并共同促成该目标。

图 1：一名成员的动作顺序会影响整个团队。（a）先交接食材，使烹饪与餐盘准备能够并行。（b）先准备餐盘，则会让厨师等待。

图

现有决策基准考察准确率、校准与鲁棒性（Duan et al., 2026；Zhuang et al., 2026；Lan et al., 2026），而 AgentDecisionBench 评测智能体工作流中的工具选择与动作选择（Zhu et al., 2026）。我们关注那些为多名团队成员指定联合方案的决策。若干方案可能都可行，然而它们的协调选择可能给团队带来不同的结果。评估这些选择需要一个参照，即从给定状态出发所能达到的最佳结果，因为即便所给方案中最好的一个也可能是次优的。因此，我们评估模型是否选出一个最优团队方案，以及是否识别出在所给选项之外存在更好安排的情形。

我们提出 TandemBench，它由来自 Collab-Overcooked（Sun et al., 2025）中 30 个食谱任务、200 个场景的 1,200 道题目构成。我们选取这样的状态：即便其余动作都已优化，动作顺序或资源交接仍会影响任务完成。每道题目提供完整全局信息，以及一个包含多个可行团队方案的候选集。执行与精确搜索确立各候选的结果，以及从每个状态出发所能达到的最佳结果。成对变体在保持状态与目标不变的前提下保留或移除最优方案，从而使我们能够把对更好替代方案的正确报告与误报区分开来。

我们评测 40 个原生决策模型，并将它们与 10 个通用语言模型进行比较。KnowLine 在原生模型中以决策准确率（DA）领先，达到 62.50%（图 2；表 1 与表 2），而它们的验证准确率（VA）仍接近随机水平（50%）。成对测试揭示出两种相反的错误：有些模型无论最优方案是否被提供，都会报告存在更好的方案，而另一些模型即便所给方案是次优的，也会从中选择一个。因此，仅凭 DA 会漏掉最优性判断中的系统性错误。

图 2：决策准确率（DA）与验证准确率（VA），各家族内的模型按 DA 递增排序。

图

我们的贡献如下。

• 我们提出 TandemBench，这是一个包含 1,200 道题目的基准，用于在给定完整全局信息的条件下，评测决策模型对多个智能体如何协调其动作以通向共同目标所作的判断。
• 我们把候选协调方案之间的比较建立在执行与精确搜索之上，并使用成对测试来评估模型是否识别出所给选项省略了最优安排的情形。
• 我们表明，仅凭决策准确率会漏掉最优性验证中的系统性错误，并分析这些决策如何随短视界目标与长视界目标以及选项顺序而变化。

2 相关工作

##### 决策模型。

决策模型评测既涵盖个体选择，也涵盖智能体工作流之内的决策。JEVal 与 OpenDecisions 评估准确率、校准与推理效率（Duan et al., 2026；Geuter et al., 2026），而 DecisionRobust 与 DecisionPivot 分别考察对抗鲁棒性与受控的输入变化（Lan et al., 2026；Zhuang et al., 2026）。AgentBench 与 AgentBoard 通过任务成功与进展来评估序贯决策（Liu et al., 2024；Ma et al., 2024）；AgentDecisionBench 覆盖孤立选择、已记录的智能体状态以及在线控制（Zhu et al., 2026）。TandemBench 以联合团队方案作为决策单元，因此一次选择就为多名成员指定通向共同目标的动作。

##### 多智能体协作。

CoELA 与 RoCo 研究通信与协同执行，而 MultiAgentBench 与 PARTNR 在交互式设定中评估协作（Zhang et al., 2024；Mandi et al., 2024；Zhu et al., 2025；Chang et al., 2025）。CoordQA 与 RoCoBench-Text 通过静态问题评估协调选择与推理（Agashe et al., 2025；Mandi et al., 2024）。ParaCook 为抽象调度提供 CP-SAT 最优参照（Zhang et al., 2026），而 CoCoBench 在技能抽象下对照最优完工时间（makespan）评估协调（Chen et al., 2026）。TandemBench 建立在 Collab-Overcooked 的非对称烹饪环境之上（Sun et al., 2025）。它在完整全局信息下评估单个模型在可执行团队方案之中的选择，并使用来自同一状态的精确最优性参照。

##### 规划与验证。

规划基准评估方案生成，以及对动作、状态转移与约束的推理（Valmeekam et al., 2023；Kokel et al., 2025；Xie et al., 2024；Zheng et al., 2024）。方案最优性验证询问给定方案是否最优（Lin et al., 2024），而最优性证书提供可独立核验的证据（Dold et al., 2025）。DecisionPivot 使用受控对照来考察决策如何响应输入变化（Zhuang et al., 2026）。TandemBench 询问所给的任一联合团队方案是否达到状态最优。成对变体在保持状态与目标不变的前提下保留或移除最优方案，以检验模型判断是否跟随其是否在场。

3 多智能体协作决策

3.1 任务定义

单个决策模型接收完整的全局状态、环境规则、共同目标以及候选团队方案。每个候选为两名团队成员中的每一名指定一个动作程序。全局状态记录两名成员的配置、任务相关资源以及正在进行的过程。

这两个程序在环境规则下并发执行。它们的依赖关系与资源交接决定每名成员何时能够继续推进（图 1）。一个候选可以覆盖完整任务，也可以规定一个在最终目标之前结束的阶段。附录 A 说明执行语义。

3.2 决策目标

我们对照一个中间里程碑或最终任务目标来评估团队方案，二者分别称为短视界目标与长视界目标。完成代价以联合执行步数来度量。

##### 短视界目标。

我们统计步数，直到指定的中间里程碑首次被达到。

##### 长视界目标。

我们统计步数，直到最终目标被达到。若所规定的阶段在完成之前结束，则代价为其已执行步数，加上从所得状态出发的最少剩余步数。

两种目标设定都适用于团队方案决策与最优性验证。来自同一状态的短视界问题与长视界问题使用各自的执行协议，并可能具有不同的候选程序。附录 A.2 给出形式化定义。

图 3：TandemBench 的构造。我们选取具有实质后果的协调选择的场景，并构造候选团队方案。执行与精确搜索确立参考答案。保留或移除最优方案，即得到成对的验证问题。

图

3.3 最优决策

两项任务都使用状态最优：在指定目标与动作域下，从给定状态出发的任一合法联合执行的最小完成代价。

对于团队方案决策，模型在四个候选方案之中作出选择。恰好有一个达到状态最优，它就是正确答案。

方案最优性验证询问给定方案是否最优（Lin et al., 2024）。我们评估所给集合是否包含这样一个方案。每道验证题包含三个具体方案，以及第四个选项，该选项陈述：存在一个可行方案，能够以少于这三个方案的联合步数达成目标。该陈述为真，当且仅当所给方案中没有一个达到状态最优。

两项任务分开计分。决策准确率对最优的具体选择计分。验证准确率对更好方案这一陈述是否被正确接受或拒绝计分；任一有效的具体选择都计为拒绝。第 5 节定义这些指标，附录 A.2 给出形式化的决策准则。

4 TandemBench

我们从协调选择会影响任务完成的状态出发构造 TandemBench。备选团队方案使这些选择变得显式，执行与精确搜索确立它们的结果以及状态最优。每道经过核验的基础题都会产生保留或移除最优方案的成对变体（图 3）。

4.1 环境与任务

我们使用来自 Collab-Overcooked（Sun et al., 2025）的 30 个食谱任务。在这些任务中，一名厨师与一名助手在各自的厨房区域工作，对食材、器具与操作台的访问是非对称的。访问限制使某些动作依赖于另一名成员所供给的资源，而食谱依赖则约束动作顺序。自动加工允许准备工作与烹饪重叠（图 1）。携带上限与共享操作台的可用性约束交接的位置与时机。附录 A 给出执行规则。

4.2 场景选取

我们选取这样的状态：固定某一协调选择会改变所能达到的最佳完成代价。候选状态来自经过核验的最优交付轨迹，位于那些改变可用物料、加工状态或交接机会的事件处。执行前缀确立可达性。

在每个状态上，我们比较由同一名成员执行的两个必需事件的不同顺序，或一次必需交接的不同位置。精确搜索在每种选择的约束下确定最小交付代价，并优化其余全部动作。当两个可行选择被确立时，该状态即符合条件：其中一个达到状态最优，另一个则至少需要额外三个联合步。

我们在全部 30 个任务中选取 200 个符合条件的场景，优先覆盖事件排序、交接方向、比较家族与物料阶段。筛选使用最终交付目标，以及对单项协调选择的约束。具体候选程序针对短视界问题与长视界问题分别构造并评估。附录 B 中的算法 1 详述筛选与覆盖。

4.3 实例构造

每个场景提供一道短视界基础题和一道长视界基础题。从每道经过核验的基础题，我们导出一对最优性验证变体。

#### 4.3.1 问题构建

候选方案表达了协调同一团队以达成指定目标的不同方式。它们在工作顺序、交接位置、准备范围、工作重叠或等待条件上有所不同。例如，改变食材供应与器具准备的顺序，会影响加工何时可以开始，以及哪些工作可以重叠。交接选择还取决于成员的位置与台面是否可用。附录 A.3 给出了具体的候选描述与代价。

每个基础问题包含四个方案，其中至少三个可行，且恰好一个达到状态最优。多个可行备选要求比较那些能够完成目标的安排。我们力求纳入代价差距较小、但表达不同协调选择的备选。候选程序在短程目标与长程目标之间可能不同。

为构建验证对，我们在一个变体中移除最优方案，在另一个变体中移除一个预先确定的非最优方案。两者都加入同一条陈述：存在一个可行方案，能以比其余三个方案都更少的联合步数达成目标。状态、目标、执行规则以及保留的程序保持不变。由此得到的四选项对，支持比较最优缺失时的正确报告，以及最优存在时的误报。

#### 4.3.2 答案标注

候选执行记录所采取的步骤、目标达成情况以及所得状态。精确搜索确立状态最优，以及长程评估所需的任何最优续接。这些共同决定第 3 节所述目标下的候选代价。将候选代价与状态最优相匹配，即可确定正确的基础答案。在验证对中，当最优被保留时，更优方案陈述为假；当最优被移除时，该陈述为真。

未完成需要规定程序与协议下的证据；未决的搜索不提供答案标签。附录 B.2 详述候选验证与内容审阅。

4.4 基准统计

TandemBench 包含来自 30 项任务、200 个场景的 1,200 道问题：400 道团队方案决策，以及 800 个最优性验证变体。200 道短程问题与 200 道长程问题构成 200 对，共享初始状态。这些变体构成 400 对，每一对包含一道保留最优的问题与一道移除最优的问题。两类配对都源自相同的 200 个场景。两个评估维度分别计分，选项轮换不计为额外问题。

在 64 个场景中，短程问题与长程问题使用相同的候选程序，并保留相同的最优选择，从而支持跨目标与执行协议的比较。在 15 道长程问题中，某个可行备选比最优候选更早完成其规定阶段，但总完成代价更高。这些情形支持分析阶段长度与最终代价偏向不同方案时的选择。附录 B.3 报告相关食谱变体与程序的结构分组，并给出分组规则与完整计数。

5 实验与分析

表 1：40 个原生决策模型的 DA 与 VA（%），对四次选项轮换取平均。参数以十亿计；“26/4”表示总参数量／激活参数量。

表 2：五个 DA 最高的通用模型的 DA 与 VA（%）及平均输出长度。

图 4：最优性验证行为。（a）检出率与误报率。（b）最优方案被保留或被移除时的成对响应，顺序即此。“是”报告存在更优方案；“否”选择一个具体方案。

图

5.1 实验设置

TandemBench 使用英文输入。我们评估 40 个原生决策模型，并报告来自 10 个通用语言模型的参照结果。根据计分策略，这些模型的未决答案计为不正确。每个通用模型在问题、选项轮换与采样上共贡献 19,200 条输出。

每道问题在四种循环选项轮换下评估，因此每个候选都在每个位置上出现一次。原生决策模型每次轮换产生一条响应，通用模型产生四条。每条响应单独计分，不进行投票。模型使用其原生的决策或生成接口；附录 C 详述推理模式与采样参数。

决策准确率（DA）衡量对最优具体方案的选择。验证准确率（VA）对最优被移除时的正确检出率与最优被保留时的正确拒绝率取平均。任何有效的具体方案选择都计为拒绝更优方案陈述。无效或被截断的响应在两项指标上均计为不正确。均匀选择选项得到 25% 的 DA 与 50% 的 VA。附录 D 给出指标公式。

5.2 总体表现

原生决策模型的团队方案决策准确率差异很大，从 15.44% 到 62.50%（表 1）。它们的验证准确率仍接近随机水平，范围为 45.94% 到 56.28%。

决策准确率最高的模型 KnowLine 并未在验证上领先：D3-Ultra 尽管 DA 更低，却取得了最高的 VA。因此，仅凭方案选择准确率，并不能反映模型判断所给选项之外是否存在更好安排的能力。

在通用模型中（表 2；附录 D.2），Qwen3.8-27B 以 82.80% 的 DA 与 71.88% 的 VA 领先。

5.3 最优性验证

许多模型无论最优方案存在与否，都以相近的比率报告存在更优方案（图 4（a））。Tacit-2B 检出了 98.38% 的最优缺失情形，但在 97.88% 的最优存在情形中也产生了误报。

成对响应呈现两种反复出现的模式：一些模型在两个变体中都报告存在更优方案，而另一些模型在两个变体中都选择具体方案（图 4（b））。两种模式都在一种条件下产生正确判断，在另一种条件下产生错误判断。

更优方案概率对两种条件的区分也很弱：在原生模型上，AUROC 的中位数为 0.537，最大值为 0.598（附录 G）。

图 5：候选程序相同、但目标与执行规则不同时的短程与长程 DA。展示每个模型族中总体 DA 最高的三个模型。变化量为长程减去短程，单位为百分点。

图

图 6：对选项顺序的敏感度。（a）四次轮换上的 DA 极差；条形标出组中位数。（b）DA 与选择一致性，即在全部轮换中选择同一底层方案的问题所占百分比。通用模型的分数对每次轮换的四个样本取平均，并包含采样变异。

图

5.4 短程与长程目标

我们比较 64 对匹配问题。它们共享初始状态、候选程序与最优选择，但目标与执行规则不同。

在原生决策模型上，平均 DA 从短程目标的 49.58% 降至长程目标的 46.75%，尽管个别模型有所不同（图 5）。完整的模型级结果见附录 E.2。

更早完成阶段可能给团队留下更多工作。附录 E 报告各模型在 15 道长程问题上的选择：某个备选更早完成其规定阶段，但需要更多联合步数才能达成最终目标。

5.5 位置敏感度

我们将位置敏感度衡量为一个模型在四次选项轮换中最高准确率与最低准确率之差。原生模型极差的中位数为 10.38 个百分点，表明选项顺序会影响测得的准确率（图 6（a））。

选择一致性衡量同一底层方案在全部四次轮换中被选中的频率（图 6（b））。尽管 DA 仅为 15.44%，CLM 仍在 92.00% 的问题中选择同一方案。因此，稳定的选择仍可能始终不正确。

6 结论

TandemBench 评估决策模型在涉及任务依赖、资源交接与并行工作的团队方案上的表现。执行与精确搜索确立参照答案，而成对候选集检验模型能否识别出所给选项之外存在更好的安排。原生决策模型在方案选择准确率上差异很大，但它们关于更优备选的报告往往无法区分最优方案是否存在。表现也会随目标设定与选项顺序而变化。因此，TandemBench 支持同时评估所选团队方案、以及对可用备选所作判断的比较。

局限性

我们的发现涉及在一个厨房中、具备全局信息的两名智能体的团队方案决策。各问题共享场景，且不同模型的推理预算并不相同。

参考文献

• S. Agashe, Y. Fan, A. Reyna, and X. E. Wang

LLM-coordination：评测并分析大语言模型中的多智能体协调能力。

载于 Findings of the Association for Computational Linguistics: NAACL 2025，

第 8053–8072 页。

外部链接：文档（https://dx.doi.org/10.18653/v1/2025.findings-naacl.448）， 链接（https://aclanthology.org/2025.findings-naacl.448/）

被引于：§2。

• M. Chang, G. Chhablani, A. Clegg, M. Dallaire Cote, R. Desai, M. Hlavac, V. Karashchuk, J. Krantz, R. Mottaghi, P. Parashar, S. Patki, I. Prasad, X. Puig, A. Rai, R. Ramrakhya, D. Tran, J. Truong, J. Turner, E. Undersander, and T. Yang

PARTNR：面向具身多智能体任务中规划与推理的基准。

载于 International Conference on Learning Representations，

外部链接：链接（https://proceedings.iclr.cc/paper_files/paper/2025/hash/a3cf318fbeec1126da21e9185ae9908c-Abstract-Conference.html）

被引于：§2。

• Y. Chen, Y. Xie, L. Che, D. Peng, Y. Yang, P. Lin, X. Cao, C. Wang, L. Yuan, J. Su, and L. Guo

CoCoBench：面向具身多智能体任务规划的协作协调基准。

外部链接：2608.28266， 链接（https://arxiv.org/abs/2608.28266v1）

被引于：§2。

• S. Dold, M. Helmert, J. Nordström, G. Röger, and T. Schindler

面向最优经典规划的伪布尔证明日志。

外部链接：2504.18443， 链接（https://arxiv.org/abs/2504.18443）

被引于：§2。

• F. Duan, J. Lin, J. Wang, J. Xiang, J. Wu, X. Zhang, H. Yan, S. Wang, and Z. Wei

通用决策模型：Jev 之外的基准评测与洞见。

说明：第 2 版，2026 年 10 月 12 日

外部链接：2610.03935， 链接（https://arxiv.org/abs/2610.03935v2）

被引于：§1， §1， §2。

• J. Geuter, A. Cheng, and D. Alvarez-Melis

释放内在的 Jev：开放决策模型的一套简单做法。

说明：第 1 版，2026 年 10 月 12 日

外部链接：2610.17205， 链接（https://arxiv.org/abs/2610.17205v1）

被引于：§1， §2。

• H. Kokel, M. Katz, K. Srinivas, and S. Sohrabi

ACPBench：关于动作、变化与规划的推理。

载于 Proceedings of the AAAI Conference on Artificial Intelligence，

第 39 卷，第 26559–26568 页。

外部链接：文档（https://dx.doi.org/10.1609/aaai.v39i25.34857）， 链接（https://ojs.aaai.org/index.php/AAAI/article/view/34857）

被引于：§2。

• Y. Lan, Z. Liu, Y. Chang, H. Wang, Y. Du, L. Lin, and J. Chen

DecisionRobust：跨文本与视觉评测 JEV 风格决策模型的鲁棒性。

说明：第 1 版，2026 年 10 月 13 日

外部链接：2610.19118， 链接（https://arxiv.org/abs/2610.19118v1）

被引于：§1， §2。

• S. Lin, C. Olz, M. Helmert, and P. Bercher

论方案验证、（有界）方案最优性验证与有界方案存在性的计算复杂度。

载于 Proceedings of the AAAI Conference on Artificial Intelligence，

第 38 卷，第 20203–20211 页。

外部链接：文档（https://dx.doi.org/10.1609/aaai.v38i18.30000）

被引于：§2， §3.3。

• X. Liu, H. Yu, H. Zhang, Y. Xu, X. Lei, H. Lai, Y. Gu, H. Ding, K. Men, K. Yang, S. Zhang, X. Deng, A. Zeng, Z. Du, C. Zhang, S. Shen, T. Zhang, Y. Su, H. Sun, M. Huang, Y. Dong, and J. Tang

AgentBench：把大语言模型作为智能体来评测。

载于 International Conference on Learning Representations，

外部链接：链接（https://proceedings.iclr.cc/paper_files/paper/2024/hash/e9df36b21ff4ee211a8b71ee8b7e9f57-Abstract-Conference.html）

被引于：§2。

• C. Ma, J. Zhang, Z. Zhu, C. Yang, Y. Yang, Y. Jin, Z. Lan, L. Kong, and J. He

AgentBoard：多轮大语言模型智能体的分析性评测板。

载于 Advances in Neural Information Processing Systems，

第 37 卷。

外部链接：链接（https://proceedings.nips.cc/paper_files/paper/2024/hash/877b40688e330a0e2a3fc24084208dfa-Abstract-Datasets_and_Benchmarks_Track.html）

被引于：§2。

• Z. Mandi, S. Jain, and S. Song

RoCo：借助大语言模型的辩证式多机器人协作。

载于 IEEE International Conference on Robotics and Automation，

外部链接：2307.04738， 链接（https://arxiv.org/abs/2307.04738）

被引于：§2。

• H. Sun, S. Zhang, L. Niu, L. Ren, H. Xu, H. Fu, F. Zhao, C. Yuan, and X. Wang

Collab-Overcooked：把大语言模型作为协作智能体来基准评测。

载于 Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing，

第 4922–4951 页。

外部链接：文档（https://dx.doi.org/10.18653/v1/2025.emnlp-main.249）， 链接（https://aclanthology.org/2025.emnlp-main.249/）

被引于：§1， §2， §4.1。

• K. Valmeekam, M. Marquez, A. Olmo, S. Sreedharan, and S. Kambhampati

PlanBench：评测大语言模型在规划及关于变化的推理上的可扩展基准。

载于 Advances in Neural Information Processing Systems，

第 36 卷。

外部链接：链接（https://proceedings.nips.cc/paper_files/paper/2023/hash/7a92bcdede88c7afd108072faf5485c8-Abstract-Datasets_and_Benchmarks.html）

被引于：§2。

• J. Xie, K. Zhang, J. Chen, T. Zhu, R. Lou, Y. Tian, Y. Xiao, and Y. Su

TravelPlanner：面向语言智能体真实世界规划的基准。

载于 Proceedings of the 41st International Conference on Machine Learning，

Proceedings of Machine Learning Research，第 235 卷，第 54590–54613 页。

外部链接：链接（https://proceedings.mlr.press/v235/xie24j.html）

被引于：§2。

• H. Zhang, W. Du, J. Shan, Q. Zhou, Y. Du, J. B. Tenenbaum, T. Shu, and C. Gan

用大语言模型模块化地构建协作式具身智能体。

载于 International Conference on Learning Representations，

外部链接：2307.02485， 链接（https://arxiv.org/abs/2307.02485）

被引于：§2。

• S. Zhang, X. Ma, Y. Xu, Z. Cao, P. Lu, H. Yuan, T. Shen, Z. Zhang, H. Zhao, and M. Yang

ParaCook：论多智能体系统的时间高效规划。

载于 Findings of the Association for Computational Linguistics: ACL 2026，

第 27683–27701 页。

外部链接：文档（https://dx.doi.org/10.18653/v1/2026.findings-acl.1378）， 链接（https://aclanthology.org/2026.findings-acl.1378/）

被引于：§2。

• H. S. Zheng, S. Mishra, H. Zhang, X. Chen, M. Chen, A. Nova, L. Hou, H. Cheng, Q. V. Le, E. H. Chi, and D. Zhou

NATURAL PLAN：在自然语言规划上基准评测大语言模型。

外部链接：2406.04520， 链接（https://arxiv.org/abs/2406.04520）

被引于：§2。

• K. Zhu, H. Du, Z. Hong, X. Yang, S. Guo, Z. Wang, Z. Wang, C. Qian, X. Tang, H. Ji, and J. You

MultiAgentBench：评测大语言模型智能体的协作与竞争。

载于 Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)，W. Che, J. Nabende, E. Shutova, and M. T. Pilehvar（编），

奥地利维也纳，第 8580–8622 页。

外部链接：链接（https://aclanthology.org/2025.acl-long.421/）， 文档（https://dx.doi.org/10.18653/v1/2025.acl-long.421）， ISBN 979-8-89176-251-0

被引于：§2。

• K. Zhu, T. Feng, X. Han, H. Wang, L. Yang, X. Tang, J. You, and H. Ji

JevAgentHarness：对与大语言模型共享控制的决策模型进行基准评测、部署与训练。

说明：第 1 版，2026 年 10 月 15 日

外部链接：2610.21412， 链接（https://arxiv.org/abs/2610.21412v1）

被引于：§1， §2。

• X. Zhuang, M. Lei, Z. Su, R. Liu, J. Li, P. Ma, J. Pan, N. Wong, G. Chen, and C. Kuo

DecisionPivot：大语言模型系统中决策模型的诊断基准。

说明：第 1 版，2026 年 10 月 20 日

外部链接：2610.28522， 链接（https://arxiv.org/abs/2610.28522v1）

被引于：§1， §2， §2。

附录

附录 A 执行与决策准则

A.1 执行规则

每一联合步依次处理厨师交互、助手交互、移动，然后是器具加工。加工包含其起始步；成品等待取回。等待在步的边界处检查。助手交互可以取回厨师在同一步放置的物品；显式等待则不能。

领域定义角色权限、取回以及台面访问。规范的加工链领域允许在加工开始之前取回，以及装盘成品的转移。搜索记录要求状态、目标、领域与执行规则相匹配。

A.2 依赖于目标的代价

设 $s_{t}^{p}$ 为方案 $p=(p^{(1)},p^{(2)})$ 经过 $t$ 个联合步之后的状态，$V_{g}^{*}(s;\mathcal{D})$ 为在领域 $\mathcal{D}$ 中达到目标 $g$ 的最小合法代价。短程代价在中间目标处停止：

$$ C_{\mathrm{S}}(s,p)=\min\{t\geq 0:g_{\mathrm{S}}(s_{t}^{p})=1\}. $$

（1）

若两个程序都在最终交付之前于步 $\tau_{p}$ 完成，则长程代价包含最优延续：

$$ C_{\mathrm{L}}(s,p)=\tau_{p}+V_{g_{\mathrm{L}}}^{*}(s_{\tau_{p}}^{p};\mathcal{D}). $$

（2）

若交付发生在规定阶段之内，则改用其首次命中时间。成员在其程序结束后保持空闲，而器具则每一步继续推进。在此协议下无法完成的方案具有 $C_{g}=+\infty$，即便放弃它本可允许恢复。

对四个基础候选而言，$i^{}=\operatorname{arg\,min}_{i\in\{1,2,3,4\}}C_{g}(s,p_{i})$ 是唯一的，且满足

$$ C_{g}(s,p_{i^{}})=V_{g}^{}(s;\mathcal{D}). $$

（3）

状态最优性的范围涵盖所有合法联合执行，并且要求在所提供的候选中唯一。对三个保留方案 $\mathcal{P}^{\prime}$，更优方案这一陈述恰好在以下条件成立时为真

$$ \min_{p\in\mathcal{P}^{\prime}}C_{g}(s,p)>V_{g}^{*}(s;\mathcal{D}). $$

（4）

A.3 具体示例

在长程 point024 示例（芋头–豆–甜椒派）中，B 达到 13 步最优；C 更早结束其阶段，但总体上需要 15 步（表 3）。输入包含完整程序而不含代价；图 1 是示意图。

表 3：以联合步计的长程方案代价。阶段是规定程序的代价；剩余是最优延续代价。粗体标出最小总计。

附录 B 构建与数据集细节

B.1 情景筛选

算法 1 选取如下状态：即使所有剩余动作都已优化，协同选择仍会影响完成代价。约束 $c$ 固定某一成员对两个必需事件的顺序，或一次必需交接的位置。针对同一批事件的备选构成一个比较族。在所有剩余动作均已优化的条件下，其代价惩罚为

$$ \Delta(s,c)=J(s,c)-V_{g_{\mathrm{L}}}^{*}(s;\mathcal{D}). $$

（5）

其中 $J(s,c)$ 是受约束的最优交付代价。一个被考察的族必须包含两个已被证明可行的选择，满足

$$ \Delta(s,c^{+})=0,\qquad\Delta(s,c^{-})\geq 3. $$

（6）

算法 1 情景选择

状态依据位置、朝向、携带物品、物料位置以及加工进度进行匹配。至多八个比较族在依赖深度 1–3 上交替使用成员特定的事件顺序以及两种交接方向。备选在代价查询之前即已固定。

分组保留任务、领域、目标、比较族、备选、可行性、惩罚，以及相对于搭档事件的时序。物料与加工进度在其间的轨迹状态中保持不变；位置可以变化。代表状态是距离已认证分歧最近的状态，并以更早的轨迹位置打破平局。

B.2 覆盖与候选核验

对代表状态 $S_{i}$ 与最优轨迹长度 $T_{i}$，任务容量为

$$ b_{i}=\min\bigl(|S_{i}|,\lfloor T_{i}/3\rfloor\bigr). $$

（7）

容量限制的是计数，而不是间距。每个任务获得一个情景；其余 170 个按与 $b_{i}-1$ 成比例的最大余数法分配，平局时按任务 ID 决定。覆盖依次优先事件排序或交接方向、族与最优安排集的组合，然后是物料阶段。键包含全部最优安排；仅加工进度本身并不定义一个阶段。

平局依次采用轨迹距离、邻近等级、更早位置，然后是候选 ID。等级按已认证公共最优前缀的长度为 0、1、2 或 $\geq 3$ 步来排序，其后是未知与未计算情形。来源级别 L1–L6 分别贡献 10、5、40、35、50 和 60 个情景；它们是食谱复杂度标签，而不是经过校准的题目难度。

基础题包含一个唯一的状态最优方案，以及至少两个可行备选。次优差距对短目标至少为一个联合步，对长目标至少为两个联合步；短目标的对照作用于首次达成之前。理由把状态事实和程序差异与执行结果联系起来。并行性标签要求彼此不同的有效作业重叠。

B.3 数据集构成

表 4 区分题目、情景与结构。在 200 个跨目标配对中，64 个共享程序与最优方案；136 个使用不同的程序。规范化替换食材／成品名称，同时保留依赖关系、状态、程序、目标与领域。

表 4：数据集构成。候选数与可行性计数覆盖基础题；规范化结构覆盖基础题以及短程／长程配对。选项轮换不会产生额外题目。

公开发布的数据集为 tandembench-en-v1.0.0。原始金标准位置 A–D 分别包含 200、69、62 和 69 道题；循环轮换使各位置平衡。

附录 C 模型与推理协议

##### 原生接口。

模型保留原生输入与读出方式：Tacit 推理；Vega/Lux/Kai/Nox 采用 Decision-2；CLM 的预测头与最后 token 池化；Laya 的状态输入与短标签；KnowLine 的 read_twice；以及 GLiDE 的非因果文本接口。Mammoth、PPLX 与 D3 保留校准；StartLux 使用 Instant 推理。MeTask-Rain-31B 使用 W4A16，并配合未合并的 LoRA、路由与校准。

##### 权重与推理。

H2O-Lightning-31B 与 deck31b 使用 BF16；René 使用反量化至 BF16 的 FP8。H2O 禁用在线 FP8 量化。D3 的规模由 26.09B 四舍五入到 27B；Wald 列出总参数／激活参数。Muse-Glimmer-30B 使用低推理，所评测的 Qwen 设定关闭思考。

##### 回答计分。

被截断的、缺少选项的以及多选的输出都计为不正确。

附录 D 评测指标与完整结果

D.1 覆盖与计分

表 5：十个通用模型的 DA 与 VA（%）以及平均输出长度，按 DA 排序。未能解析的回答计为不正确；阴影标出前三名，粗体标出每一指标中的最佳分数。

对于 $N$ 道题，决策准确率（下文记作 $\mathrm{Acc}_{4,S}$）把稳定的候选 ID $\hat{i}_{qrs}$ 与金标准 $i_{q}^{*}$ 相比较：

$$ \mathrm{Acc}_{4,S}=\frac{1}{4SN}\sum_{q=1}^{N}\sum_{r=0}^{3}\sum_{s=1}^{S}\mathbb{I}[\hat{i}_{qrs}=i_{q}^{*}]. $$

（8）

每个模型贡献 1,600 条原生基础输出，或 6,400 条通用模型基础输出。均匀选择或固定的展示字母得到 25% 的 DA。截断、缺少选项、多选以及基础设施故障的输出计为不正确，并另行记录。

核验使用 800 个成对变体。当最优方案被移除时，报告存在更优方案记为 TP；当最优方案被保留时，选择任一有效的具体方案记为 TN：

$$ \mathrm{VA}=\frac{1}{2}\left(\frac{\mathrm{TP}}{N_{\mathrm{remove}}}+\frac{\mathrm{TN}}{N_{\mathrm{retain}}}\right). $$

（9）

VA 是平衡的二分类准确率；在各组规模相等时，它也是合并的判断准确率。无效回答既不计为 TP，也不计为 TN。均匀选择、始终报告，或始终选择某个具体方案，得到 50% 的 VA。TN 并不要求选中所保留方案中的最优者。

D.2 完整模型比较

表 5 报告在英文输入上接受评测的十个通用模型的结果。

D.3 解释范围

该基准评测的是依据完整全局信息作出的集中式方案决策；它不测试通信，也不测试对独立搭档的适应。选项轮换平衡了答案位置，而程序长度与等待模式仍然是可观察的线索。模型使用各自的原生接口与推理预算，因此结果是在各自协议下对所评测系统进行比较。

附录 E 代价与目标比较

E.1 决策代价与选择稳定性

图 7 覆盖 40 个原生模型与 10 个通用模型；表 6 列出六个原生模型。对于可行选择，遗憾为

$$ R_{q}=C_{g_{q}}(s_{q},p_{\hat{i}_{q}})-V_{g_{q}}^{*}(s_{q};\mathcal{D}_{q}). $$

（10）

遗憾将最优选择计为零。可行率、未完成率与无效率使用全部输出，三者之和为一。含有不可完成候选的 246 道题，其暴露次数为 984（$S=1$）或 3,936（$S=4$）。

图 7：所选方案的执行后果。左：在可行选择中，高出状态最优的平均额外联合步数。右：全部输出中选择不可完成方案的百分比；无效回答单独构成一类。

图

表 6：执行结果与选择稳定性。遗憾是可行选择中的平均额外联合步数。一致性是在所有轮换中选择同一方案的题目所占百分比；极差是各轮换 DA 的最大值减去最小值。

##### 位置敏感性。

对于通用模型，对每个位置的四个样本取平均，得到 DA 极差的中位数为 7.34 个点。先对每个模型的四个样本内极差取平均，再在模型之间取中位数，得到 8.47 个点。一致性在每一个样本索引之内，追踪各轮换中的同一候选。二者都包含生成随机性（图 6；表 6）。

E.2 目标比较

图 8 比较 64 个配对，它们共享初始状态、程序与最优选择，但目标与执行规则不同。40 个原生模型的短程／长程平均 DA 为 49.58/46.75%，10 个通用模型为 56.68/48.04%，各模型权重相等。

表 7：DA 与快阶段选择率（%）。同方案各列比较程序相同条件下的短目标与长目标。冲突各列覆盖另一个集合：在该集合中，更早结束阶段可能需要更多的总步数；快阶段选择是选择此类备选的比率。

图 8：候选程序相同、但目标与执行规则不同时的短程与长程 DA。模型在每一个族内按长程 DA 从高到低排列。

图

一个与之不相交的、由 15 道长程题构成的集合，提供满足 $\tau_{i}<\tau_{i^{}}$ 但 $C_{\mathrm{L}}(s,p_{i})>C_{\mathrm{L}}(s,p_{i^{}})$ 的可行备选。表 7 报告它们的 DA 与选择率。Basal 在 22/60 次呈现中选择这些更早完成、但总代价更高的备选；Qwen3.8-27B 则为 13/240，其中包括轮换与样本。

附录 F 协作组别分析

图 9 比较五个原生模型在相互重叠的协作组别上的表现，这些组别由候选标签的并集定义。

图 9：各协作组别的决策准确率（%）。颜色较深的单元格表示准确率较高。一道题目可能属于不止一个组别。

图

图 10：更好方案概率。（a）AUROC 对平均偏移，按 VA 着色。（b）报告两次的配对的偏移；箱体表示四分位数，中央线条表示中位数。（c）按轮换划分的 AUROC。偏移为移除减去保留，单位为百分点。

图

工作顺序涵盖加工／供应顺序（300 道题目，156 个情景）；交接涵盖转移地点／条件（376，188）；并行工作涵盖生产性重叠（355，182）；资源约束涵盖携带／柜台容量（141，77）。这些标签捕捉预期的协作对照。由于组别可能重叠，且在任务与目标构成上有所不同，其分数描述的是这些子集上的表现，而不是孤立的机制效应。

附录 G 概率分析

图 10 使用 128,000 条输出：40 个模型、400 个配对、四次轮换。概率按选项字母或文本对齐，在 $10^{-4}$ 的舍入容差内校正总和，并排除界面特定的置信度字段。

AUROC 按更好方案概率，对移除最优样例相对于保留最优样例进行排序，平局记半分。中位数／最大 AUROC 为 0.537/0.598（GLiDE）；Basal 得分为 0.520。

分面（a）对全部配对取平均。对于（b）中报告两次的配对，平均偏移为：Basal 为 +3.26 点（240 个配对），PPLX 为 +2.05（504），Tacit-2B 为 +0.55（1,557）。图 4（b）给出无条件选择。

附录 H 任务加权

##### 任务加权与不确定性。

表 8：两种加权方案下的决策准确率（%）。题目加权对题目赋予相等权重；任务宏平均对任务级准确率进行等权平均。

在对每道题目的四次轮换取平均之后，我们对两个目标均被保留的 200 个情景进行自助抽样（10,000 次重复；种子 20261027）。KnowLine 减去 Basal 为 1.75 点：百分位 95% 区间为 [-1.56, 5.00]，在对 30 个任务重抽样时则为 [-2.10, 5.56]。区间以已记录的运行为条件；结构 ID 记录了进一步的跨情景关系。