Async-RBench：评测大语言模型智能体中的异步任务执行

Async-RBench：评测大语言模型智能体中的异步任务执行

Detao Zeng、Guilin Ou、Nuo Chen、Yunhao Feng、Hongliang Wang、Qinli Yang、Junming Shao、Zhong Zhang。作者单位为电子科技大学。联系邮箱为 zengdetao8@gmail.com，以及 {junmshao, zhong.zhang}@uestc.edu.cn。标注为通讯作者。姓名、邮箱与单位均按原文保留，脚注标明通讯作者。

摘要

大语言模型（LLM）智能体越来越多地异步执行任务：主智能体在子智能体运行期间继续工作，任务状态可能在结果到达之前就已经改变。主智能体必须决定哪些工作要更新、哪些要保留、哪些检查要重做，同时避免被禁止的改动。仅看最终任务是否成功，并不能揭示这些结果是否被正确处理；自然发生的异步到达也难以复现。我们提出 Async-RBench，一个面向大语言模型智能体异步任务执行的基准，包含 200 个可执行任务，覆盖八种场景。场景控制器按预先定义的任务状态条件调节结果交付，事件响应契约（Event Response Contract，ERC）则规定每次响应必须改变什么、保留什么、避免什么、重新核验什么。动态重规划分数（Dynamic Replanning Score，DRS）对响应过程与结果等权，并与任务成功分开报告。我们评测九个智能体，DRS 为 19.2–45.1，最低分出现在重复报告和子智能体失败上。在我们的执行协议下，九个智能体在异步交付下的任务成功率都低于批量交付（平均 26.0% 对 29.7%）。对三个智能体，提示主智能体在每个结果之后重建计划，DRS 只提高 2.6–3.5 分。这些发现共同指出可靠异步任务执行的困难，也说明需要在端到端任务成功之外，评测智能体如何处理陆续到达的结果。数据与代码见：https://pope8zdt.github.io/Async-RBench

1 引言

主–子智能体架构在大语言模型智能体中越来越常见：主智能体分解任务，把子任务委托给子智能体，再整合它们的结果（Fourney et al., 2024; Masters et al., 2025）。子智能体可以带着各自的上下文、专门角色（Hong et al., 2024; Qian et al., 2024; Li et al., 2023）、工具和指令运行（Wu et al., 2024; Gao et al., 2024），Claude Code 与 Codex 等生产级编码智能体也内置了子智能体支持（Anthropic, n.d.; OpenAI, n.d.）。主智能体不必闲等到每个子智能体结束，而可以继续工作，并在结果到达时异步消费它们。我们把执行过程中的这种到达称为异步中断。

图 1：仓库修复任务中的一次延迟权威中断。闪电标记子智能体结果抵达主智能体，黄框标记主智能体的响应。右侧面板把正确响应与一种示意性失败对照。

任务状态可能在子智能体启动与其结果到达之间发生变化（Ginart et al., 2024; Yang et al., 2026）。结果到达时，主智能体可能已经承诺了某个计划、写好了产物或跑完了验证，而正确响应取决于该结果与这一状态的关系。迟到的权威结果必须被采纳，并可能使更早的工作失效。过时或重复的报告可能要求保持有效工作不变，并避免重复的副作用。若子智能体失败，主智能体必须恢复受影响的子任务，同时保留其他子任务上的有效工作（Geng & Chang, 2025）。在图 1 中，子智能体 B 的清理在子智能体 A 报告测试通过之后改变了代码库，因此 A 的报告不再核验该仓库，尽管没有任何消息把它标成过时。正确响应意味着把补丁适配到新的基线上，保留 C 的服务器设置，并重跑受影响的测试；沿用 A 的报告会让新的发布未被核验。正确响应要做出子智能体结果所要求的改动，保留有效进展，避免被禁止的副作用，并执行所要求的验证。正确性既要求做出必要的改动，也要求避免不必要的改动。这些错误的代价并不对称：忽略一个使早前工作失效的结果，会留下智能体自己的证据不再支持的产物；而重建结果并不影响的工作，则会重复副作用、丢弃已核验的产物，并消耗剩余任务仍然需要的调用。

现有基准并不隔离这一能力。对可中断、动态和多智能体系统的评测，通过用户指令（Zou et al., 2026; Rana et al., 2025; Wu et al., 2026）、环境事件（Froger et al., 2026; Ji et al., 2026）、被打断的执行（Gulati, 2026; KC & Budathoki, 2026），或工具与委托失败（Zhu et al., 2026; Chen et al., 2026c）注入扰动，其中大多数会明确表示有某件事必须处理。子智能体的结果未必明确指出早前工作已经失效。主智能体必须评估结果的有效性、新旧和范围，才能决定已有工作是否需要改变。最接近的基准包含子智能体报告，但既不规定逐事件的响应要求，也不把事件响应与任务成功分开（Xiong et al., 2026）。评测还有两重障碍。第一，仅看最终任务成功，无法把正确的事件处理与任务其他部分的成功或失败区分开。智能体可能正确处理了事件，却未满足另一项要求；也可能尽管重复了副作用，仍通过最终检查。第二，异步执行是非确定的。子智能体结果可能在不可预测的时刻到达主智能体，使跨运行、跨智能体的响应难以比较。

我们提出 Async-RBench，一个面向大语言模型智能体异步任务执行的基准，含 200 个可执行任务，改编自 Terminal-Bench、Gaia2、OSWorld、SWE-bench 和 MultiAgentBench（Merrill et al., 2026; Froger et al., 2026; Xie et al., 2024; Jimenez et al., 2024; Zhu et al., 2025a）。任务均匀覆盖八种中断场景，从延迟的权威结果、过时更新，到重复报告和子智能体失败（表 2）。子智能体在隔离工作区中并发执行。场景控制器缓冲结果并施加因案例而异的释放条件，并以最长持有回退避免死锁。因此，每个任务的目标事件是在设计好的前提条件下到达主智能体，而不是按自然时序到达（图 2）。每个目标事件有一份仅评测方可见的事件响应契约（ERC）。它规定必须做出的改动、应保留的有效工作、被禁止的副作用、验证证据和期望结果，而不规定唯一的动作序列。动态重规划分数（DRS）对响应过程与事件结果等权，并与端到端任务成功 S 分开报告。

我们评测九个智能体并报告三项发现：（1）处理异步结果仍然困难。总体 DRS 从 19.2 到 45.1，场景均值最低的是重复与重放（8.6）和子智能体失败（12.2）。（2）异步交付下任务成功率更低。在我们的执行协议下，九个智能体在异步交付下的任务成功率估计都低于批量交付（平均 26.0% 对 29.7%），其中八个消耗更多 token。挑选出的成对轨迹说明 Async 下的两种失败形态：主智能体在整合必需产物之前就终止，或在检查底层任务证据之前就按假设行动。（3）强制重建计划收益有限。Full-rebuild 提示主智能体在每个子智能体结果之后重建剩余计划。对被评测的三个智能体，它只把 DRS 提高 2.6–3.5 分，同时使模型调用增加 7.5–10.2%。这些发现共同说明可靠异步任务执行的难度。通过把事件响应与端到端任务成功分开评测，Async-RBench 为在这一设定下比较智能体、评估改进提供了基础。

2 相关工作

表 1：与相关基准的比较。异步交付：子智能体结果在主智能体继续执行时到达。事件后检查：事件之后被评测的行为。逐事件评分：每次事件响应与端到端任务成功分开计分。✓ 表示明确具备；空白表示部分相关或未标明；✗ 表示没有明确设计。

上表各行依次为：Gaia2 的中断来自环境或工具，没有异步交付；Robotouille 的中断是延迟与状态变化；MultiAgentBench 是合作或竞争；InterruptBench 是需求变化；ToolMaze 是工具失败；OrchestraBench 是委托失败；ClawArena-Team 是工作区更新，并明确有异步交付；本文的中断是子智能体结果，七项检查都明确具备。空白单元格沿原文保留，表示部分相关或原文未标明。

#### 智能体基准。

许多智能体基准给出一个任务并强调任务级结果，覆盖一般助理（Liu et al., 2024; Mialon et al., 2024）、网页与移动界面（Zhou et al., 2024; Koh et al., 2024; Drouin et al., 2024; Rawles et al., 2025）、带用户的工具使用（Yao et al., 2024; Barres et al., 2025; Chen et al., 2026a），以及长上下文或基于 MCP 的工作流（Li et al., 2026; Luo et al., 2025）。多智能体基准把这一点扩展到智能体之间的协作与竞争（Zhu et al., 2025a），以及在确定性仿真中评测的编排计划（Ren et al., 2026）。另一些基准提供互补检查。AgentBoard 度量中间进展（Ma et al., 2024），ToolSandbox 沿轨迹检查里程碑（Lu et al., 2024），AppWorld 检查非预期的状态变化（Trivedi et al., 2024），近期工作则考察腐坏的成功、沉默失败和过程级缺陷（Cao et al., 2026; Advani, 2026; He et al., 2026）。这些检查提供进展、状态完整性或过程质量的度量。另一条相关工作在事后诊断失败，按原因标注轨迹，并把每次失败归因到运行首次偏离有效解的那一步（Cemri et al., 2025; Zhu et al., 2025b; Barke et al., 2026; Chen et al., 2026b）。Async-RBench 则针对为该事件写成的 ERC，对每个目标事件的响应评分，并把 DRS 与任务成功分开报告。

#### 异步执行与中断。

多智能体框架给不同智能体以不同角色和对话上下文（Hong et al., 2024; Qian et al., 2024; Li et al., 2023; Wu et al., 2024; Gao et al., 2024），Magentic-One 使用一个编排者来做计划、跟踪进展，并重规划以从错误中恢复（Fourney et al., 2024）。Masters et al. (2025) 把管理者智能体的这种编排表述为一个统一的研究挑战。ReAct 等单智能体循环把推理和动作与来自环境的观察交错进行（Yao et al., 2023）。LLMCompiler 在依赖被解析后并行分发工具调用，把输出传给依赖它们的调用，并通过把中间结果送回规划器来重规划（Kim et al., 2024）。在基准一侧，Gaia2 在时间约束下、于独立演化的环境中评测智能体（Froger et al., 2026），Robotouille 研究执行延迟下的异步规划（Gonzalez-Pumariega et al., 2025），ClawArena 与 SentinelBench 覆盖演化中的信息和长时间监控（Ji et al., 2026; Maldaner et al., 2026）。其他工作研究用户需求变化（Zou et al., 2026; Rana et al., 2025）、推理期间的中断（Wu et al., 2026）、暂停或移交的执行（Gulati, 2026; KC & Budathoki, 2026），或注入的工具与委托失败（Zhu et al., 2026; Chen et al., 2026c），HANDRAISER 则学习智能体何时应打断同伴（Wang et al., 2026）。AgentChangeBench 也报告偏移级别的恢复指标（Rana et al., 2025）。子智能体结果本身不必要求改变计划。它可能是权威的、过时的、重复的或部分的，正确响应也可能是保持已有工作不变。最接近的基准 ClawArena-Team 评测主智能体如何向固定的子智能体池委托、分配权限并整合结果（Xiong et al., 2026），但它不为每个子智能体结果事件定义单独的响应契约。表 1 比较它们的事件来源、交付设定、事件后检查，以及是否使用逐事件评分。

3 Async-RBench

图 2：Async-RBench 概览。子智能体 A–C 在各自工作区中并发运行，主智能体继续工作。场景控制器检查已提交的结果并施加因案例而异的释放条件，带有最长持有回退。即使 B 和 C 先完成，它们的报告也会被扣住，直到 A 的报告被呈现。任务级检查决定成功 S。对目标事件的响应及其产物按 ERC 评测，以计算 DRS（第 3.2 节）。

Async-RBench 针对第 1 节指出的两重评测障碍：受控交付施加预定义的释放条件（第 3.1 节），逐事件契约把响应与任务成功分开评分（第 3.2 节）。

3.1 受控异步交付

对每个任务，主智能体把子任务委托给子智能体；子智能体在隔离工作区中并发运行，主智能体继续工作（图 2）。每个提交的结果先按内容、文件和格式上的公开要求检查，再由场景控制器持有。主智能体只有在结果被呈现时才看见它，也就是它被包含进某一次主智能体调用的输入时。

#### 释放条件。

每个案例规定子智能体的工作量、结果之间的关系（例如一个结果取代、重复或冲突于另一个），以及把每个结果呈现给 Main 的条件。这些条件依赖可观察的任务进展，例如 Main 已经收到哪些结果、哪些产物已经存在，并被设计成：当事件被呈现时，ERC 所引用的先前工作通常已经可用。在图 2 中，若 B 或 C 在 A 之前完成，其结果会被缓冲，直到 A 已在更早的一次 Main 请求中被呈现。Async 在每次 Main 请求中至多加入一个新结果。结果被呈现后，主智能体获得一个处理窗口，至少一次、默认至多四次响应；后续结果保持排队，直到该窗口关闭。为防止无限阻塞，控制器在达到最长持有时间后释放结果，并记录回退释放（附录 C.1）。

因此，控制器强制每个事件的释放前提和结果间关系，而不编写精确的载荷、任务状态或墙上时钟时序。它不告诉 Main 是否采纳某个结果、该结果影响哪些已有工作，或应当如何响应。Main 必须判断结果的有效性与范围，再决定修改什么、保留什么、重跑哪些检查。

#### 事件证据。

对一个被呈现的事件 \(e_i\)，我们记录其结果 \(r_i\)、呈现前瞬间的任务状态 \(s_i^-\)、从呈现到运行终止的主智能体轨迹 \(\tau_i\)，以及终止时与 ERC 相关的状态 \(s_i^+\)：

呈现日志标明目标结果是否到达了主智能体。对被呈现的事件，\(Z_i\) 提供用于给响应评分的证据。

3.2 事件响应契约与评分

#### 事件响应契约。

每个目标事件有一份仅评测方持有的 ERC，

ERC 定义四个过程分量：必须做出的改动 \(C_i\)、应保留的有效工作 \(R_i\)、被禁止的改动 \(F_i\)，以及必须做的验证 \(V_i\)。结果分量 \(O_i\) 规定运行终止时必须成立的条件。每个分量包含与具体产物、操作或验证记录绑定的评分点；不适用的分量不参与评分。ERC 规定必须的状态变化、应保持的不变量、被禁止的副作用和验证证据，而不规定唯一的动作序列。

#### 动态重规划分数（DRS）。

每个分量 \(X_i\) 得到分数 \(\sigma(X_i)\in[0,1]\)，即其评分点的加权平均。过程点（C、R、F、V）根据 \(\tau_i\) 中的动作、产物变化和验证记录评测，结果点（O）根据最终状态 \(s_i^+\) 评测。评分点、权重和适用性在评测前固定。过程分 \(P_i\) 是 \(C_i\)、\(R_i\)、\(F_i\)、\(V_i\) 中适用分量上 \(\sigma\) 的平均，未满足的要求记 0；结果分为 \(Q_i=\sigma(O_i)\)。对含 \(n\) 个目标事件的一次运行，

同时给过程和结果评分，可以把仅靠任务成功会混在一起的情形区分开。一次运行若通过被禁止的动作达到所要求的结果，会失去过程分；一次运行若未达到该结果，仍可因已满足的过程要求获得分数。事后修补可以提高结果分，但不会抹去一次被禁止的副作用。

若主智能体在目标结果被呈现之前结束运行，该事件记 0 分。例如，在一次范围与依赖运行中，GPT-5.6 Terra 把迟到的吞吐量和内存要求加入研究计划（\(\sigma(C)=1\)），并保留原来的研究目标（\(\sigma(R)=1\)），但从未实质检查这次修订（\(\sigma(V)=0\)）。没有声明被禁止的改动，因此 F 不适用，最终计划满足该事件的要求（\(Q=1\)），得到 \(\mathrm{DRS}=100\cdot(2/3+1)/2\approx 83.3\)（附录）。

#### 任务成功与汇总。

端到端任务成功 S 是最终产物与执行证据满足全部任务目标的运行所占百分比。每个任务有一个目标事件（\(n=1\)）。其他子智能体消息提供上下文，不单独评分，但目标事件范围内产物的后续改动仍按其 ERC 检查。场景 DRS 是场景内运行的平均，总体 DRS 是八个场景分数的不加权均值。

3.3 任务与场景

表 2：每个场景的示例任务与评测焦点，按结果有效性（前四）、信息完整性（随后两个）以及依赖与调度（最后两个）分组。示例由真实案例压缩而来。

评测集包含 200 个任务，改编自五个来源基准（各 40 个），并均匀分到八个场景（各 25 个）。这些任务共有 621 个初始子任务，每个指派给一个子智能体（附录 A.2）。另有一组不相交的 47 个任务只在构建期间使用。表 2 按结果与当前任务状态的关系对场景分组：其有效性、其完整性，或其对依赖与调度的影响。每个任务带一个主要场景标签，但由其任务证据和依赖导出的 ERC 决定必须修订或保留什么。

#### 构建与接纳。

一个大语言模型智能体在固定版本和环境中筛查来源任务与轨迹，寻找委托结果可能改变早前决定的决策点。研究者随后检查该决定的依据、新结果的有效性及其对已有工作的影响，设计子智能体工作流、结果内容和释放条件（在来源任务没有事件处引入事件），并根据事件前预期的产物、结果所影响的范围，以及验证必须产生的证据导出 ERC。被评测的智能体从不见到来源轨迹。接纳之前，试运行检查事件是否在预期状态触发；参考解与等价解检查可解性，以及验证器是否接受等价的有效解；无效变体（例如漏掉修订、错误回滚、重复的副作用）检查验证器是否拒绝它们（附录 A）。

4 实验

我们先验证 DRS（第 4.2 节），再评测智能体对异步结果的响应（第 4.3 节），比较不同交付模式下的任务成功（第 4.4 节），并考察强制重建计划的效果（第 4.5 节）。

4.1 实验设置

#### 智能体。

我们评测 Claude Sonnet 5（Anthropic, 2026）、GPT-5.6 Terra 与 GPT-5.6 Luna（OpenAI, 2026）、Qwen3.7 Plus（Yang et al., 2025）、Gemini 3 Flash High（Google DeepMind, 2025）、Qwen3.5 27B（Yang et al., 2025; Qwen Team, 2026）、GLM5.3 Flash（GLM-5-Team et al., 2026; Z.ai, 2026）、Kimi K2.5（Kimi Team, 2026）和 DeepSeek V4 Pro（DeepSeek-AI et al., 2024）。对每个被评测的智能体，主智能体与全部子智能体使用同一个底层模型。所有智能体使用共同的接口、工具集和评测流水线。在没有歧义的地方，我们使用简称，例如把 GPT-5.6 Terra 称作 Terra，把 GPT-5.6 Luna 称作 Luna，把 Gemini 3 Flash High 称作 Gemini。主智能体和它派出的每一个子智能体都不更换模型。

#### 交付模式。

我们的主设定是异步交付（Async）：主智能体继续工作时，结果被逐个呈现，遵循第 3.1 节的释放规则。基线是批量交付（Batched）：每个必需的子智能体工作流终止后，把全部结果一起呈现。两种模式都以相同任务、工作流和资源限制并发运行子智能体，但使用不同的结果交付协议。我们报告 Async 的 DRS，以及两种模式的任务成功 S。因为子智能体在两种模式中独立执行，它们的输出以及主智能体的后续动作可能在不同运行之间不同。

#### 协议。

每个智能体在全部 200 个任务上、每种交付模式各评测三次，因而每个智能体每种模式有 600 次运行。两种模式的运行按任务和重复序号配对，环境、任务与验证器版本以及模型配置相匹配。每次运行至多允许 100 次主智能体响应，每次子智能体执行至多 40 次响应。每次响应的输出 token 上限为 16,384，同时至多三个子智能体并发。运行在主智能体调用 finish、做出一次不带工具调用的响应、耗尽预算，或达到 2,400 秒时结束。受基础设施故障影响的运行会被重跑（附录）。对每个场景，我们报告其三次重复级均值分数的均值和样本标准差。

4.2 DRS 的验证

#### 验证器与人类判断一致。

在对随机抽取的 405 次运行所做的初始人工审计中，自动决定与人类判断在 96.6% 的评分项上一致。全部分歧都追溯到基础设施故障；我们在重跑每一个受影响的运行之前修复了这些故障（附录 A.3）。

表 3：异步执行下的 DRS（0–100）。场景列沿用表 2，报告三次重复上的均值和样本标准差。Calls 列统计主智能体与子智能体的响应次数。最后一行是跨智能体平均。粗体标记该列最大。

译注：表中全部数字、正负号后的样本标准差、Calls 与 DRS 都按原文照录。Delay、Stale、Conflict、Replay、Partial、Failure、Scope、Strag. 依次是延迟权威、过时与顺序、冲突结果、重复与重放、部分到完整、子智能体失败、范围与依赖、资源掉队者。粗体仍表示该列最大，末行是九个智能体的平均。Claude Sonnet 5 的总体 DRS 为 45.1，GPT-5.6 Terra 为 39.7，Qwen3.7 Plus 为 38.2，GLM5.3 Flash 为 33.4，GPT-5.6 Luna 为 31.1，DeepSeek V4 Pro 为 30.6，Qwen3.5 27B 为 29.8，Kimi K2.5 为 26.1，Gemini 3 Flash High 为 19.2。Calls 列是主智能体与子智能体响应次数之和，不是单独的主智能体步数；九个智能体该列的平均是 85.7，总体 DRS 的平均是 32.6。样本标准差写在正负号之后，三次重复各先取场景内均值再计算。表身共十行：九个智能体各一行，最后一行是均值。场景列的顺序与表 2 相同。数字单元格保持原文，列名缩写不改。

图 3：对相同目标事件，Oracle、Native 与 Frozen 响应的 DRS。

图 4：106 次 Async 运行上 112 个问题标签的分布；一次运行可以有多个标签。

#### DRS 能分开不同质量的响应。

对表 3 中排名靠前、居中和靠后的 Terra、Luna 和 Gemini，我们从相同的事件前状态（产物、主智能体上下文、子智能体状态和事件内容）出发，在相同限制、ERC 和评分规则下给三种条件打分。Native 让主智能体自由响应，与主实验相同。目标结果被呈现之后，Frozen 重放由同一模型生成、但看不到该结果的续写。Oracle 执行为该事件写成的参考恢复程序。如图 4 所示，对三个智能体，DRS 都是 Frozen 最低（3.7–16.1），Native 较高（19.2–39.7），Oracle 最高（96.4–98.8）。这一顺序表明，DRS 能把知情于目标结果的响应，与看不到该结果而生成的续写区分开。接近满分的 Oracle 分数表明，被评测的 ERC 是可以被满足的。Oracle 知道每个事件的要求，因此它是参照，而不是能力匹配的基线。Frozen 仍能得到一些分数，因为未经适配的动作仍可能保留有效工作或避免被禁止的副作用。

4.3 异步交付下的智能体表现

总体 DRS 从 Gemini 3 Flash High 的 19.2 到 Claude Sonnet 5 的 45.1（表 3）。即便最高的 DRS 在 0–100 的尺度上也低于 50，而 Oracle 的范围是 96.4 到 98.8（图 4）。

分数在重复报告和子智能体失败上最低。跨智能体平均，重复与重放的 DRS 为 8.6，子智能体失败为 12.2，而范围与依赖为 57.5，资源掉队者为 60.7。两个最低分场景的 ERC 强调保留有效工作并避免不必要的副作用。重复报告不增加新证据，而子智能体失败要求恢复受影响的子任务，同时不扰动别处的有效工作。这些平均也包含合法运行中的零分：主智能体在收到目标结果之前就终止。各场景还使用不同的来源任务。因此分数差距本身并不能确立「保留有效工作是困难的主要来源」。

排名在场景之间变动，也与任务成功不同。Claude Sonnet 5 总体领先，但在重复与重放上落后于 Terra（15.5 对 18.5）；Qwen3.7 Plus 在资源掉队者上领先（85.9），但在子智能体失败上只有 6.9。DRS 也与任务成功互补：Qwen3.7 Plus 在 DRS 上排第三，在异步 S 上排第七（表 4），而 DeepSeek V4 Pro 分别排第六和第三。跨智能体看，更多模型调用并不必然对应更高的 DRS：Terra 每次运行 48.1 次调用得到 39.7，而 Kimi K2.5 以 125.2 次调用得到 26.1（附录）。

响应在何处失败。沿用既有失败分类（Cemri et al., 2025）和基于轨迹的诊断（Zhu et al., 2025b; Barke et al., 2026; Chen et al., 2026b），我们给 106 次 Async 运行的样本标注问题（图 4；节录见附录）。不可靠的验证是最常见的标签；一个例子是测试打印了失败信息，却不把失败作为信号发出。其他例子包括使用被推迟的结果（执行状态混淆）、编造缺失的收据（目标漂移）、把静态代码分析说成运行时覆盖率（证据扭曲），以及接受各自通过局部检查、合在一起却超出任务级预算的计划（遗漏全局约束）。

4.4 异步交付下任务成功率更低

图 5：每次运行中主智能体与全部子智能体的平均 token 消耗。每一对显示批量交付与异步交付；百分数给出主智能体所占份额。

表 4：批量交付与异步交付下的任务成功率 S（%）。

在我们的执行协议下，九个系统在异步交付下的任务成功点估计都低于批量交付，低 1.0–6.0 个百分点（表 4），均值从 29.7% 降到 26.0%。九个中的八个也消耗更多 token，且九个的主智能体消耗都上升（图 5）；对 Terra，主智能体消耗翻倍，而子智能体消耗几乎不变（附录）。只在批量交付下被解出的任务的成对轨迹，说明两条被观察到的失败路径，但并不确立异步交付造成了这些失败。

在必需产物被整合之前结束。在一个冲突结果的调度任务中，Qwen3.5 27B 在异步交付下收到一份验证报告时，第二套计划仍在另一个子智能体的工作区里。主智能体发出最终答案，关闭过程在该子智能体交付计划之前取消了它，于是终端检查发现计划集和决策清单缺失；批量运行收到两套计划并通过。

在检查原始证据之前行动。在一个 WAL 恢复任务中，两个在批量交付下成功的智能体，在异步交付下于任何报告到达之前就调用 SQLite，然后根据假设构造记录，而不是解码加密日志（附录）。

4.5 强制重建计划收益有限

图 6：Native 执行与 Full-rebuild 下的 DRS 和每次运行的平均模型调用。在（b）中，实心条统计主智能体调用，斜线条统计全部子智能体调用之和。

在 Native 执行下，结果到达时，主智能体自行决定是否以及如何修订计划。Full-rebuild 则指示主智能体：每当一个子智能体结果被呈现，就从当前任务状态重建整个剩余计划，并保留已完成的工作和已有产物。我们在 Terra、Luna 和 Gemini 上运行它，与主实验分开。

Full-rebuild 提高了三个智能体的 DRS（图 6a）：Terra 从 39.7 到 42.3，Luna 从 31.1 到 34.6，Gemini 从 19.2 到 21.9，同时每次运行的平均模型调用增加 7.5–10.2%（图 6b）。额外调用对 Terra 和 Luna 主要发生在主智能体，对 Gemini 则大致均匀分布在主智能体与子智能体之间。因此，Full-rebuild 指令以额外计算代价换来有限的 DRS 增益。因为我们没有报告智能体是否真的按指示重建了计划，这些结果无法区分「没有遵循指令」与「重建之后仍然存在的错误」。

5 结论

我们提出 Async-RBench，用以评测大语言模型智能体如何异步处理子智能体结果。受控交付和因事件而异的契约，使响应质量可以与最终任务成功分开评分。在九个智能体上，DRS 至多为 45.1，并在重复报告和子智能体失败上最低。在我们的执行协议下，九个智能体在异步交付下的任务成功点估计都低于批量交付。对三个智能体，提示主智能体在每个结果之后重建计划，只把 DRS 提高 2.6–3.5 分，同时使模型调用增加 7.5–10.2%。这些发现促使人们采用能跟踪「结果影响哪些工作、哪些仍然有效」的策略，并通过事件响应与端到端任务成功两方面来评测。

#### 局限。

每个任务只隔离一个目标事件，排除了重叠。DRS 保守地把在目标交付前终止的合法运行记为零，从而把它们与响应错误混在一起。基于控制器、带超时回退的交付可以复现，但未必反映真实到达。主智能体与子智能体共用一个模型，这有利于可比性，而不利于异质性。独立的子智能体运行给定时比较引入了变异。人工编写的 ERC 和验证器尽管经过抽样人工复核，仍可能漏掉有效响应。

AI 使用声明

在本工作中，大语言模型智能体是研究对象：所分析的轨迹和所训练的检查点由智能体自身产生，并作为实验结果报告。作为作者，我们把生成式 AI 工具用于需要披露的任务：为轨迹分析产生初始标注、把开源文档提炼进技能库，以及协助实现框架和分析代码。我们也使用生成式 AI 工具起草和润色文字、制作图件、排版参考文献。我们复核了全部 AI 协助的工作：所有标签都经过人工审计，所有代码都由作者验证和测试。我们对本工作的最终内容负责。

可复现性声明

第 3 节和第 4 节详述完整的基准框架、评测指标、执行模式、模型配置、运行预算和汇总程序。附录 A 记录任务来源、案例构建工作流、场景规格和验证器接纳标准；附录给出全部八个场景的代表性案例；附录规定结果交付边界、终止与重跑规则、成本核算约定，以及执行与评分的版本；附录提供失败分析所依据的轨迹证据。补充材料包括基准实现代码、案例规格文件、验证器、配置文件和运行清单，每次被分析的运行都唯一对应其模型标识、配置参数、测试案例、验证器和协议版本；私有验证器数据、访问凭证和许可受限的资产不包含在公开发布包中。

伦理声明

本工作提出 Async-RBench，一个评测大语言模型智能体异步任务执行的基准。本研究不涉及人类受试者、敏感个人数据或潜在有害应用。全部来源任务改编自此前已发表、公开可得的基准（Terminal-Bench、Gaia2、OSWorld、SWE-bench 和 MultiAgentBench），并遵守各自的使用许可。

本研究没有接受商业赞助，作者声明不存在利益冲突。全体作者已阅读并遵守 ICLR 伦理准则。

参考文献

• Advani (2026) L. Advani. 从自信收尾到沉默失败：刻画大语言模型智能体中的虚假成功。arXiv preprint arXiv:2606.09863, 2026. 作者姓名、标识符与 URL 保留原文。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Anthropic (2026) Anthropic. Claude Sonnet 5 系统卡。系统卡，2026。URL https://www.anthropic.com/claude-sonnet-5-system-card 。2026 年 6 月发布。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Anthropic (n.d.) Anthropic. 创建自定义子智能体。Claude Code 文档，无日期。URL https://code.claude.com/docs/en/sub-agents 。2026 年 9 月 17 日访问。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Barke et al. (2026) Shraddha Barke, Arnav Goyal, Alind Khare, Avaljot Singh, Suman Nath, and Chetan Bansal. AgentRx：从执行轨迹诊断 AI 智能体失败。arXiv preprint arXiv:2602.02475, 2026. URL https://arxiv.org/abs/2602.02475 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Barres et al. (2025) Victor Barres, Honghua Dong, Soumya Ray, Xujie Si, and Karthik Narasimhan. \(\tau^{2}\)-bench：在双控制环境中评测对话智能体。arXiv preprint arXiv:2506.07982, 2025. 题名、会议或期刊、卷期与页码已按原文译成中文。
• Cao et al. (2026) Hongliu Cao, Ilias Driouich, and Eoin Thomas. 超越任务完成：通过过程感知评测揭示大语言模型智能体中的腐坏成功，2026。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Cemri et al. (2025) Mert Cemri, Melissa Z. Pan, Shuyi Yang, Lakshya A. Agrawal, Bhavya Chopra, Rishabh Tiwari, Kurt Keutzer, Aditya Parameswaran, Dan Klein, Kannan Ramchandran, Matei Zaharia, Joseph E. Gonzalez, and Ion Stoica. 多智能体大语言模型系统为何失败？ arXiv preprint arXiv:2503.13657, 2025. URL https://arxiv.org/abs/2503.13657 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Chen et al. (2026a) Jing Chen et al. AppWorld-UL：为工具使用评测多样的智能体–用户交互。arXiv preprint arXiv:2607.20536, 2026a. 题名、会议或期刊、卷期与页码已按原文译成中文。
• Chen et al. (2026b) Mengzhuo Chen, Junjie Wang, Fangwen Mu, Yawen Wang, Zhe Liu, Huanxiang Feng, and Qing Wang. 看见整头大象：大语言模型多智能体系统中失败归因的基准。载于《计算语言学协会第 64 届年会论文集（第 1 卷：长文）》，第 19888–19905 页，2026b。doi: 10.18653/v1/2026.acl-long.912. URL https://aclanthology.org/2026.acl-long.912/ 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Chen et al. (2026c) Yidian Chen, Yingzi Gu, Natan Vidra, Spurthi Setty, and Sharon Zheng. OrchestraBench：评测多智能体编排的失败模式、恢复与分解质量，2026c。 题名、会议或期刊、卷期与页码已按原文译成中文。
• DeepSeek-AI et al. (2024) DeepSeek-AI et al. DeepSeek-V3 技术报告，2024。URL https://arxiv.org/abs/2412.19437 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Drouin et al. (2024) Alexandre Drouin, Maxime Gasse, Massimo Caccia, Issam H. Laradji, Manuel Del Verme, Tom Marty, David Vazquez, Nicolas Chapados, and Alexandre Lacoste. WorkArena：网页智能体解决常见知识工作任务的能力如何？载于《第 41 届国际机器学习大会论文集》，第 235 卷，第 11642–11662 页，2024。URL https://proceedings.mlr.press/v235/drouin24a.html 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Fourney et al. (2024) Adam Fourney, Gagan Bansal, Hussein Mozannar, Cheng Tan, Eduardo Salinas, Erkang Zhu, Friederike Niedtner, Grace Proebsting, Griffin Bassman, Jack Gerrits, Jacob Alber, Peter Chang, Ricky Loynd, Robert West, Victor Dibia, Ahmed Awadallah, Ece Kamar, Rafah Hosn, and Saleema Amershi. Magentic-One：解决复杂任务的通用多智能体系统。arXiv preprint arXiv:2411.04468, 2024. URL https://arxiv.org/abs/2411.04468 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Froger et al. (2026) Romain Froger, Pierre Andrews, Matteo Bettini, Amar Budhiraja, Ricardo Silveira Cabral, Virginie Do, Emilien Garreau, Jean-Baptiste Gaya, Hugo Laurençon, et al. Gaia2：在动态与异步环境中评测大语言模型智能体。载于《第十四届学习表征国际会议》，2026。URL https://openreview.net/forum?id=9gw03JpKK4 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Gao et al. (2024) Dawei Gao, Zitao Li, Xuchen Pan, Weirui Kuang, Zhijian Ma, Bingchen Qian, Fei Wei, Wenhao Zhang, Yuexiang Xie, Daoyuan Chen, Liuyi Yao, Hongyi Peng, Zeyu Zhang, Lin Zhu, Chen Cheng, Hongzhu Shi, Yaliang Li, Bolin Ding, and Jingren Zhou. AgentScope：灵活而稳健的多智能体平台。arXiv preprint arXiv:2402.14034, 2024. URL https://arxiv.org/abs/2402.14034 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Geng & Chang (2025) Longling Geng and Edward Y. Chang. ALAS：事务性与动态的多智能体大语言模型规划。CoRR, abs/2511.03094, 2025. doi: 10.48550/ARXIV.2511.03094. URL https://doi.org/10.48550/arXiv.2511.03094 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Ginart et al. (2024) Antonio A. Ginart, Naveen Kodali, Jason Lee, Caiming Xiong, Silvio Savarese, and John Emmons. 面向实时智能体的异步工具使用。CoRR, abs/2410.21620, 2024. doi: 10.48550/ARXIV.2410.21620. URL https://doi.org/10.48550/arXiv.2410.21620 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• GLM-5-Team et al. (2026) GLM-5-Team et al. GLM-5：从氛围编码到智能体工程，2026。URL https://arxiv.org/abs/2602.15763 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Gonzalez-Pumariega et al. (2025) Gonzalo Gonzalez-Pumariega, Leong Su Yean, Neha Sunkara, and Sanjiban Choudhury. Robotouille：面向大语言模型智能体的异步规划基准。载于《第十三届学习表征国际会议》，2025。URL https://openreview.net/forum?id=OhUoTMxFIH 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Google DeepMind (2025) Google DeepMind. Gemini 3 Flash 模型卡。模型卡，2025。URL https://deepmind.google/models/model-cards/gemini-3-flash/ 。2025 年 12 月 17 日发布。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Gulati (2026) Aryan Gulati. ContinuityBench：评测智能体从被打断状态中恢复的框架与分类。载于 ICML 2026「结合理论与基准」研讨会，2026。URL https://openreview.net/forum?id=3N3BzvoLbG 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• He et al. (2026) Jiawei He, Jie Jia, Chenbo Liu, Chaoyi Xue, Yapeng Song, Xikai Yang, and Dong Sun. ProcCtrlBench：评测大语言模型编码智能体中的过程级缺陷与控制保持，2026。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Hong et al. (2024) Sirui Hong, Mingchen Zhuge, Jonathan Chen, Xiawu Zheng, Yuheng Cheng, Jinlin Wang, Ceyao Zhang, Zili Wang, Steven Yau, Zijuan Lin, Liyang Zhou, Chenyu Ran, Lingfeng Xiao, Chenglin Wu, and Jürgen Schmidhuber. MetaGPT：面向多智能体协作框架的元编程。载于《第十二届学习表征国际会议》，2024。URL https://proceedings.iclr.cc/paper_files/paper/2024/hash/6507b115562bb0a305f1958ccc87355a-Abstract-Conference.html 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Ji et al. (2026) Haonian Ji, Kaiwen Xiong, Siwei Han, Peng Xia, Shi Qiu, Yiyang Zhou, et al. ClawArena：在演化信息环境中评测 AI 智能体，2026。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Jimenez et al. (2024) Carlos E. Jimenez et al. SWE-bench：语言模型能否解决真实世界的 GitHub 问题？载于《学习表征国际会议》，2024。 题名、会议或期刊、卷期与页码已按原文译成中文。
• KC & Budathoki (2026) Dipesh KC and Anjila Budathoki. 移交债务：编码智能体接管被打断任务时的重新发现成本，2026。URL https://arxiv.org/abs/2606.02875 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Kim et al. (2024) Sehoon Kim, Suhong Moon, Ryan Tabrizi, Nicholas Lee, Michael W. Mahoney, Kurt Keutzer, and Amir Gholami. 面向并行函数调用的大语言模型编译器。载于《第 41 届国际机器学习大会论文集》，第 235 卷，第 24370–24391 页，2024。URL https://proceedings.mlr.press/v235/kim24y.html 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Kimi Team (2026) Kimi Team. Kimi K2.5：视觉智能体智能，2026。URL https://arxiv.org/abs/2602.02276 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Koh et al. (2024) Jing Yu Koh, Robert Lo, Lawrence Jang, Vikram Duvvur, Ming Lim, Po-Yu Huang, Graham Neubig, Shuyan Zhou, Russ Salakhutdinov, and Daniel Fried. VisualWebArena：在真实视觉网页任务上评测多模态智能体。载于《计算语言学协会第 62 届年会论文集（第 1 卷：长文）》，第 881–905 页，2024。doi: 10.18653/v1/2024.acl-long.50. URL https://aclanthology.org/2024.acl-long.50/ 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Li et al. (2023) Guohao Li, Hasan Hammoud, Hani Itani, Dmitrii Khizbullin, and Bernard Ghanem. CAMEL：面向大语言模型社会「心智」探索的交流智能体。载于《神经信息处理系统进展》，第 36 卷，第 51991–52008 页，2023。doi: 10.52202/075280-2264. URL https://proceedings.neurips.cc/paper/2023/hash/a3621ee907def47c1b952ade25c67698-Abstract-Conference.html 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Li et al. (2026) Kai Li et al. AgencyBench：在一百万 token 的真实世界上下文中评测自主智能体的前沿。载于《计算语言学协会年会》，第 7422–7440 页，2026。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Liu et al. (2024) Xiao Liu et al. AgentBench：把大语言模型作为智能体来评测。载于《学习表征国际会议》，2024。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Lu et al. (2024) Jiarui Lu et al. ToolSandbox：面向大语言模型工具使用能力的有状态、对话式、交互式评测基准。arXiv preprint arXiv:2408.04682, 2024. 题名、会议或期刊、卷期与页码已按原文译成中文。
• Lù et al. (2025) Xing Han Lù, Amirhossein Kazemnejad, Nicholas Meade, Arkil Patel, Dongchan Shin, Alejandra Zambrano, Karolina Stańczak, Peter Shaw, Christopher J. Pal, and Siva Reddy. AgentRewardBench：评测对网页智能体轨迹的自动评价。载于《第二届语言建模会议》，2025。URL https://openreview.net/forum?id=fQcUZMPIvu 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Luo et al. (2025) Zhen Luo et al. MCP-Universe：用真实世界的模型上下文协议服务器评测大语言模型。arXiv preprint arXiv:2508.14704, 2025. 题名、会议或期刊、卷期与页码已按原文译成中文。
• Ma et al. (2024) Chang Ma, Junlei Zhang, Zhihao Zhu, Cheng Yang, Yujiu Yang, Yaohui Jin, Zhenzhong Lan, Lingpeng Kong, and Junxian He. AgentBoard：多智能体回合大语言模型智能体的分析性评测板。载于《神经信息处理系统进展》，2024。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Maldaner et al. (2026) Matheus Kunzler Maldaner, Adam Fourney, Amanda Swearngin, Hussein Mozzanar, Gagan Bansal, Maya Murad, Rafah Hosn, and Saleema Amershi. SentinelBench：面向长时间运行监控智能体的基准，2026。URL https://arxiv.org/abs/2606.05342 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Masters et al. (2025) Charlie Masters, Advaith Vellanki, Jiangbo Shangguan, Bart Kultys, Jonathan Gilmore, Alastair Moore, and Stefano V. Albrecht. 编排人机团队：作为统一研究挑战的管理者智能体。载于《2025 第七届分布式人工智能国际会议论文集》，第 91–107 页。美国计算机协会，2025。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Merrill et al. (2026) Michael A. Merrill et al. Terminal-Bench：在命令行界面的困难、真实任务上评测智能体。载于《学习表征国际会议》，2026。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Mialon et al. (2024) Grégoire Mialon et al. GAIA：面向通用 AI 助理的基准。载于《学习表征国际会议》，2024。 题名、会议或期刊、卷期与页码已按原文译成中文。
• OpenAI (2026) OpenAI. GPT-5.6 系统卡。系统卡，2026。URL https://deploymentsafety.openai.com/gpt-5-6 。2026 年 7 月 9 日发布。 题名、会议或期刊、卷期与页码已按原文译成中文。
• OpenAI (n.d.) OpenAI. 子智能体。Codex 文档，无日期。URL https://developers.openai.com/codex/subagents 。2026 年 9 月 17 日访问。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Qian et al. (2024) Chen Qian, Wei Liu, Hongzhang Liu, Nuo Chen, Yufan Dang, Jiahao Li, Cheng Yang, Weize Chen, Yusheng Su, Xin Cong, Juyuan Xu, Dahai Li, Zhiyuan Liu, and Maosong Sun. ChatDev：面向软件开发的交流智能体。载于《计算语言学协会第 62 届年会论文集（第 1 卷：长文）》，第 15174–15186 页，2024。doi: 10.18653/v1/2024.acl-long.810. URL https://aclanthology.org/2024.acl-long.810/ 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Qwen Team (2026) Qwen Team. Qwen3.5-27B 模型卡，2026。URL https://huggingface.co/Qwen/Qwen3.5-27B 。2026 年 9 月 12 日访问。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Rana et al. (2025) Manik Rana, Calissa Man, Anotida Expected Msiiwa, Jeffrey Paine, Kevin Zhu, Sunishchal Dev, Vasu Sharma, and Ahan M. R. AgentChangeBench：对话 AI 中目标偏移稳健性的多维评测框架，2025。URL https://arxiv.org/abs/2510.18170 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Rawles et al. (2025) Christopher Rawles et al. AndroidWorld：面向自主智能体的动态评测环境。载于《学习表征国际会议》，2025。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Ren et al. (2026) Zhenzhen Ren, Jiyan He, Xinpeng Zhang, Zhenxing Qian, Ke Han, Shuxin Zheng, GuoBiao Li, and Xiaoqing Zhang. OrchBench：通过确定性仿真单独评测多智能体编排计划，2026。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Trivedi et al. (2024) Harsh Trivedi, Tushar Khot, Mareike Hartmann, Ruskin Manku, Vinty Dong, Edward Li, Shashank Gupta, Ashish Sabharwal, and Niranjan Balasubramanian. AppWorld：用于评测交互式编码智能体的、由应用与人构成的可控世界。载于《计算语言学协会第 62 届年会论文集（第 1 卷：长文）》，第 16022–16076 页，2024。doi: 10.18653/v1/2024.acl-long.850. URL https://aclanthology.org/2024.acl-long.850/ 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Wang et al. (2026) Danqing Wang, Da Yin, Ruta Desai, Lei Li, Asli Celikyilmaz, and Ansong Ni. 在基于语言的多智能体通信中学习打断。载于《语言建模会议》，2026。URL https://arxiv.org/abs/2604.06452 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Wu et al. (2024) Qingyun Wu, Gagan Bansal, Jieyu Zhang, Yiran Wu, Beibin Li, Erkang Zhu, Li Jiang, Xiaoyun Zhang, Shaokun Zhang, Ahmed Awadallah, Ryen W. White, Doug Burger, and Chi Wang. AutoGen：通过多智能体对话实现下一代大语言模型应用。载于《第一届语言建模会议》，2024。URL https://www.microsoft.com/en-us/research/publication/autogen-enabling-next-gen-llm-applications-via-multi-agent-conversation-framework/ 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Wu et al. (2026) Tsung-Han Wu, Mihran Miroyan, David M. Chan, Trevor Darrell, Narges Norouzi, and Joseph E. Gonzalez. 大型推理模型可被打断吗？载于《第 43 届国际机器学习大会论文集》，2026。URL https://arxiv.org/abs/2510.11713 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Xie et al. (2024) Tianbao Xie et al. OSWorld：在真实计算机环境的开放式任务上评测多模态智能体。载于《神经信息处理系统进展》，2024。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Xiong et al. (2026) Kaiwen Xiong, Haonian Ji, Shi Qiu, Zeyu Zheng, Cihang Xie, Xinyu Ye, and Huaxiu Yao. ClawArena-Team：评测语言模型智能体中的子智能体编排与动态工作流，2026。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Yang et al. (2025) An Yang et al. Qwen3 技术报告，2025。URL https://arxiv.org/abs/2505.09388 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Yang et al. (2026) Xin Yang, Letian Li, Zimo Ji, Terry Jingchen Zhang, and Wenyuan Jiang. 立场：多智能体系统应优先考虑并发控制。CoRR, abs/2608.18092, 2026. doi: 10.48550/ARXIV.2608.18092. URL https://doi.org/10.48550/arXiv.2608.18092 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Yao et al. (2023) Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, and Yuan Cao. ReAct：在语言模型中协同推理与行动。载于《第十一届学习表征国际会议》，2023。URL https://arxiv.org/abs/2210.03629 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Yao et al. (2024) Shunyu Yao, Noah Shinn, Pedram Razavi, and Karthik Narasimhan. \(\tau\)-bench：真实领域中工具–智能体–用户交互的基准。arXiv preprint arXiv:2406.12045, 2024. 题名、会议或期刊、卷期与页码已按原文译成中文。
• Z.ai (2026) Z.ai. GLM-5.3-Flash 模型卡，2026。URL https://huggingface.co/zai-org/GLM-5.3-Flash 。2026 年 9 月 12 日访问。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Zhou et al. (2024) Shuyan Zhou, Frank F. Xu, Hao Zhu, Xuhui Zhou, Robert Lo, Abishek Sridhar, Xianyi Cheng, Tianyue Ou, Yonatan Bisk, Daniel Fried, Uri Alon, and Graham Neubig. WebArena：构建自主智能体的真实网页环境。载于《第十二届学习表征国际会议》，2024。URL https://proceedings.iclr.cc/paper_files/paper/2024/hash/4410c0711e9154a7a2d26f9b3816d1ef-Abstract-Conference.html 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Zhu et al. (2026) Dongsheng Zhu, Xuchen Ma, Yucheng Shen, Xiang Li, Yukun Zhao, Shuaiqiang Wang, Lingyong Yan, and Dawei Yin. 当工具失败：评测大语言模型智能体中的动态重规划与异常恢复，2026。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Zhu et al. (2025a) Kunlun Zhu, Hongyi Du, Zhaochen Hong, Xiaocheng Yang, Shuyi Guo, Zhe Wang, Zhenhailong Wang, Cheng Qian, Xiangru Tang, Heng Ji, and Jiaxuan You. MultiAgentBench：评测大语言模型智能体的协作与竞争。载于《计算语言学协会第 63 届年会论文集》，2025a。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Zhu et al. (2025b) Kunlun Zhu, Zijia Liu, Bingxuan Li, Muxin Tian, Yingxuan Yang, Jiaxun Zhang, Pengrui Han, Qipeng Xie, Fuyang Cui, Weijia Zhang, Xiaoteng Ma, Xiaodong Yu, Gowtham Ramesh, Jialian Wu, Zicheng Liu, Pan Lu, James Zou, and Jiaxuan You. 大语言模型智能体在何处失败，以及它们如何从失败中学习。arXiv preprint arXiv:2509.25370, 2025b. URL https://arxiv.org/abs/2509.25370 。 题名、会议或期刊、卷期与页码已按原文译成中文。
• Zou et al. (2026) Henry Peng Zou, Chunyu Miao, Wei-Chieh Huang, Yankai Chen, Yue Zhou, Hanrong Zhang, Yaozu Wu, Liancheng Fang, Zhengyao Gu, Zhen Zhang, Kening Zheng, Fangxin Wang, Yi Nian, Shanghao Li, Wenzhe Fan, Langzhou He, Weizhi Zhang, Xue Liu, and Philip S. Yu. 当用户改变主意：在长程网页导航中评测可中断智能体，2026。URL https://arxiv.org/abs/2604.00892 。 题名、会议或期刊、卷期与页码已按原文译成中文。