BizBench：长程商业智能体的隐藏挑战

BizBench：揭示把长程智能体部署到真实业务中的隐藏挑战

Enhan Zhao、Yongqi Tong、Xuejun Yu、Hang Wang、Pan Wang、Yichao Wang、Di He、Jianshe Li、Wei Wu

1 北京大学。2 Ant International。

电子邮件：{zhaoenhan.zeh, tongyongqi.yq, xuejun.yu, wh549825, apen.wp}@ant-intl.com

通讯作者：Wei Wu（wuwei19850318@gmail.com）。

2026 年 10 月。

摘要。真实业务里的长程智能体不能只看最终是否办成。一次未经授权的付款，即使后来把钱退回，仍然是合规失败；过期规则和现行规则还会同时出现在文档里。BizBench 把一家全球支付公司的业务流程做成可执行环境，包含 50 项长程任务和 789 份知识文档。确定性检查同时核对目标、过程要求和保护要求。GPT-6 Sol 的严格成功率只有 61.3%，三次运行全部成功的任务只占 40.0%。四次 DeepSeek-V4.1-Flash 运行最终达到现金储备门槛，但中途已经跌破。Qwen3.5-9B 的 150 次运行没有一次完成全部目标。

译注：原文摘要写在标题页，HTML 未单独标成标题，故并入文首，不另增标题层级。

1 引言

图 1：BizBench 构造总览。业务流程被规范化为可执行环境；任务把后果性依赖与分开的目标、过程和保护标准组合在一起，并用参考执行和有针对性的反例加以验证。

人工智能的进展正在改变真实业务运营，客户服务是一个有代表性的例子。早期基于常见问题的系统，把用户查询与整理好的问答对匹配（Sakata 等人，2019；Li 等人，2017a）。它们对孤立查询有效，但对多轮之间的上下文理解支持有限。随后，深度神经网络使端到端的任务型对话系统成为可能，把客户服务从单轮问答扩展到多轮任务解决（Raghu 等人，2021；Budzianowski 等人，2018；Li 等人，2017b）。这些系统通过跟踪对话上下文并纳入外部知识，支持更复杂的交互，但仍大体受预先定义的对话行为、槽位模式和短程状态跟踪约束。近来，大语言模型的出现推动了进一步转向智能体式客户服务，使系统能通过政策解释、多步规划和外部工具编排，越来越自主地执行复杂业务流程（Yao 等人，2025；Tong 等人，2026）。与传统对话系统不同，这类智能体可以采取改变业务状态、承诺资源并约束后续决策的动作。因此，可靠部署不仅要求成功完成任务，还要求在整个执行过程中遵守业务要求（Ruan 等人，2024）。

转向自主业务执行带来两个基本挑战。第一，智能体必须在关键中间步骤保持执行有效，而不是仅仅达到期望的最终结果。探索性动作或许可以允许，但某些业务约束必须在整个执行中保持满足，违反它们可以构成任务失败，无论最终结果如何。例如，未经授权的付款即使随后退回资金，仍然是合规违规。因此，成功完成任务并不必然意味着执行有效。第二，智能体必须识别并应用管辖其动作的权威业务规则。在真实运营中，业务规则分布在政策手册、常见问题和运营通知等异构来源中（Shi 等人，2026）。这些来源由不同团队维护，更新时间不同，过时指导可以与现行政策并存（Ouyang 等人，2025）。而且，表面上冲突的指令，其适用范围可能因司法辖区、产品或生效期而不同。因此，检索到相关信息并不够：智能体必须判断哪些规则是权威的、现行的，并且适用于具体业务上下文（Nam 等人，2026）。尽管现有长程智能体基准评测受政策管辖的工具使用和知识访问（Lu 等人，2025），主要围绕最终任务成功的评测，可能捕捉不到对关键中间约束的违反，或对业务规则的错误应用。这一局限使基准表现与真实业务环境可靠部署所需的保证之间留下重要缺口。

因此我们提出 BizBench，以评测智能体能否在采取有后果的动作之前识别适用规则，并在保持执行有效的同时完成业务请求。该基准包含 50 项长程任务，来自一家领先的全球支付公司的真实业务流程。这些任务把工具使用与多轮客户对话结合起来：用户模拟器在整个执行过程中提供客户专属信息，并回应批准请求。为了在行动前测试规则解释，我们提供带有明确范围和生效期的现行与历史指导，分布在政策文档中。智能体必须判断哪些指令管辖当前请求，并利用配套的工具文档发现和调用相关工具。我们在有状态环境中实例化这些业务流程，通过共享资源、时限要求和既有承诺把它们连接起来。环境保留动作后果，因此后来的决策必须考虑已经作出的承诺。

为发现最终任务成功可以掩盖的违规，确定性评测器对照任务目标和适用规则，同时检查结果和记录下来的执行历史。成功要求完成所请求的目标，同时满足事先授权要求、持续约束和对副作用的限制。因此，成功完成任务不能补偿中间违规，而不同的合法策略仍然可以接受。参考回放验证目标与约束可以同时满足；替代的有效执行和有针对性的违规，用来测试评测器是否接受有效解并拒绝无效解。

我们的实验表明，即便 GPT-6 Sol 这样的先进模型在 BizBench 上也很吃力，严格成功率只有 61.3%。表现在运行之间也差异很大，只有 40.0% 的任务在全部三次尝试中都成功完成，这引发了对前沿模型在真实业务部署中可靠性的担忧。通过同时评测最终结果和执行历史，BizBench 识别出只看结果的评测会错误地当成成功的无效执行。例如，四次 DeepSeek-V4.1-Flash 运行达到目标，并且结束时高于所要求的现金储备门槛，尽管中途曾经跌破。挑战对较小模型更加明显。例如 Qwen3.5-9B 平均每次运行 187.2 次工具调用，其中一半以上导致错误，主要是试图访问非公开资源。它的 150 次运行没有一次成功达成全部任务目标。这些发现共同揭示了执行一致性、过程合规和有效工具使用上的互补局限。

BizBench 把三者结合起来：（1）来自真实支付流程的长程任务，由共享资源、截止时间和承诺连接；（2）分布式指导，要求跨范围、版本和生效期识别适用规则；（3）对业务状态和执行历史的确定性检查，覆盖目标、过程合规和保护要求，同时接受不同的有效策略。这些特点使 BizBench 成为严谨的、以业务为据的试验台，用以研究智能体如何协调信息收集、规划和行动，以完成复杂业务任务，并在全程保持执行有效。

2 相关工作

长程智能体基准。 智能体基准在交互环境中评估推理和工具使用（Liu 等人，2024；Mialon 等人，2024）。网页和桌面基准覆盖购物、浏览和计算机操作（Yao 等人，2022；Deng 等人，2023；Zhou 等人，2024b；Koh 等人，2024；Xie 等人，2024）。SWE-bench 评测仓库级问题修复，Terminal-Bench 则通过最终状态检查测试更广的技术任务（Jimenez 等人，2024；Merrill 等人，2026）。SWE-Milestone 在相继里程碑上检查功能完成和回归（Deng 等人，2026）；Long-Horizon-Terminal-Bench 通过对最终状态的子任务检查衡量部分进展（Li 等人，2026）。这些基准强调技术进展和软件完整性，而 BizBench 建模的业务环境具有分散的工具文档、嘈杂、过时或冲突的信息，以及变化的条件。它对照适用的业务要求检查中间动作。一个动作是否有效，取决于它发生时有效的批准、资金和政策。

业务流程中的智能体。 面向业务的基准引入运营规则和组织上下文。\(\tau\) 系列研究受政策管辖的交互、用户与智能体的协调，以及以知识为据的工作流（Yao 等人，2025；Barres 等人，2025；Shi 等人，2026）。企业套件覆盖基于浏览器的知识工作、组合式工作流、职场协作和客户关系管理运营（Drouin 等人，2024；Boisvert 等人，2024；Xu 等人，2025；Huang 等人，2025；Huang 等人，2026）。AutomationBench 评测最终应用状态，而不规定工具调用序列，从而保留智能体解题方式的灵活性（Shepard 与 Salimans，2026）。BizBench 同样允许探索和替代策略，同时在有后果的步骤上检查授权和其他业务要求，例如转账在执行前是否已获批准。

长程规划与适应。 工具使用学习，以及推理与行动交错，为语言智能体提供了基础（Schick 等人，2023；Yao 等人，2023b）。反思、技能复用和搜索支持多步推理与规划（Shinn 等人，2023；Wang 等人，2023；Yao 等人，2023a；Zhou 等人，2024a），而澄清研究考察额外信息何时有用（Gulati 等人，2026）。BizBench 聚焦于业务系统中的重新规划：被允许的动作可能损害后来的义务，行动和等待都可能产生成本。计划必须容纳已经作出的承诺。

3 BizBench

BizBench 评测在真实业务流程上执行客户请求的智能体。每项任务组合一个目标、一个初始业务状态、一个客户场景和接受标准。智能体使用由文档、记录和可执行工具组成的共享环境。成功要求完成请求，同时遵守管辖其中间执行的要求。

3.1 业务上下文与重建的环境

BizBench 取用世界上领先的支付与金融科技公司之一的业务流程。该公司通过跨境支付、外汇和财资服务支持商户和企业。客户请求可以跨越多种货币、法律实体和金融操作。在实践中，已部署的智能体必须核对碎片化的记录并应用正确规则，即使付款或审核仍在进行。被一个系统接受的动作，仍可能消耗履行后来义务所需的资金或容量。

为保护业务规则的机密，我们从源流程中抽象敏感细节。我们在可执行环境中重建其关键业务逻辑和执行机制。智能体查阅文档以获得业务规则和工具文档，并查询记录以确立客户的当前业务状态。它们与用户模拟器交互，以获得私人客户信息和所需批准。业务工具允许智能体执行操作并检查结果。冻结发布包含 50 项任务和 789 份知识文档。智能体有九个始终可用的工具，借此发现并调用 601 项业务能力；用户模拟器有十个工具。每次运行使用数据库的独立副本。附录 B 报告环境清单和黄金轨迹统计。

3.2 来自我们业务流程的构造洞见

过时和冲突的指导。 业务文档在其指令已被取代之后仍可访问。表面上的冲突也可能因为两条规则管辖不同产品、地区或生效期而产生。解决冲突需要确立哪个来源是权威的，以及哪条规则适用于该具体业务事件。例如，一份过期保单仍可能覆盖过去的事故。BizBench 包含带有明确范围和生效期的现行与历史指导，使规则选择成为执行请求的一部分。

授权与执行有效性。 笼统同意不能代替对具体操作的批准。批准必须覆盖实际操作及其条款，来自经授权的批准人，并且先于执行。其他要求，例如最低储备或连续的保证覆盖，必须在整个工作流中成立。被工具接受的操作仍可能违反这些要求。例如，一个账户持有 60 美元，并且必须在整个执行中至少保留 20 美元。支付 60 美元预聘费使账户归零，并立即违反这一要求，尽管付款被接受。后来的退款和调整可以恢复期末储备，却不能修补早先的违反（附录 D.3）。因此 BizBench 在评测所请求结果的同时，评测整个执行过程中的相关批准和状态变化。

延迟的信息与对时间敏感的决策。 审核、退款和结算可能在另一项义务需要行动之后才完成。在交付案例（附录 C.2）中，优先预订窗口在仓库确认到达之前关闭。等待该确认会使第一个交付截止变得不可达。BizBench 表示信息何时变得可观察、动作何时变得可用，从而使等待能够改变请求是否仍然可行。

3.3 评测结果与执行

设 \(\tau=(s_{0},e_{1},s_{1},\ldots,e_{T},s_{T})\) 表示一条执行历史，其中 \(e_{t}\) 是一次工具执行或环境事件。任务 \(i\) 在下式成立时成功：

\[ \operatorname{Success}_{i}(\tau)=G_{i}(\tau)\land P_{i}(\tau)\land F_{i}(\tau). \tag{1} \]

这里，\(G_{i}\) 检查所请求的结果和允许的终态条件，\(P_{i}\) 检查管辖执行的要求，\(F_{i}\) 检查受保护对象和被禁止的副作用。这些类别由被检查的业务要求定义；每一类都使用相关业务状态和执行历史作为证据。例如，一个付款目标可能要求实际的结算回单及其时间戳，而储备要求需要每次相关状态变化之后的余额。

检查作用于业务状态、分类账、回单和事件历史。它们把已执行的动作，与提议、批准或没有副作用的被拒绝调用区分开。不同的有效动作序列可以满足同一标准；评测器并不把执行与黄金轨迹匹配。主要分数由对业务状态和执行历史的确定性、可执行检查计算，不使用大语言模型评判。

4 数据构造

我们构造多轮任务，其中智能体和用户模拟器共同实现一个共享的业务目标。依据第 3.2 节的洞见，我们保留带有明确适用条件的现行与历史指导，在工作流之间引入时间依赖，并对照业务要求检查授权和中间执行。我们把数据构造组织为五个阶段。第一，把业务规则整理成标准作业程序，并改编以供模拟（第 4.1 节）。第二，通过定义状态、操作和接受检查，并用资源和时限约束连接工作流，来建造可执行任务（第 4.2 节）。第三，配置用户模拟器，通过多轮交互披露客户信息并执行客户侧动作（第 4.3 节）。第四，构造并回放黄金轨迹，以确立满足任务要求的可执行策略（第 4.4 节）。最后，用替代执行、违规，以及任务条件和执行的变化，连同专家复核，验证任务行为和接受检查（第 4.5 节）。

4.1 把任务落实到业务流程

我们把源业务文档整理成结构化的标准作业程序，以捕捉可执行任务所需的规则和依赖。如算法 1 所概括，我们抽取带有来源证据的候选工作流，并把相关候选分组为组织业务分支的工作流计划。这些计划被转换成规定步骤、决策、转移和返回路径的标准作业程序。相关规则记录其范围、受影响对象、先决条件、动作和例外。

算法 1 从业务文档构造标准作业程序

译注：原文给出算法 1 的标题。步骤写在本段正文中，HTML 未单独给出可转录的伪代码块。

我们对照来源证据复核抽取出的规则，并排除含义或适用性无法确立的内容。可以通过范围、版本或生效期解决的差异被保留，并带入环境的文档。这使现行与历史指导可以并存，同时提供判断哪条指令管辖某次具体操作所需的证据。

为保护专有信息，我们在相关规则之间一致地改写敏感业务细节，同时保留其决策逻辑和依赖。我们区分来源于文档的要求、为使它们可执行而需要的解释，以及任务构造期间引入的额外约束。得到的标准作业程序提供用于构造环境和任务的业务要求。

4.2 建造可执行任务

从这些标准作业程序，我们构造一个文档、记录和工具对齐的可执行环境。文档规定业务规则和工具接口；合成记录实例化实体、账户、义务、授权和交易历史；工具和预定事件实现相应的状态变化。对每个操作，我们对齐其文档化条件、相关记录和已实现的效果。为表示过时和冲突的指导，合成文档包含现行与历史规则，以及相关产品的指导，并带有明确的范围、版本和生效期。

我们通过选择共享业务对象或资源、或其输出为其他操作建立先决条件的工作流来构造任务。每项任务规定一个客户目标、一个初始数据库状态和预定事件。任务构造期间引入的额外约束，写在公开文档或客户要求中。应用这些约束所需的事实，可通过记录查询或客户交互获得。

我们通过共享资源、状态先决条件和时限要求连接工作流。时间依赖把一个工作流中的预定事件，与另一个工作流中的动作和截止时间联系起来。连同延迟的信息可用性，这些依赖造成第 3.2 节所述的对时间敏感的决策：等待外部结果可能关闭一个必需的执行窗口。因为工作流共享资金或授权额度，一个工作流中被允许的动作可以消耗另一项义务所需的资源。因此智能体必须跨工作流协调决策，并在修订计划时考虑早先的动作。依赖图在任务构造期间捕捉这些关系和条件分支。

接受标准在生成黄金轨迹之前，由客户目标、适用规则，连同任务的初始条件和依赖共同导出。所请求的结果和允许的终态条件决定目标检查 \(G\)；管辖执行的要求决定过程检查 \(P\)；受保护对象和被禁止的副作用决定保护检查 \(F\)。我们把这些检查链接到其管辖规则或客户要求，并在记录、分类账、回单和执行历史中识别相关证据。对于授权和执行有效性，中间检查验证所需批准覆盖已执行条款并且先于操作，并在每次相关状态变化上测试连续约束。这些检查评测所规定的业务条件，并允许不同的有效动作序列。黄金轨迹随后确立这些要求可以同时满足，如第 4.4 节所述。

4.3 设置用户模拟器

我们使用共同的交互协议和任务专属的客户场景，为每项任务把一个大语言模型配置为用户模拟器。场景规定客户的目标、私人事实、偏好、支持材料和开场请求。共同协议定义客户角色、允许的客户侧动作和轮次行为。它们共同根据对话和模拟器自己的工具调用结果，指导模拟器的回应。

交互从开场请求开始；其他客户信息在相关问题或提议出现时披露。智能体必须询问推进所需的约束和材料，而模拟器根据其场景和面向客户的回单作答。固定事实和约束在各轮之间保持一致。在场景允许协商的地方，修订后的偏好必须被明确陈述。这要求智能体引出客户专属要求，并在业务流程推进时保留其条款。

模拟器也在共享环境中执行客户侧操作，例如提交一份可用文档，或批准一笔提议的交易。批准针对特定请求及其当前条款记录；条款改变需要重新批准。事实问题优先于动作请求。模拟器一次执行一个被请求的写入或等待，报告其实际结果，并把控制交还智能体。如果被请求的动作失败或不清楚，它报告问题并请求澄清。由此产生的对话，在客户输入和动作与智能体的调查和执行之间交替，直到交互结束。

4.4 构造并回放黄金轨迹

我们构造黄金轨迹，以确立每项任务至少有一种可执行策略，满足其目标、过程和保护要求。这对被连接的工作流尤其重要：共享资源和时限约束可以使原本可行的工作流变得不相容。

我们根据标准作业程序、任务条件和工作流之间的依赖构造参考策略。每种策略都通过评测中使用的工具和客户侧动作执行。得到的黄金轨迹记录动作及其后果。

我们从任务的初始状态回放每条轨迹，并用为该任务定义的目标、过程和保护检查加以评测（第 4.2 节）。即使单个工作流已经验证过，我们仍回放完整任务，以检查它们通过共享资源、状态先决条件和时限约束发生的相互作用。发布的 50 项任务各自都有一条通过的黄金轨迹。

4.5 任务验证与专家复核

任务验证检查评测器是否接受有效执行，并检测对所述要求的违反。我们测试使用不同允许路线或动作顺序的有效替代，以及破坏特定要求的有针对性违规轨迹。例如，暂时的储备跌破必须使过程检查失败，即使后来的交易恢复了余额。

我们还改变决定操作是否有效或可行的事实，并验证同一接受检查在修改后的条件下给出预期判断。这类改变可能需要不同的执行策略。相反，保持合规和业务效果的操作变化，应当不改变评测结果。特别是，工具合同所允许的幂等重试，不应产生额外的业务效果。

五名研究人员和一组业务领域专家，对照客户请求、文档、业务记录和验证轨迹，复核了任务和接受检查。他们检查被连接的工作流是否构成连贯的业务场景，智能体能否获得决策所需的信息，以及每项检查是否代表其管辖规则或客户要求。文档、工具、模拟器或评测器中被识别出的不一致已予纠正，受影响的执行已重新运行。最终基准只包含同时通过验证和专家复核的任务。

5 实验

我们的实验考察智能体是否在满足管辖执行的要求的同时完成客户请求。我们跨模型报告目标、过程、保护和严格成功，然后用信息消融和执行轨迹研究客户交互、文档检索和长程工具使用。我们也评估用户模拟器的稳定性。

5.1 实验设置

我们在同样的 50 项任务上，用专有和开源模型评测 BizBench（OpenAI，2026；DeepSeek-AI，2026a；DeepSeek-AI，2026b；Yang 等人，2025）（表 1）。每次运行从初始数据库的独立副本开始，并使用相同的公开文档、工具和接受标准。在默认条件下，智能体检索文档、发现业务能力，并与 DeepSeek-V4.1-Flash 用户模拟器交互。黄金轨迹、可执行检查和未揭示的事件结果对智能体不可用。

表 1：目标（G）、过程（P）、保护（F）、中间失败和严格成功（%）。中间失败表示过程或保护要求失败。Claude Opus 5 和 Muse Spark 1.3 每项任务一次运行；其他模型三次。

图 2：三次运行模型的可靠性与资源使用。左：pass\(^k\) 在全部 \(k\) 次运行子集上，平均每次所选运行都成功的任务比例。右：每次运行的平均助手轮次、读过的不同文档数，以及助手工具调用数。

运行器不对生成词元、工具调用或调度步设置累积上限，并把每次响应的输出词元上限设得足够高，以避免常规截断。运行保留墙钟超时和工具错误阈值。每次模型请求都包含累积的对话和工具历史。遵循 Shi 等人（2026），如果提供方报告上下文窗口溢出，则面向模型的上下文中，合格的知识搜索和文档阅读工具响应里最旧的四分之一被替换，而完整执行记录予以保留。

对每项任务评测三次的模型，我们在三次运行上平均单次运行成功；其他模型每项任务一次运行。信息消融使用相同的任务、银行侧工具、数据库和接受标准。我们把基础设施和模拟器协议失败与业务结果分开跟踪，并从已核验的先前状态恢复短暂的传输中断。

5.2 总体表现与过程有效性

主要比较用公式 1 中的标准，把达成目标与有效执行分开。表 1 报告目标与允许终态条件（G）、过程要求（P）、保护要求（F）、严格成功（\(G\land P\land F\)）和中间失败（IF，\(\neg(P\land F)\)）的通过率。我们分别报告预先定义的目标、过程和保护检查，严格成功要求三者都通过。

前沿模型表现较好，但仍有很大改进空间：Claude Opus 5 取得最高严格成功率 64.0%，其次是 GPT-6 Sol 的 61.3%。GLM-5.3-Flash 和 DeepSeek-V4.1-Flash 各自取得 43.3% 的严格成功，随后是 DeepSeek-V4-Pro 的 39.3%，而 Qwen3.5-9B 的 150 次运行无一完成。每个模型都发生中间失败，从 Claude Opus 5 的 50 次运行中的 2 次（4.0%），到 Qwen3.5-9B 的 150 次中的 125 次（83.3%）；这类失败在得分较低的模型中通常更频繁。每个模型的过程通过率都低于保护通过率，P 的范围为 18.7–96.0%，F 的范围为 87.3–100.0%。图 2（a）显示可靠性下降：在 \(k=3\) 时，GPT-6 Sol 达到 40.0%，DeepSeek-V4.1-Flash 为 26.0%，GLM-5.3-Flash 为 22.0%。在 \(k=3\) 时，Qwen3.8-27B 达到 10.0%，DeepSeek-V4-Flash 和两个 Qwen3.5 模型达到 0%。这些下降表明，模型在重复运行中仍然不可靠。

5.3 信息获取

表 2：DeepSeek-V4.1-Flash 在 50 项任务的三种信息条件下的严格成功。

表 3：带工具调用上限时 DeepSeek-V4.1-Flash 的严格成功（三次运行均值）；\(R_{i}\) 为黄金调用次数。

我们考察信息获取如何影响任务表现，聚焦两个来源：业务文档和客户交互。黄金文档直接提供适用文档，而完整客户披露在开场请求中提供客户所知的全部任务信息，且不使用用户模拟器。所需的客户批准仍然有效。

表 3 把这些条件与默认条件比较。

译注：43.3%、50.0% 和 70.0% 这三个数出现在表 2。原文此处写“表 3”。下面一句按原文的表号译出，数字不改。

严格成功从 43.3% 增至黄金文档条件下的 50.0%，以及完整客户披露下的 70.0%。完整披露带来的更大增益意味着，引出客户专属约束并在执行中保留其条款尤其困难。黄金文档去掉了对适用文档的搜索，但智能体仍须解释其规则，并跨被连接的动作应用它们。其较小的增益表明，文档检索只占信息使用挑战的一部分。即使全部客户事实在一开始就可用，仍有 30.0% 的任务未被解决，这突出了规划和有效执行上剩余的困难。

5.4 长程行为与预算敏感性

黄金轨迹平均有 111.8 次助手工具调用。DeepSeek-V4.1-Flash 平均 191.3 次（参考的 1.71 倍）。超出部分集中在信息访问：数据库查询平均 111.1 次，黄金轨迹为 59.2 次；知识搜索或文档阅读平均 43.3 次，黄金轨迹为 11.5 次；而业务能力调用和请求执行相近（26.9 对 28.7）。

图 2（b）表明，更长的轨迹在模型之间不必反映更大进展。GLM-5.3-Flash 与 DeepSeek-V4.1-Flash 的严格成功相当，但工具调用为 118.3 对 191.3，文档为 9.4 对 20.1；Qwen3.5-397B-A17B 使用 216.4 次调用，但在 150 次运行中只成功一次。附录 D 报告完整的调用分布。

表 3 回溯地把每项任务限制为 \(\lceil\alpha R_{i}\rceil\) 次助手工具调用，其中 \(R_{i}\) 是其黄金轨迹的调用次数。在每项任务三次运行上，严格成功从无上限时的 65/150（43.3%），降到 1.2 倍时的 1/150（0.7%）、1.5 倍时的 10/150（6.7%），以及 2.0 倍时的 40/150（26.7%）。即便两倍于参考调用次数，仍排除许多原本成功的运行，这量化了智能体信息搜索和反复检查的成本。

5.5 轨迹分析

表 4：较强与较弱模型的执行轨迹统计。计数为每次运行的均值；重复的数据库读取具有相同的工具名、参数和响应。最后一列统计达到目标但未通过过程或保护要求的运行。

进展与重复。 表 4 把额外的工具使用与字面重复区分开：一次重复的数据库调用，与该次运行中早先的调用具有相同的工具、参数和返回内容。DeepSeek-V4.1-Flash 每次运行有 16.4 次这样的调用；DeepSeek-V4-Flash 有 23.7 次，尽管其工具调用总数更少。Qwen3.5-9B 每次运行收到 101.6 条工具错误回复，其中 71% 是因为查询非公开资源，并且只阅读 6.4 份不同文档，而 DeepSeek-V4.1-Flash 为 20.1 份。因此，长轨迹把信息收集与冗余读取和无效导航混在一起；仅工具调用次数并不衡量进展。

中间违规。 在 DeepSeek-V4.1-Flash 的运行中，有五次达到所请求的目标，但未通过全部标准：四次在后来恢复余额之前跌破了所要求的现金储备下限，一次在批准之前尝试执行并收到拒绝。Qwen3.8-27B 有 14 次这样的运行，其中包括八次被拒绝的提前执行尝试；DeepSeek-V4-Flash 有三次。Qwen3.5-9B 在 150 次运行中有 122 次未通过过程要求，其中包括 88 次提前执行尝试，但没有达到任何目标。这些历史解释了为什么仅凭最终目标检查会夸大有效执行。

业务文档范围。 黄金轨迹每项任务包含对 5.4 份不同文档的阅读，而 DeepSeek-V4.1-Flash 打开 20.1 份。额外阅读包括相关支付操作和产品的文档，术语相似但适用性不同。这表明知识库的复杂性使识别适用指导对模型构成挑战。附录 D.4 给出一个税款支付的例子。

5.6 模拟器可靠性与评测稳健性

我们在两种提示变体下评估用户模拟器是否遵循交互协议。修订后的提示明确规定客户动作的顺序，以及何时把控制交还智能体。让 DeepSeek-V4.1-Flash 担任双方，我们在原始提示下于 50 项任务中的 4 项观察到协议违规，修订提示下则没有。这些违规涉及批量批准，或在交还控制之前进一步使用工具。因此我们采用修订提示，作为评测中的默认用户模拟器提示。附录 D.2 详述协议和成对分析。

我们也考察对用户模拟器模型选择的敏感性。Qwen3.8-27B 在全部四种条件下执行任务。图 3 报告每个模拟器在三次运行上的平均严格成功率。平均率的范围从 30.7% 到 36.0%。相对默认的 DeepSeek-V4.1-Flash 设定（32.7%），最大偏离为 3.3 个百分点。这一较小的散布表明，在这一比较中，智能体表现对用户模拟器的选择相对稳健。

图 3：以 Qwen3.8-27B 为智能体的用户模拟器模型比较。柱表示三次运行上的平均严格成功率；DeepSeek-V4.1-Flash 是默认模拟器。

6 结论

有了 BizBench，业务要求成为对长程任务的结果和执行都可测试的条件。我们的实验表明，任务完成、过程合规和跨运行的一致性，揭示当前智能体的不同弱点。信息消融表明，获得正确的客户事实可以大幅改善表现，而轨迹分析表明，大量工具使用并不必然表示有意义的进展。这些发现促使信息收集与动作选择更紧密地协调：智能体需要确立何时已有足够证据继续，以及随着执行展开哪些义务必须保持满足。

译注：参考文献与附录 A 至 D 刊于续篇 bizbench-long-horizon-business-rest-zh。