CRM-Agent-Bench：在有状态企业环境中评测使用工具的智能体

CRM-Agent-Bench：在有状态企业环境中评测使用工具的智能体

Monojit Banerjee、Zhujun Lan。邮箱：mbanerjee@salesforce.com；zhujun.lan@salesforce.com；defu.cao@salesforce.com。Defu Cao。Salesforce, Inc.。2026 年 10 月 22 日。

摘要。把语言智能体部署到真实应用里，要求的不止是答对：智能体必须正确执行多步业务流程，遵守领域规则，并在对话中与用户交互。说与做之间的差距，就是满意客户与真实损失之间的差距。我们认为，可部署智能体的基准应同时评估四个侧面：智能体达到的结果、它走过的轨迹、运营可行性，以及策略合规。客户关系管理（CRM）把可变记录、运营规则和有后果的效应放在一起，四个侧面都会被用到。我们提出 CRM-Agent-Bench，一个以执行为依据的基准，包含 555 个有状态、多轮任务，覆盖九个业务领域和 36 个能力标签。每个任务提供一份任务专属的可执行契约，检查来自动作、参数、顺序、回复、目标状态和受保护状态；成功是该任务所声明检查的严格合取。我们通过这些契约评测完整的智能体系统，并报告被计分覆盖率、延迟和成本。在经过审计的最终发布集上评测的十六个系统里，严格成功从 64.32% 到 83.60%；靠得很近的领先系统，在成本和分领域可靠性上仍然明显分开。CRM-Agent-Bench 提供一个可审计的框架，用来度量以契约为依据的业务事务完整性，以及对任务所声明基准策略的遵守，其可移植结构是为模型变强之后继续扩展而设计的。

译注：原文脚注写明 * 为同等贡献，† 为通讯作者。

1 引言

从答案到被委托的执行。语言模型智能体越来越多地把推理与外部环境中的动作结合起来（Yao et al., 2023; Liu et al., 2024）。这改变了评测对象。一旦系统获得更新记录系统的权限，它的失败就不再止于一个错误答案。它可能完成错误的事务，在后端拒绝之后继续，或描述一个从未成功的操作。说与做之间的差距于是变成真实的业务损失：智能体声称已经发出退款却从未调用工具，或把优惠券用到错误账户上，造成的损害是「听起来有帮助」的分数抓不住的。客户关系管理（CRM）是这一转变里特别苛刻的场景。面向客户的工作把可变记录系在运营规则上，其效应会传播到下游业务流程。即便一个简单请求，也可能要求智能体识别正确实体、遵循规定程序、对依赖状态的反馈作出反应，并保全用户意图之外的每一条记录。近期的 CRM 基准带来了现实的业务数据和多轮交互（Huang et al., 2025a; Huang et al., 2025b），但它们主要评测检索和答案正确性，而不是智能体是否在策略之内正确完成了底层的状态变更。那么，我们该如何度量整个系统是做对了，而不只是说对了？

评测企业执行。先前的基准各自覆盖这个问题的一部分：函数调用与参数生成（Patil et al., 2025），在可变数据库上的同策略对话（Yao et al., 2025），带里程碑和雷区的有状态工具使用（Lu et al., 2025），程序化状态与附带损害测试（Trivedi et al., 2024），组合式企业网页工作（Boisvert et al., 2024），以及 CRM 真实感（Huang et al., 2025a; Huang et al., 2025b）；我们在表 1 中综述它们。然而每一个都只报告被委托执行所要求内容的一个子集。完整评估必须同时分辨四个侧面：结果（达到的最终状态以及传达的结果）、轨迹（正确的动作、正确的参数、正确的顺序）、运营可行性（延迟与成本），以及策略合规（没有被禁止的动作、没有改动受保护状态、没有不当披露）。当基准只报告一个侧面时，系统可以在该指标上看起来很好，同时在指标从未检查的另一侧面上静默失败。图 1 正是如此：一条真实轨迹的回复、动作和顺序检查都通过了，但重复结账只被状态检查抓住，因此只评回复或只评动作，会把一笔失败的事务记成成功。CRM 是观察全部四个侧面的揭示性镜头，因为一条工作流把语言理解、流程合规、状态变更和不对称的业务风险耦合在一起。我们针对的是这一执行层，而不是视觉感知或底层控制；这与计算机使用智能体基准互补（Xie et al., 2024; Kuntz et al., 2025），那些基准在类似的有状态执行问题前面加上感知和图形界面定位层。通过把结构化动作接口固定住，CRM-Agent-Bench 隔离的是：在动作已经被落到具体调用之后，智能体是否选择了有效工作流、是否尊重能力边界、是否保全受保护状态。

图 1：一笔重复的 15.50 美元结账：回复、动作和顺序检查都通过，但状态检查抓住了翻倍的忠诚度余额（310 而不是 155），严格契约失败（附录 D.2）。

CRM-Agent-Bench。我们提出一个以执行为依据的基准，含 555 个任务实例，覆盖九个有状态业务领域和 36 个能力标签。每个任务定义用户目标、初始世界状态和一份任务专属的可执行契约；每次试验从重新重置的环境开始，并由同策略的模拟用户展开：之后每一轮都根据此前用户可见的智能体回复生成，而不是重放固定文稿。契约最多动用六个检查族，四个侧面中的三个直接在轨迹上评分：必需调用、参数约束，以及子序列或精确顺序，评的是轨迹；回复内容和目标状态检查评的是结果；策略合规由三条负面检查落实，它们对应上面的定义：禁止动作检查（被禁止的工具绝不能被调用）、受保护状态检查（任务未授权的记录必须保持不变）、禁止参数检查（任何调用都不得携带另一方的标识，因此智能体不能对未被授权接触的记录采取行动或将其暴露）。头条成功信号是任务所声明每一项检查的严格合取，因此所有已声明要求必须同时成立；未声明的维度是缺席，而不是被计为通过。分量分数保留底层的动作、回复和状态证据，供诊断使用。第四个侧面，运营可行性，与每一项结果一起报告为延迟和成本，而不折进通过标准。

图 2：CRM-Agent-Bench 的设置与一次多轮演示。(a) 同策略用户与完整的路由智能体交互；每一轮在重新重置的 CRM 后端上暴露一项限定范围的能力。记录下的对话、路由、工具调用和终态，按合取方式对照任务契约检查。(b) 在一条观察到的合成基准轨迹中，智能体拒绝一次无效转账且不改变状态，然后重新选择转账节点，校验并执行用户更正后的请求。所有已声明的动作、参数、顺序、状态和护栏检查都通过。

经验评测。我们用第一轮参考协议比较专有与开放权重系统，并量化加入任务所声明的检查会如何改变全套件成功率。我们在 555 个经过审计的任务上评测十六个系统，包括 Gemini 3.8 Flash、Claude Opus 5、Muse 30B 和 GPT 5.6 Terra。严格成功从 64.32% 到 83.60%。只评回复会把严格成功高估 10.5 到 11.0 个百分点。在带有显式策略约束的任务上，系统在 91.2% 的试验中通过适用的负面检查，但只有 66.8% 满足完整契约，而无负面断言的任务上这一比例是 82.1%。这些结果表明，避免被禁止的行为，与完成被允许的工作流，是不同的评测维度。

我们的贡献。我们贡献：（i）一个以执行为依据的 CRM 基准，含 555 个有状态多轮任务，覆盖九个业务领域和 36 个能力标签，无需在线 CRM 或厂商后端即可运行；（ii）任务专属的合取契约，对适用的结果、轨迹和策略合规要求评分，同时报告运营延迟和成本；（iii）一套与具体智能体无关的评测协议，把各侧面分开报告而不是合成一个分数，并通过检查每个被禁止工具在其领域图中是否甚至可达，来审计能力暴露。

2 CRM-Agent-Bench 基准

译注：这一节的标题直译就是 CRM-Agent-Bench 基准，下面各小节才展开定义。

2.1 评测对象

CRM-Agent-Bench 评测的是一个智能体系统：嵌入编排策略中的语言模型，通过工具对可变的企业状态进行操作。基准制品（任务、初始状态、工具、策略和评分器）与被测系统分开持有。这对路由型智能体很重要，因为同一个基座模型在不同的工具清单或路由策略下可以表现不同。具体而言，CRM-Agent-Bench 沿四个侧面为每次试验评分：结果、轨迹、运营可行性和策略合规。每个任务的契约指定其适用检查，严格成功要求它们全部通过。四个被测量的组件使它们可观察（图 2）：带类型化工具的可重置领域环境、同策略用户模拟器、作为被测系统的图路由参考智能体，以及一份任务专属的可执行契约，它把用户目标与所声明的成功条件配对，由程序化检查和固定的语义评判者裁决。

2.2 任务与有状态环境

每个任务规格 \(\mathcal{T}_{i}=(u_{i},s_{i}^{0},\mathcal{C}_{i},d_{i})\) 诱导一个有限时域部分可观察马尔可夫决策过程（POMDP）。领域 \(d_{i}\) 提供默认 CRM 状态和类型化工具，可选覆盖 \(s_{i}^{0}\) 则初始化任务专属信息。在时刻 \(t\)，潜在状态包含可变 CRM 状态 \(x_{t}\)、私有用户指令 \(u_{i}\)、累积的交互历史，以及剩余的模拟器与执行器状态。智能体只观察到可见对话、返回的工具结果，以及当前暴露的指令和工具模式。它观察不到原始 CRM 状态、私有用户指令或评测契约。智能体通过类型化工具调用和用户可见消息行动。转移把程序化的、由种子控制的工具执行，与同策略用户模拟器结合起来，因此后来的观察依赖于更早的智能体回复，而不是固定文稿（Yao et al., 2025）。不暴露中间奖励。交互结束时，\(\mathcal{C}_{i}\) 评估完整轨迹 \(\tau_{i}\) 和最终 CRM 状态 \(x_{T}\)，成功要求每一项已声明检查都通过。访问策略决定哪些工具可用，而不改变任务本身；路由参考智能体是这一过程中的一种具体策略（Yao et al., 2023）。

2.3 试验执行与评分

同策略用户模拟器。遵循 \(\tau\)-bench 和 ToolSandbox（Yao et al., 2025; Lu et al., 2025），评测是同策略的：模拟用户观察智能体的用户可见回复，并在任务目标与迄今对话的条件下生成下一轮。它收不到智能体的私有推理、工具调用、工具结果或数据库状态。因此模拟器是以用户可见证据为条件的。模拟器在判定交互完成时发出停止标记；否则交互继续，直到 30 轮上限或 1,200 秒的试验超时。参考协议使用 gpt-5-mini 作为用户模拟器，设置见表 3。对模拟器选择的敏感性在附录 E 中讨论。

可执行契约与语义评判者。每个任务声明一份契约 \(\mathcal{C}_{i}\)，只包含与它相关的检查，来自六个族：期望动作、参数约束、顺序、回复内容、目标状态，以及被禁止的动作、参数或状态。把 \(D_{i}\) 写成已声明检查，把 \(c(\tau_{i},x_{T})\in\{0,1\}\) 写成轨迹 \(\tau_{i}\) 与终态上的一项检查，则任务成功是它们的严格合取 \(Y_{i}=\prod_{c\in D_{i}}c(\tau_{i},x_{T})\)（图 10）。因此有说服力的回复不能抵消一笔缺失的事务，正确的终点也不能抹掉一个被禁止的中间动作；未声明的检查是缺席而不是通过，逐项检查的分量被保留下来以定位失败。这六个族实例化第 1 节四个侧面中的三个：结果（目标状态和回复）、轨迹（动作、参数和顺序），以及策略合规（禁止动作、禁止或附带状态，以及按身份把关的披露）；运营可行性是一并报告，而不是折进合取。只有回复内容标准被送给固定的 LLM 评判者，它只看见用户指令和可见回复，不能推翻程序化检查；各族检查语义和完整评判协议见附录 A。期望动作检查匹配成功执行的调用；禁止动作检查拒绝被禁止的尝试，包括被工具拒绝的调用。

报告。静态的能力暴露审计度量被禁止工具在整张图上的可达性；轮次级暴露取决于路由。我们报告被计分覆盖率，即产生有效评分的已排期任务所占比例，以及条件成功

其中 \(G\) 排除基础设施失败，但保留可归因于模型的失败，例如幻觉工具，以及超时处经人工核验的不收敛。成功计数与 \(|G|/555\) 以及失败类别计数配对；延迟和成本覆盖被测智能体模型。我们沿这四个侧面报告，而不是把它们塌缩成一个综合指数：严格成功及其逐项检查分量对应结果和轨迹，延迟和成本对应运营可行性，禁止动作、禁止参数和附带状态检查对应策略合规。一个系统可以在单一头条比率上看起来有竞争力，同时在分量通过率或成本上差异很大，因此表格和图形把分量证据和成本留在任何头条比率的后面。

3 基准构建

3.1 任务与参考智能体的构建

如图 2 所示，CRM-Agent-Bench 围绕业务工作流构建，而不是围绕孤立话语或工具模式。每个源工作流指定行动者、业务目标、停止条件、完成它所需的信息，以及意图中的效应和被禁止的效应，并通过一条共同流水线移植成三件可分离的制品：（i）可重置的领域环境，含合成记录、业务策略和确定性工具，包括结构化的业务拒绝；（ii）与架构无关的任务定义，把用户目标和可选的初始状态覆盖绑定到一份可执行契约；（iii）图结构的参考智能体，其按能力划分的节点持有限定范围的指令和工具。参考图是一套固定的编排支架；任务及其契约并不要求被测智能体采用它。因为所有记录和事务都是合成的，基准无需在线厂商 CRM 系统即可运行。

CRM-Agent-Bench 包含 555 个任务，来自两个互补来源。第一个来源于五个与从业者和领域专家共同开发并评审过的 CRM 应用。第二个改编自一个公开、带版本的智能体配方集合中的 22 个使用工具的工作流族（Salesforce Developers, 2026）。所得任务组织成九个业务领域，覆盖常规工作流、能力路由、多步发现、含糊请求、策略拒绝、对抗行为和附带损害。每个任务都经过同样的模式、工具引用，以及从全新环境出发的黄金路径验证。这里的模式指的是基准任务格式，而不是智能体的工具接口。验证确认任务形式良好、每个被引用的工具都存在，并且参考解可以从全新环境到达契约所规定的状态。

3.2 工作流分类与覆盖

在一个领域内部，覆盖按四级组织：领域（共享的可变世界和工具注册表）→ 能力（覆盖标签，不是预言路由，也不向智能体揭示）→ 场景（在种子记录上的人物目标与停止条件）→ 可执行契约。因为多轮任务可能穿过若干节点，这一层级描述覆盖，而不预先决定智能体的路线；评分以执行为先：每个已声明动作都解析到该任务领域中的一个工具，每条状态断言都针对运行时环境，评分器消费的是记录下的轨迹和终态，而不是事后标签。

图 3：555 任务评测集中的多能力覆盖与执行要求。每根柱计数具有所示属性的任务；百分比以全部 555 个任务为分母。类别相互重叠，描述的是已声明的任务要求。九个领域带有 36 个能力标签，每个任务被作者标为容易、中等或困难，这是描述性分层，而不是智能体或评分器的输入。基准在难度上有分领域分布，并计数带有负面（禁止动作、参数或状态）断言的任务。覆盖横跨直接工作流、跨能力路由、多跳发现、含糊性、策略拒绝、对抗请求和附带损害案例，因此一份契约可以同时组合一次有效更新、一条顺序约束、一段面向客户的解释，以及对一条受保护记录的保全。我们在模型比较之前冻结任务标识和配置，使所有系统面对同一工作负载和同一评测器，遵循有状态交互基准的匹配协议原则（Yao et al., 2025; Barres et al., 2025）。图 3 概括任务契约的三个重叠属性：133 个任务带有多个能力标签，235 个声明至少两条期望动作条目，164 个施加显式顺序约束。

4 结果与分析

我们在 555 任务的规范集上评测十六个系统，跨越 Gemini、Claude、GPT 和开放权重家族。每次运行都对全部 555 个任务给出有效评分，基础设施排除为零，因此严格准确率（通过数 / 555）在模型之间可以直接比较。主排行榜每个任务一次执行，所以我们报告描述性比较，而不做显著性声明。此外，我们在附录 C 中考察三轮可靠性。我们按第 1 节的四个侧面阅读这些运行：智能体达到的结果、它走过的轨迹、运营可行性，以及策略合规，并以如下方式收束：这些侧面会重排那些被单一严格准确率数字排得一样的系统。

4.1 结果：任务成功及其集中之处

图 4 按严格准确率排列全部十六个系统；图 5 给出它们的领域剖面。附录 B 的表 6 给出数值排行榜结果。三次运行（Inkling Small NVFP4、Muse Glimmer 30B 和 Nemotron 3.5 Lightning 30B）使用自托管的开放权重检查点，没有按 token 计费的价格；它们的成本报告为 “n/a”。

图 4：在经过审计的 555 任务规范集上的十六次全套件运行，按严格准确率排名，按家族着色并标上开发者标志；每根柱标注严格准确率百分比和以美元为前缀的被测智能体估计成本。

总体严格成功。十六个严格准确率跨度 19.28 个百分点，从 Gemini 3.8 Flash 的 83.60% 到 Nemotron 3.5 Lightning 30B 与 GPT-4.1 Nano 并列的 64.32%。头部被压得很紧：八个模型（第 1 到第 8 名）落在 2.88 个百分点的带内（80.72% 到 83.60%），其中三个（Claude Sonnet 5、GPT-5.5 和 GPT-5.6 Sol）恰好并列于 81.26%（451/555），因此单一头条数字几乎无法区分领先系统。严格成功对每个系统都从容易任务到困难任务单调下降，模型内部从易到难的落差为 5.37 到 27.39 个百分点（表 7），这是这些运行里最清楚的余量信号。

三轮可靠性。在全部三轮都评测的 16 个原始排行榜系统中，Gemini 3.8 Flash 每一轮都排第一，平均严格成功为 85.53%（样本标准差 1.66 个百分点）。Claude Opus 5 平均 83.29%（标准差 0.62 个百分点）并保持第二，包括在第 2 轮与 GPT-5.5 并列。成对 Spearman 秩相关从 0.869 到 0.934，而相邻系统会交换位置。任务级结果也会变化：Gemini 在第 2 轮和第 3 轮都通过 480 个任务，但有 30 个任务的结果在这两次执行之间翻转。跨全部三轮，434/555 个任务每次都成功（\(\widehat{\mathrm{pass}}^{3}=78.20\%\)），对照其 85.53% 的平均成功率。附录 C 给出完整的三轮表、汇总公式和任务级一致性结果。

领域差异。没有模型在每个领域都占优（图 5）。客户支持是迄今最难的领域：跨模型平均严格成功为 56.35%，比次难领域（旅行，77.15%）低 20.80 个百分点，而且十六个模型每一个在客户支持上的分数都低于它自己的总体严格准确率。客户支持也是任务数最多的领域（125/555）。销售和营销样本最小（18 和 21 个任务），单个任务翻转带来的摆幅也相应最大；入职的跨模型平均严格成功最高（90.24%）。

图 5：领域领先地位在十六个系统之间变化。行按第一轮总体严格准确率排名；每个单元格报告该领域内的严格成功（%），任务数显示在列标题中。所有模型使用相同的分领域分母。领域领先并不跟随总体排名。总体领先者 Gemini 3.8 Flash 是零售上唯一最强的模型（87/95），但没有领先任何其他领域：旅行归 Inkling Small NVFP4（78/93），ITSM 归 GPT-5.6 Luna（63/66）。Muse Glimmer 30B 是客户支持上唯一最强的模型（85/125，68.00%），尽管总体只排第 12（78.74%），这是只做聚合比较会错过的领域领先者。GPT-5.6 Sol 是唯一在销售上全取的模型（18/18），并在现场服务上并列最强（23/23，与 Claude Sonnet 4.6），以及在支付上并列最强。排名最低的两个模型 Nemotron 3.5 Lightning 30B 和 GPT-4.1 Nano 总体严格准确率并列（64.32%），但到达方式不同：GPT-4.1 Nano 在零售上相对强（77/95，81.05%），在客户支持上弱（40/125，32.00%，热图中最低的单个领域分数），而 Nemotron 3.5 Lightning 30B 在各领域上更均匀地弱，说明同一个总体分数可以藏着不同的失败剖面。

4.2 轨迹：有效的过程，而不只是有效的答案

只评最终回复会严重夸大任务成功。把轨迹和状态检查合取到只评回复的分数上（它只要求已声明的回复检查），会去掉一大块而且稳定存在的、表面上成功的任务：对图 6 中的四个系统，只评回复的分数把严格成功高估 10.5 到 11.0 个百分点，而仅动作检查就去掉 555 个任务中的 45 到 50 个。因此合取契约不是化妆式的更严阈值；它正是把说与做分开的东西。

图 6：在只评回复的过滤器上逐步加入执行检查后仍保留的成功。每个面板在每一阶段都使用全部 555 个任务。柱依次加入动作、参数、顺序和状态检查；严格终点再加上其余已声明检查和可归因于模型的错误处理。未声明或不可用的分量裁决在部分阶段是中性的。标注的下降是所显示百分比之间的差。附录中的逐项评分器视图（图 14）定位轨迹在哪里断开。按每项检查已记录的裁决计算，语义回复通过率保持很高，最强系统为 92.3%，每次运行都高于 77%，但在同一些运行上，动作检查只通过适用任务的 70.3% 到 89.8%，参数检查为 70.2% 到 90.7%：只评回复的成功并不保证执行正确。在图 13 的主标签优先序下，动作不匹配是十六次运行里每一个的最大非成功类别，从最强系统的 54 个任务到 Nemotron Super 3 120B 的最多 157 个，而语义回复、参数和负面检查的失败各自小得多。轨迹有效性仍然是这些系统上的主要约束。

4.3 运营可行性：成本与延迟

图 7 的效率视图防止准确率差异被孤立地阅读。Gemini 3.8 Flash 既有最高的严格成功率（83.60%），也有最低的被测智能体平均 token 数（每个被计分任务 24.0k），因此它是 token 面板里唯一的帕累托最优点。开放权重的 Nemotron 3.5 Lightning 30B 有最低的平均 LLM 延迟（5.86 秒），Inkling Small NVFP4 次低（6.66 秒），但它们在准确率上落后（64.32% 和 79.64%）；Gemini 3.1 Pro Preview 和 Muse Glimmer 30B 处在高延迟极端（69.08 秒和 84.96 秒）。工具调用预算相差近四倍：Nemotron Super 3 120B 每个任务发出的调用最少（2.09），Nemotron 3.5 Lightning 最多（7.68）。这些是系统级描述统计；它们不隔离提供商负载、模型架构或网关实现。

图 7：555 个被计分任务上的效率与准确率。每个面板把严格成功对一项被测智能体的平均效率度量作图：LLM 延迟、token 和工具调用（排除模拟器与评判者用量）。深色线段追踪每个面板的帕累托前沿（更低资源用量与更高成功更受偏好）；实心标记在前沿上，空心标记被支配。标记编号遵循图 4 的排名顺序，颜色和形状编码模型家族。

成本。被测智能体的估计成本变化远大于准确率，并且不跟随排名。在十三个有定价的运行中，它跨 89.3 倍，从 GPT-4.1 Nano 的 2.14 美元（并列最低准确率 64.32%）到 Claude Opus 5 的 191.00 美元（准确率仅第 2）。Gemini 3.8 Flash 是有信息量的参照：它在准确率上领先（83.60%），成本只有 16.12 美元，是有定价运行里第五便宜的，而且没有任何花费同样多或更多的有定价模型得分更高；有几个花得更多、得分更少，例如 Claude Haiku 4.5 比 Gemini 3.8 Flash 多花 24.50 美元，同时低 7.56 个百分点。三个无定价运行是自托管开放权重检查点，没有按 token 计费的价格，因此我们不按成本给它们排名。全部十三个有定价条目都按公布的价目和观察到的 token 用量、在同一条缓存中性规则下重算，并排除用户模拟器和评判者用量（表 6）。

4.4 受策略约束的任务：合规、完成与暴露

555 任务集分成 390 个没有负面断言的任务，以及 165 个受策略约束的任务，其契约至少声明一项禁止动作、禁止参数或受保护状态检查；这个由契约定义的子集在全部十六次运行中固定。图 8 报告每个子集上的严格成功，以及负面检查合规：受策略约束任务中，所有适用负面检查都成立的比例，与合取契约的其余部分无关。在 2,640 次受策略约束的模型–任务试验中，2,408 次（91.2%）通过全部适用负面检查，1,764 次（66.8%）通过完整契约。因此有 644 次试验，占该子集的 24.4%、占其 876 次严格失败的 73.5%，通过了负面检查，但失败于另一项必需分量。

图 8：任务集上的合规与完成，按表 6 的排名顺序。实心圆：390 个无负面断言任务上的严格成功；空心圆：165 个受策略约束任务上的严格成功；柱：二者之差。插入符标记受策略约束任务中通过全部适用负面检查的比例，并位于空心圆右侧，因此这些任务上的大多数失败来自伴随的必需分量，而不是来自违规。

5 相关工作

表 1：按评测契约和部署设定比较有代表性的智能体基准。● 表示适用时计分的原生机制，◐ 表示有限或间接支持，– 表示没有主要支持。过程–结果硬门槛把「达到正确结果」与「遵循所要求的程序」区分开，要求两项已声明检查都通过。自包含意味着不需要在线厂商后端。符号依据原文 HTML 中的实心圆、半填充圆和短横还原；正文配图页保留原表版式。

有状态、企业与计算机使用智能体基准。使用工具的语言模型基准覆盖越来越完整的执行设定，从 AgentBench 和 BFCL 中的函数选择与参数生成（Liu et al., 2024; Patil et al., 2025），到有状态、多轮交互：\(\tau\)-bench 把同策略模拟用户与领域策略和可变数据库配对，\(\tau^{2}\)-Bench 把它扩展到双控制，ToolSandbox 和 AppWorld 加入带轨迹感知或程序化评测的有状态环境（Yao et al., 2025; Barres et al., 2025; Lu et al., 2025; Trivedi et al., 2024）。在企业设定中，WorkArena++ 研究组合式知识工作，CRMArena 和 CRMArena-Pro 贡献相连的企业数据、专业 CRM 任务和涉及保密的场景，CRMArena-Pro 还单独为具备保密意识的拒绝评分（Boisvert et al., 2024; Huang et al., 2025a; Huang et al., 2025b）；与这些主要评检索和答案正确性的工作不同，CRM-Agent-Bench 评的是已执行的状态变更及其策略合规。同期的 EnterpriseOps-Gym 同样针对企业设定中有状态的智能体规划与工具使用（Malay et al., 2026），而 CRM-Agent-Bench 的区别在于逐任务的合取可执行契约，它联合把关所要求的动作、顺序、结果状态和被禁止的效应，而不是单一成功信号。平行的一条计算机使用智能体线路加上感知和底层图形界面控制，WebArena、AndroidWorld 和 OSWorld 在网页、移动和桌面应用上评测功能完成，SCUBA 把这条线扩展到 Salesforce 企业界面上的计算机使用（Zhou et al., 2023; Rawles et al., 2024; Xie et al., 2024; Dai et al., 2026），而 OS-Harm、BLIND-ACT 和 OSGuard 等安全基准表明，仅有任务完成是不够的（Kuntz et al., 2025; Shayegani et al., 2025; Mohammadmirzaei and Flanigan, 2026）。CRM-Agent-Bench 研究互补的结构化工具设定：它去掉视觉定位这一混杂因素，使工作流推理、路由和能力暴露可以被直接测量。

以执行为依据的评测与模拟用户。上面的基准依赖来自工具调用、中间里程碑和最终应用状态的互补证据。没有单一来源足以确立有效执行，AgentRewardBench 进一步表明自动轨迹评测器经常不一致（Lù et al., 2025）。TemporalBench 评测超出数值预测准确率的、带上下文和事件信息的推理（Weng et al., 2026）。模拟用户引入一个额外的测量变量。SimulatorArena 和 RealUserSim 考察模拟行为在多大程度上忠实地再现人类对话（Dou et al., 2025; Zhu et al., 2026）。PersonaCUABench 在固定的计算机使用任务上变化用户人物，并把任务完成与模拟用户给出的满意度评分一起评测（Li et al., 2026）。CRM-Agent-Bench 使用覆盖动作、参数、顺序、回复内容、目标状态和受保护状态的任务专属合取契约，同时保留分量结果供诊断。

能力暴露与策略归因。关于工具检索的研究问智能体如何从大型工具语料中选出一小个相关集合，工具图基准研究互联工具之间的选择与依赖推理（Shi et al., 2025b; Guo et al., 2026）。相关文献评测在不可信数据上操作或收到有害请求的智能体：AgentDojo 度量提示注入攻击与防御（Debenedetti et al., 2024），Progent 对工具调用执行细粒度特权策略，ToolPrivBench 研究不必要地升级到更高特权工具（Shi et al., 2025a; Yang et al., 2026）。近期效度分析进一步警告，测得的智能体安全可能与一般任务能力混杂（Wang et al., 2026）。这一区分在我们的设定中是核心的：一个被禁止的动作之所以缺席，可能是因为模型拒绝了它，因为模型没能行动，或因为路由在相关轮次从未暴露所需工具。

6 结论

我们提出了 CRM-Agent-Bench，一个以执行为依据的基准，含 555 个有状态、多轮企业任务，覆盖九个领域，其异构的合取契约度量对任务所声明的结果、轨迹和策略要求的满足，并与运营可行性并列。在十六个系统上，严格成功从 64.32% 到 83.60%，然而准确率相近的系统在成本、分领域可靠性和难度缩放上明显分开。这些结果支持在企业软件即服务（SaaS）中用多轴方法选择智能体，把执行成本、分领域可靠性和受策略约束的完成，与严格准确率一起权衡。对智能体设计而言，这些发现支持把有效过程与受策略约束的完成联合起来优化和报告，并把工具暴露和路由当作可测量的设计选择。

致谢

我们真诚感谢 Indira Iyer、Bhavesh Doshi、Daniel Tisher、Huan Wang 和 Shelby Heinecke 在整个项目中的指导与支持。我们特别感谢他们帮助提供研究资源，以支持 CRM-Agent-Bench 的开发与评测。他们的支持对完成这项工作起了重要作用。

参考文献

• Barres et al. (2025) Victor Barres、Honghua Dong、Soham Ray、Xujie Si 与 Karthik Narasimhan。\(\tau^{2}\)-bench：在双控制环境中评测对话智能体。arXiv 预印本 arXiv:2506.07982，2025。URL https://arxiv.org/abs/2506.07982。
• Boisvert et al. (2024) Léo Boisvert、Megh Thakkar、Maxime Gasse、Massimo Caccia、Thibault Le Sellier De Chezelles、Quentin Cappart、Nicolas Chapados、Alexandre Lacoste 与 Alexandre Drouin。Workarena++：走向基于组合规划与推理的常识知识工作任务。载于《神经信息处理系统进展》，第 37 卷，第 5996–6051 页，2024。URL https://proceedings.neurips.cc/paper_files/paper/2024/hash/0b82662b6c32e887bb252a74d8cb2d5e-Abstract-Datasets_and_Benchmarks_Track.html。
• Dai et al. (2026) Yutong Dai、Krithika Ramakrishnan、Jing Gu、Matthew Fernandez、Yanqi Luo、Viraj Prabhu、Zhenyu Hu、Silvio Savarese、Caiming Xiong、Zeyuan Chen 与 Ran Xu。SCUBA：Salesforce 计算机使用基准。载于 C. Vondrick、B. Hariharan、C. Raffel、L. Pinto、D. Yang 与 A. Faust 编，国际学习表征会议，2026 年卷，第 24363–24386 页，2026。URL https://proceedings.iclr.cc/paper_files/paper/2026/file/29c8c615b3187ee995029284702d3f43-Paper-Conference.pdf。
• Debenedetti et al. (2024) Edoardo Debenedetti、Jie Zhang、Mislav Balunović、Luca Beurer-Kellner、Marc Fischer 与 Florian Tramèr。AgentDojo：用于评测大语言模型智能体提示注入攻击与防御的动态环境。载于《神经信息处理系统进展》，第 37 卷，2024。URL https://arxiv.org/abs/2406.13352。
• Dou et al. (2025) Yao Dou、Michel Galley、Baolin Peng、Chris Kedzie、Weixin Cai、Alan Ritter、Chris Quirk、Wei Xu 与 Jianfeng Gao。SimulatorArena：用户模拟器是人工智能助手多轮评测的可靠代理吗？arXiv 预印本 arXiv:2510.05444，2025。URL https://arxiv.org/abs/2510.05444。
• Guo et al. (2026) Xiaojie Guo、Yang Zhang、Bing Zhang、Ryo Kawahara、Mikio Takeuchi 与 Yada Zhu。UniToolBench：面向跨领域通用任务自动化中工具增强大语言模型的基准。载于计算语言学协会发现：EACL 2026，第 4726–4736 页，2026。doi: 10.18653/v1/2026.findings-eacl.248。URL https://aclanthology.org/2026.findings-eacl.248/。
• Huang et al. (2025a) Kung-Hsiang Huang、Akshara Prabhakar、Sidharth Dhawan、Yixin Mao、Huan Wang、Silvio Savarese、Caiming Xiong、Philippe Laban 与 Chien-Sheng Wu。Crmarena：理解大语言模型智能体在现实环境中执行专业 CRM 任务的能力。载于《美洲计算语言学协会分会 2025 年会议论文集》，第 3830–3850 页，2025a。doi: 10.18653/v1/2025.naacl-long.194。URL https://aclanthology.org/2025.naacl-long.194/。
• Huang et al. (2025b) Kung-Hsiang Huang、Akshara Prabhakar、Onkar Thorat、Divyansh Agarwal、Prafulla Kumar Choubey、Yixin Mao、Silvio Savarese、Caiming Xiong 与 Chien-Sheng Wu。Crmarena-pro：跨多样业务场景与交互对大语言模型智能体的整体评估。arXiv 预印本 arXiv:2505.18878，2025b。URL https://arxiv.org/abs/2505.18878。
• Kuntz et al. (2025) Thomas Kuntz、Agatha Duzan、Hao Zhao、Francesco Croce、Zico Kolter、Nicolas Flammarion 与 Maksym Andriushchenko。OS-Harm：度量计算机使用智能体安全性的基准。arXiv 预印本 arXiv:2506.14866，2025。URL https://arxiv.org/abs/2506.14866。
• Li et al. (2026) Haoming Li、Defu Cao、Xu Hu、Yingtao Luo、Yiyang Wang、Xianghe Xu、Jiashu He、Wanting Jiang、Yifan Zhang、Yunhan Zhao、Siyang Wu、Chen Yang、Haixin Wang、Zheyuan Deng、Taoran Li、Jingwen Zhang、Zhejian Peng、Shushu Liang、Yue Zhao、Bingzhe Li、Feng Chen、Yifan Wang、Jintao Huang、Yijun Wang、Yuexing Hao 与 Xiaomin Li。PersonaCUABench：为多样人物服务的计算机使用智能体基准。arXiv 预印本 arXiv:2610.22990，2026。URL https://arxiv.org/abs/2610.22990。
• Liu et al. (2024) Xiao Liu、Hao Yu、Hanchen Zhang、Yifan Xu、Xuanyu Lei、Hanyu Lai、Yu Gu、Hangliang Ding、Kaiwen Men、Kejuan Yang、Shudan Zhang、Xiang Deng、Aohan Zeng、Zhengxiao Du、Chenhui Zhang、Sheng Shen、Tianjun Zhang、Yu Su、Huan Sun、Minlie Huang、Yuxiao Dong 与 Jie Tang。Agentbench：把大语言模型当作智能体来评测。载于国际学习表征会议，2024。URL https://openreview.net/forum?id=zAdUB0aCTQ。
• Lu et al. (2025) Jiarui Lu、Thomas Holleis、Yizhe Zhang、Bernhard Aumayer、Feng Nan、Haoping Bai、Shuang Ma、Shen Ma、Mengyu Li、Guoli Yin、Zirui Wang 与 Ruoming Pang。Toolsandbox：面向大语言模型工具使用能力的有状态、对话式、交互式评测基准。载于计算语言学协会发现：NAACL 2025，第 1160–1183 页，2025。doi: 10.18653/v1/2025.findings-naacl.65。URL https://aclanthology.org/2025.findings-naacl.65/。
• Lù et al. (2025) Xing Han Lù、Amirhossein Kazemnejad、Nicholas Meade、Arkil Patel、Dongchan Shin、Alejandra Zambrano、Karolina Stańczak、Peter Shaw、Christopher J. Pal 与 Siva Reddy。AgentRewardBench：评测对网页智能体轨迹的自动评估。arXiv 预印本 arXiv:2504.08942，2025。URL https://arxiv.org/abs/2504.08942。
• Malay et al. (2026) Shiva Krishna Reddy Malay、Shravan Nayak、Sagar Davasam、Srinivas Sunkara 与 Sai Rajeswar。EnterpriseOps-Gym：企业设定中有状态智能体规划与工具使用的环境与评测。载于第四十三届国际机器学习会议，2026。URL https://openreview.net/forum?id=QKy6cKEiEB。
• Mohammadmirzaei and Flanigan (2026) Mina Mohammadmirzaei 与 Jeffrey Flanigan。OSGuard：计算机使用智能体安全基准。arXiv 预印本 arXiv:2606.15034，2026。URL https://arxiv.org/abs/2606.15034。
• Patil et al. (2025) Shishir G. Patil、Huanzhi Mao、Fanjia Yan、Charlie Cheng-Jie Ji、Vishnu Suresh、Ion Stoica 与 Joseph E. Gonzalez。伯克利函数调用排行榜（BFCL）：从工具使用到对大语言模型的智能体式评测。载于第四十二届国际机器学习会议论文集，《机器学习研究论文集》第 267 卷，第 48371–48392 页，2025。URL https://proceedings.mlr.press/v267/patil25a.html。
• Rawles et al. (2024) Christopher Rawles、Sarah Clinckemaillie、Yifan Chang、Jonathan Waltz、Gabrielle Lau、Marybeth Fair、Alice Li、William Bishop、Wei Li、Folawiyo Campbell-Ajala、Daniel Toyama、Robert Berry、Divya Tyamagundlu、Timothy Lillicrap 与 Oriana Riva。AndroidWorld：面向自主智能体的动态基准环境。arXiv 预印本 arXiv:2405.14573，2024。URL https://arxiv.org/abs/2405.14573。
• Salesforce Developers (2026) Salesforce Developers。智能体脚本配方。GitHub 仓库，2026。URL https://github.com/trailheadapps/agent-script-recipes。访问日期 2026-09-24。
• Shayegani et al. (2025) Erfan Shayegani、Keegan Hines、Yue Dong、Nael Abu-Ghazaleh、Roman Lutz、Spencer Whitehead、Vidhisha Balachandran、Besmira Nushi 与 Vibhav Vineet。只管做！？计算机使用智能体表现出盲目的目标导向。arXiv 预印本 arXiv:2510.01670，2025。URL https://arxiv.org/abs/2510.01670。
• Shi et al. (2025a) Tianneng Shi、Jingxuan He、Zhun Wang、Hongwei Li、Linyu Wu、Wenbo Guo 与 Dawn Song。Progent：用特权控制保护人工智能智能体。arXiv 预印本 arXiv:2504.11703，2025a。URL https://arxiv.org/abs/2504.11703。
• Shi et al. (2025b) Zhengliang Shi、Yuhan Wang、Lingyong Yan、Pengjie Ren、Shuaiqiang Wang、Dawei Yin 与 Zhaochun Ren。检索模型并不擅长工具：为大语言模型做的工具检索基准。载于计算语言学协会发现：ACL 2025，2025b。URL https://aclanthology.org/2025.findings-acl.1258/。
• Trivedi et al. (2024) Harsh Trivedi、Tushar Khot、Mareike Hartmann、Ruskin Manku、Vinty Dong、Edward Li、Shashank Gupta、Ashish Sabharwal 与 Niranjan Balasubramanian。Appworld：用于基准测试交互式编码智能体的、由应用与人构成的可控世界。载于计算语言学协会第 62 届年会论文集，第 16022–16076 页，2024。doi: 10.18653/v1/2024.acl-long.850。URL https://aclanthology.org/2024.acl-long.850/。
• Wang et al. (2026) Youting Wang、Xiao Han、Dingyan Shang、Yuan Tang 与 Bowen Liu。是安全，还是只是能力？对智能体安全基准的效度审计。arXiv 预印本 arXiv:2607.28685，2026。URL https://arxiv.org/abs/2607.28685。
• Weng et al. (2026) Muyan Weng、Defu Cao、Wei Yang、Yashaswi Sharma 与 Yan Liu。TemporalBench：评测基于大语言模型的智能体在带上下文和事件信息的时间序列任务上的基准。载于第 32 届 ACM SIGKDD 知识发现与数据挖掘会议论文集第 2 卷，第 9997–10008 页，2026。URL https://arxiv.org/abs/2602.13272。
• Xie et al. (2024) Tianbao Xie、Danyang Zhang、Jixuan Chen、Xiaochuan Li、Siheng Zhao、Ruisheng Cao、Toh Jing Hua、Zhoujun Cheng、Dongchan Shin、Fangyu Lei、Yitao Liu、Yiheng Xu、Shuyan Zhou、Silvio Savarese、Caiming Xiong、Victor Zhong 与 Tao Yu。OSWorld：在真实计算机环境中为开放式任务基准测试多模态智能体。arXiv 预印本 arXiv:2404.07972，2024。URL https://arxiv.org/abs/2404.07972。
• Yang et al. (2026) Kaiyue Yang、Yuyan Bu、Jingwei Yi、Yuchi Wang、Biyu Zhou、Juntao Dai、Songlin Hu 与 Yaodong Yang。当更低特权已经够用：调查大语言模型智能体中过度特权的工具选择。arXiv 预印本 arXiv:2606.20023，2026。URL https://arxiv.org/abs/2606.20023。
• Yao et al. (2023) Shunyu Yao、Jeffrey Zhao、Dian Yu、Nan Du、Izhak Shafran、Karthik Narasimhan 与 Yuan Cao。ReAct：在语言模型中协同推理与行动。载于国际学习表征会议，2023。URL https://openreview.net/forum?id=WE_vluYUL-X。
• Yao et al. (2025) Shunyu Yao、Noah Shinn、Pedram Razavi 与 Karthik Narasimhan。\(\tau\)-bench：真实世界领域中工具–智能体–用户交互的基准。载于国际学习表征会议，2025。URL https://proceedings.iclr.cc/paper_files/paper/2025/hash/1b126cc38b8638e07bef37e7b2bb72bf-Abstract-Conference.html。
• Zhou et al. (2023) Shuyan Zhou、Frank F. Xu、Hao Zhu、Xuhui Zhou、Robert Lo、Abishek Sridhar、Xianyi Cheng、Tianyue Ou、Yonatan Bisk、Daniel Fried、Uri Alon 与 Graham Neubig。WebArena：用于构建自主智能体的现实网页环境。arXiv 预印本 arXiv:2307.13854，2023。URL https://arxiv.org/abs/2307.13854。
• Zhu et al. (2026) Ming Zhu、Juntao Tan、Rithesh Murthy、Jielin Qiu、Liangwei Yang、Wenting Zhao、Silvio Savarese、Shelby Heinecke 与 Huan Wang。RealUserSim：通过有依据的用户模拟弥合智能体基准中的现实差距。arXiv 预印本 arXiv:2605.20204，2026。URL https://arxiv.org/abs/2605.20204。

范围与持续扩展。CRM-Agent-Bench 优先对无头、结构化工具工作流做受控、可复现的评测。附录 C 报告全部十六个排行榜系统的三轮评测。我们正通过进一步的受控重复、人类与领域专家验证，以及更广泛的富文档、视觉、语音和在线服务工作流，积极扩展这一设定。这些扩展将进一步检验稳健性、测量敏感性和外部效度，同时保留可执行、可审计的评分。

译注：上面三十条与原文参考文献逐条对应。作者姓名、基准名、模型名、arXiv 编号和 URL 保持原文，题名、载体、卷次、页码和访问日期已译成中文。人名与网址不产生汉字，故在此按原文顺序再确认题名所指：Barres 等评测双控制环境中的对话智能体；Boisvert 等走向组合式常识知识工作；Dai 等建立 Salesforce 计算机使用基准 SCUBA；Debenedetti 等用 AgentDojo 评测提示注入攻击与防御；Dou 等追问用户模拟器能否代理多轮评测；Guo 等给出跨领域通用工具基准 UniToolBench；Huang 等第一篇理解智能体做专业 CRM 任务的能力，第二篇做跨场景整体评估；Kuntz 等度量计算机使用智能体的安全；Li 等按多样人物评测计算机使用智能体；Liu 等把大语言模型当作智能体来评测；Lu 等给出有状态对话式工具使用基准；Lù 等评测网页智能体轨迹的自动评估；Malay 等提供企业有状态规划与工具使用的环境；Mohammadmirzaei 与 Flanigan 给出计算机使用安全基准；Patil 等从工具使用走到伯克利函数调用排行榜；Rawles 等给出动态的自主智能体环境；Salesforce Developers 发布智能体脚本配方仓库；Shayegani 等指出计算机使用智能体的盲目目标导向；Shi 等第一篇用特权控制保护智能体，第二篇基准测试工具检索；Trivedi 等构建由应用与人组成的可控世界；Wang 等审计智能体安全基准的效度；Weng 等评测带上下文和时间事件信息的序列任务；Xie 等在真实计算机环境中基准测试多模态智能体；Yang 等调查更低特权已够用时的过度特权工具选择；Yao 等第一篇协同推理与行动，第二篇评测真实领域中的工具、智能体与用户交互；Zhou 等提供用于构建自主智能体的现实网页环境；Zhu 等用有依据的用户模拟弥合现实差距。本段「范围与持续扩展」在原文中没有单独标题，仍属于参考文献这一块。