先筛再上线：Nubank 用仿真把客服智能体的自助率提高 8.82 个百分点

先筛再上线：在 1.4 亿用户规模上，用仿真评测生产里的客服智能体

Edesio Alcobaça、Kevin Rossell、Aman Gupta（通信 aman.gupta@nubank.com.br）、Shao Tang（通信 tang.shao@nubank.com.br）、Jiwoo Hong、Pabel Carrillo-Mendoza、Wanderson Conceição Ferreira、Alvaro Tedeschi，单位均为 Nubank。

Zayd Simjee、Shreya Rajpal，单位 Guardrails AI。

Bruno Finardi Hime、Christian Sousa、Luis Moneda、Herbert Fei、Daniel Silva、Rohan Ramanath，单位 Nubank。

星号在原文表示共同第一作者。

摘要

客户体验智能体（CX agent，用工具和大语言模型处理客户请求、并引导客户完成产品操作的对话系统）必须识别意图、遵守复杂的操作政策，并可靠地使用工具。在受监管行业里改进它们尤其难。手工的端到端测试覆盖有限；线上实验会把失败暴露给客户，并损害信任。

本文给出一套由假设驱动的仿真工作流，在部署前筛选候选的客户体验智能体。合成客户对智能体的回复做出反应；被模拟的工具输出让多步智能体流程不必调用生产后端。作者把 Snowglobe 仿真器用于 Nubank 的卡片配送智能体，以及它的后继、巴西业务里量最大的聊天支持智能体：卡片管理。

在 4 个已部署版本上，仿真与生产的版本级二元评测分数高度相关。由仿真引导的迭代，在一次线上 A/B 测试中把交易净推荐值（tNPS，一次交互后的推荐调查里，推荐者百分比减去贬损者百分比）提高了 36.69 分。作者还在超过 16,000 段仿真对话里筛选了开源权重配置。随后的线上 A/B 测试中，被选中的模型把自助完成率（SSR，用户没有要求人工支持就由智能体办完的会话比例）提高了 8.82 个百分点，达到 Nubank 观察到的最高水平，tNPS 没有统计上显著的变化。仿真使模型、推理设置和提示词的广泛探索不必暴露给客户，从而做出单靠线上实验不现实的生产改进。

关键词：客户体验智能体，大语言模型，用户仿真，智能体评测，开源权重模型。

图 1：三种决定一次智能体改动能否上线的办法。手工编写（A）只覆盖有人想到要写下来的场景，真实客户会遇到的某些工具状态可能缺失。线上 A/B 测试（B）直接在生产里测量结果，但把被测改动暴露给客户。在策略上、于工具边界做的仿真（C）用合成结果回答工具调用，并让智能体按自己的策略行动，于是多轮失败可以在客户接触之前出现。在生产（D）里，筛过的智能体相对匹配对照改变了自助完成率和交易净推荐值。

1 引言

图 2：用 Snowglobe 做端到端轨迹生成。编排器读入输入，并在用例与风格切片上计划覆盖；每个切片生成携带风格、状态、话题和轨迹的人物；每个人物与被测智能体进行一轮或多轮多轮对话，智能体的工具调用由模拟工具层回答。原文这一图在 HTML 中没有独立图片文件。

大语言模型近来在复杂推理、多步工具使用和长上下文理解上的进展，提高了它们在真实场景中的可用性。基于大语言模型的智能体通过感知环境并用工具处理用户查询，已经被部署到个人和商业应用。智能体时代让辅助工作流更容易采用，但为领域特定、开放式任务建立可靠基准仍然困难。

这一困难在客户体验智能体上尤其明显。它们是企业里采用最广的智能体应用之一，部署包括 Airbnb、Amazon 和 Nubank。本文把客户体验智能体定义为两类：回应客户问题、投诉和支持需求的反应式智能体，以及预判需求、用对话引导客户完成公司产品与服务任务的主动式智能体。它们未必需要编码或数学智能体那种推理深度，但必须在不同用户群体上满足复杂、多维的要求。更具体地说，它们应当支持个性化和本地化，在多轮对话里对用户意图做出适当回应，并处理敏感数据。因此，安全和定性表现的门槛高于一般智能体应用。核心问题是：怎样确认一个智能体可以运行、能处理边界情况，并可以安全地上线？

图 1 对照三种做法：（1）手工编写测试用例；（2）在线上 A/B 测试里把真实客户暴露给改动；（3）在工具边界上、按智能体自己的策略仿真客户。前两种都含有人类反馈，但慢，而且小样本信号不稳定。用合成人物做用户仿真，因此被研究为用大语言模型近似人类偏好分布的替代。但可控性有限，以及分数被抬高的风险，使人担心仿真与真实场景不一致。

本文把用户仿真当作上线前的中间评测层：候选智能体先经过合成客户交互，再进入线上部署。通过对 Nubank 卡片配送和卡片管理智能体的案例，作者提出一套由假设驱动、停在工具边界的仿真做法，用来筛选候选，并展示其业务影响。仿真已经成为他们客户体验智能体开发生命周期的必要部分，使模型、提示词和推理设置的广泛探索不必只靠线上实验。贡献如下：

1. 部署前筛选：一套把离线评测接到线上部署的分层仿真辅助部署做法。
2. 与真实对话的相似度：真实对话与仿真对话在对话级有中等相似度，最低余弦距离为 0.035。四个已部署版本上，仿真与生产的版本级评测分数高度相关。
3. 从开发到生产的效率：有用户仿真层时，开发、筛选和部署循环的迭代比没有该层快 4.8 倍。
4. 智能体与模型改动的生产影响：经仿真引导迭代做成的卡片管理智能体，在线上 A/B 测试中相对卡片配送把 SSR 提高 4.9 个百分点，把 tNPS 提高 36.69 分。
5. 跨模型的可推广性：用这套仿真选出 Qwen3.5-122B-A10B，替换卡片管理的在任模型。随后的线上 A/B 测试中，替换把 SSR 提高 8.82 个百分点，把 p95 延迟降低 25%，tNPS 没有统计上显著的变化。

2 相关工作

生产中的客户体验智能体

越来越多不同行业的公司把智能体工作流用于客户支持，包括 Amazon、Airbnb、Kakao、阿里巴巴集团、Thomson Reuters 和 Nubank。Zhao 等（2025）与 Su 等（2025）为 Airbnb 提出人在回路的反馈收集和合成数据流水线，用来持续把客户体验智能体对齐到人类偏好。Gupta 等（2026）给出 Nubank 上从离线验证跨到线上部署的分层流水线，并提高了 SSR 和 tNPS。

表 1：用来刻画仿真器的卡片配送（CD）版本，以及经仿真工作流评测的卡片管理（CM）配置。

基准里的用户仿真

为了在很宽的领域上给智能体做基准，合成人物被用来模拟多样的人类需求：或者用说出来的提示词大规模生成，或者微调用来仿真的语言模型。近期智能体基准尤其用提示词引导的用户人物来模拟真实场景。τ-Bench 定义多轮场景，智能体在零售和航空客户体验领域与提示词驱动的用户仿真器交互。τ²-Bench 把设定扩展为智能体和用户都可以调用工具，使仿真用户的动作更像人。在把客户体验智能体放到更真实环境的工作之外，本文处理的互补问题是：怎样刻画一个仿真器，并把它用作真实部署前、受限制的筛选层。

用户仿真的可靠性

仿真器如果保真度未知，会主动把人带偏。提示词驱动的用户仿真器常常因数据泄漏而抬高分数，或在多轮里守不住被指定的目标。严格验证仿真流水线的稳健性、以及它与真实人类行为的对齐，仍然困难。SimulatorArena 在数学辅导等公开任务上明确测量人类判断与助手评分的一致。RealUserSim 把仿真人物建立在从真实对话抽出的行为画像上，并用大语言模型评判的成对轨迹图灵测试来测保真度。本文通过比较仿真对话和真实对话来刻画这套用户仿真做法的可靠性，并说明仿真发现如何指导随后用 Nubank 真实业务结果检验的改动。最重要的是：不完美的仿真仍然可以指出方向正确的生产改进，收益由线上 A/B 评测确认。

3 仿真设置

本节汇总多轮智能体轨迹的生成与评测设置（图 2）。流水线选定一个目标智能体任务，用合成人物和工具回复做在策略上的对话仿真，再离线评测得到的轨迹。

目标智能体

研究的是 Nubank 的卡片配送智能体，以及替换它、支持更宽卡片生命周期请求的后继：卡片管理。作者用卡片配送轨迹刻画仿真流水线，再把得到的工作流用到卡片管理上。

3.1 仿真流水线

#### 提出的仿真流水线

轨迹生成以 Snowglobe 为主要仿真器（Guardrails AI，2025）。Snowglobe 实现 Park 等（2023）那种由人物驱动的仿真，输入是智能体描述和工具定义，可选地加上仿真提示词和历史对话。它从这些输入构造用例、用户画像、工具关系和轨迹计划（附录 A）。编排智能体把对话分配到用例和交互风格条件上，然后生成的人物与目标智能体多轮交互。每一句合成用户发言以智能体前一轮回复为条件；工具调用被拦截，用按场景条件化的合成结果回答，而不调用生产后端。当人物目标达成、被判定达不到，或碰到轮次或工具规格上限时，对话结束。作者采用 Snowglobe，是因为它有结构化编排、可控的场景覆盖，以及跨调用的工具状态一致性，用来做在策略上、由假设驱动的智能体筛选。

#### 朴素的大语言模型基线

为了看不用 Snowglobe 的结构化编排、只靠直接提示能做到什么，作者实现了一个朴素的大语言模型仿真器。一个人物模型生成非正式巴西葡萄牙语的客户发言，第二个模型为智能体的工具调用生成合成结果。两个角色都用 gpt-5.6-sol，推理强度为高，并收到与 Snowglobe 同类的、非测试集上下文：智能体描述、工具模式、产品需求元知识，以及工具调用例子。两个仿真器使用同一套带种子的场景分布。基线对话在人物示意完成、智能体把对话转给人工，或客户已发送十条消息时结束。与 Snowglobe 不同，基线不编排用例和交互风格覆盖，不生成结构化轨迹计划，也不用智能体画像模型维持跨调用一致性。附录 G 给出基线提示词。

3.2 卡片配送智能体

#### 智能体版本与数据

用户与卡片配送智能体之间的 8,000 段真实对话被均匀分成两份：开发集用来配置仿真器（即仿真刻画），测试集用来用刻画好的仿真画像验证智能体。四个已部署的卡片配送版本见表 1 左侧。

图 3：仿真做法与刻画。（a）候选改动被仿真，并用常设标准加上针对假设的标准，与在任基线比较，以筛选候选。（b）四项诊断比较按版本对齐的生产样本和仿真的卡片配送样本，刻画观察到的差异，但不建立后端保真度。原文这一图在 HTML 中没有独立图片文件。

测试集每个智能体版本含 1,000 段对话。每个版本经仿真器生成 250 条合成轨迹。

#### 离线评测

用五个语义类别离线评测智能体轨迹，裁判是大语言模型（GPT-4.1-Mini）：（E1）卡片补发失败；（E2）客户输入核验；（E3）卡片配送数据检查；（E4）回复简洁；（E5）办结简洁。类别沿用 Gupta 等（2026）。每个类别用经 GEPA 优化的单独系统提示词，返回二元通过或失败。GEPA 是一种反思式提示词演化方法。

3.3 卡片管理智能体

#### 智能体版本与数据

把图 3(a) 的仿真工作流用于指导卡片管理智能体的迭代改进。它的骨干模型是 GPT-5.2。表 1 右侧汇总基线和经该工作流做出的另外四个版本。

#### 离线评测

每个版本用一次大语言模型二元判断来检验该版本写明的假设。给定卡片管理智能体的执行轨迹和可用工具，裁判给出二元反馈：转给人工支持是否不必要。把每个候选的失败率与 V1 CM 比较，以决定是否接受改动。

#### 线上评测

用两个线上指标评估生产表现：tNPS 和 SSR。tNPS 是交互后推荐调查里推荐者百分比减去贬损者百分比，衡量客户满意。SSR 是用户没有要求人工支持、就由智能体办完的会话比例。

图 4：P2。在所有版本上，两组仿真都比离题对照更接近生产；在三个版本上，Snowglobe 不比基线离生产更远。数字是整段对话嵌入质心之间的余弦距离。下划线标出最近的非生产质心。热图原图入库，格内数字以原图为准。

4 面向客户体验智能体的用户仿真做法

算法 1 用工具边界上的轨迹仿真做由假设驱动的筛选。目的是露出大到足以影响部署决定的、候选相对在任的有益或有害差异。因此不必精确复现生产指标。

算法 1：由假设驱动的候选筛选

0: 在任智能体 A；仿真器配置 S；评测套件 E；事先写明的筛选标准 C
1: T_A ← Simulate(A; S)
2: 对每个候选修订 Δ：
3:     A′ ← A + Δ
4:     T_A′ ← Simulate(A′; S)
5:     用 E 评测 T_A 和 T_A′ 里的每一条轨迹
6:     若候选与在任的比较满足 C：
7:         把 A′ 标为可以进入线上 A/B 测试
8:     否则：
9:         重新评估或修订 Δ
10: 结束若
11: 结束对每个候选

算法先用仿真器配置 S 生成在任的在策略轨迹。S 指定目标用例混合。这些轨迹在整轮筛选中保持为共享基线。配置使用智能体描述和工具定义，可选地辅以仿真提示词和历史数据。记录场景构成，并把分布运行与针对性探查分开。按场景条件化的工具输出必须符合声明的模式，并在一段对话的多次调用之间保持一致。例如，同一条记录被查询两次时，若中间没有动作，状态不应改变。仿真锻炼的是对话与工具的交互，不测试后端实现（附录 B）。

每一轮筛选由一个可证伪的假设和事先写明的筛选标准 C 引导。假设决定关心的行为效应，C 定义评测结果如何支持进入线上测试的资格。评测套件 E 包含与任务和假设相关的评测器，适当时包括以大语言模型为裁判的评测器。它覆盖选定的常设标准，以及所提出的行为效应。同一套套件用于在任和候选轨迹；任何新引入的评测器也必须给基线轨迹打分。卡片配送的常设套件已对照人工标注校准；每个新的、针对假设的裁判，其校准必须单独报告。

候选仿真保持 S 不变。满足 C 的候选有资格做线上 A/B 测试；其余对照同一个在任重新评估或修订。只有候选成为在任之后才更新基线。对满足 C 的候选，较小或含糊的差异留给线上实验解决。这个循环补充条目级评测和线上 A/B 测试；图 3 把它和单独的仿真器刻画诊断放在一起。

4.1 仿真器刻画

作者引入四项诊断，其中三项自动、一项人工标注，记为 P1 到 P4。三项合成评测使用第 3.2 节的数据和离线评测流水线：每个卡片配送版本使用 1,000 段留出的、与真实用户的生产对话，以及 250 条 Snowglobe 轨迹。这些诊断针对互补的性质（图 3b），没有一项单独作为标准。

#### P1：对话长度统计

比较用户消息的词数，以及每段对话的用户轮数。报告累积阈值百分比，完整分布在附录 C。

#### P2：嵌入诊断

用 text-embedding-3-large 嵌入每段对话，并加上 user: 与 agent: 前缀。然后测量组质心之间的余弦距离和欧氏距离，并画出二维 UMAP。UMAP 是一种把高维点投到二维、尽量保住邻近关系的投影。

#### P3：评测分数的关联

把第 3.2 节的五个标准类别 E1 到 E5 用到生产、Snowglobe 和基线样本上。对每个智能体版本，报告各类别的平均分数及其 95% 置信区间。跨版本报告相对生产排序的平均秩、Pearson r 和 Kendall τ。Pearson r 衡量线性相关，Kendall τ 衡量秩一致。

#### P4：盲法的人类来源辨别

抽取 N=100 段 V4 CD 对话，其中 50 段生产、50 段 Snowglobe。选择 V4 CD 是因为它最新，也是标注者最熟悉的版本。七名领域专家提供标签。两组都做了同样的、遮蔽来源的规范化之后，标注者只看对话文本、不看工具调用序列，把每条分成生产或仿真，并在 1 到 5 的量表上报告信心。

4.2 开源权重模型筛选

#### 模型

在模型家族、推理强度和数值格式上测试卡片管理智能体的 29 个配置，仿真对话超过 16,000 段。模型包括 GPT-OSS-120B、Nemotron-3-Super-120B-A12B、Qwen3.5-122B-A10B 和 Qwen3.6-35B-A3B。

#### 评测

在第 3.2 节的离线评测做法上，用大语言模型裁判评测：（1）是否收集了适当输入；（2）卡片补发是否有效；（3）信息检索状态；（4）对话是否完整。表 3 里记为 Input、Reissue、Status、Complete。

5 结果

先在卡片配送版本上刻画仿真器，再报告卡片管理的离线分析和线上 A/B 比较，然后是开源权重模型的部署前筛选。

图 5：P3。Snowglobe 比基线更好地保住生产排序。图中是仿真对话和基线对话相对生产的 E1–E5 合计失败分（越低越好）。标签 1–4 是卡片配送版本。误差线是按对话聚类的 95% 自助置信区间。原文这一图在 HTML 中没有独立图片文件，数字见表 5。

图 6：P2。Snowglobe 样本集中在生产附近，基线则铺到更宽、并伸向离题对照的区域。联合 UMAP 上排比较 Snowglobe 与生产，下排比较基线与生产；两排都叠了离题对照。带光晕的星是投影后的组均值。原文这一图在 HTML 中没有独立图片文件。

5.1 仿真器刻画

#### P1：对话长度

附录 C 报告四个卡片配送版本的选定累积阈值（表 4）和完整分布（图 9）。在合并样本里，仿真对话中至多 50 个用户消息词的占 22.4%，生产里是 89.0%；至少 200 词的占 14.9%，生产里是 0.1%。同样，仿真对话中至多两个用户轮的占 16.4%，生产里是 36.8%。至少六轮和至少八轮的份额，仿真是 55.0% 和 25.2%，生产是 24.0% 和 10.6%。

#### P2：转录嵌入的接近程度

对每个卡片配送版本，生产与仿真转录质心的余弦距离，小于任一质心到离题对照质心的距离（图 4）。欧氏距离有同样的排序（附录 D，图 10）。与基线相比，按余弦距离，Snowglobe 在两个版本上更接近生产，一个版本在所报告精度上打平，一个版本更远；按欧氏距离，三个版本更近，一个版本更远。两组仿真都仍然比离题对照更接近生产。图 6 给出二维 UMAP。

#### P3：评测分数的关联

图 5 显示 Snowglobe 保住了生产的两端：V4 CD 最好，V2 CD 最差，尽管 V1 CD 和 V3 CD 交换了位置。基线则把 V3 CD 排成最好、V4 CD 排成最差。在 Snowglobe 的重抽样里，V4 CD 有 96.69% 的次数最好，基线重抽样里是 0%；V2 CD 最差的次数分别是 100% 和 1.56%。附录 E 的表 5 报告合计分数和排序一致指标。平均秩是 Snowglobe 1.38、基线 1.62。Snowglobe 与生产分数的 Pearson r 为 0.74，Kendall τ 为 0.67；绝对差最大的是 V2 CD（0.556 对 0.437）。

#### P4：盲法的人类来源辨别

标注者正确认出 50 段生产对话中的 42 段（84.0%），以及 50 段仿真对话中的 35 段（70.0%）。因此有 15 段仿真被分成了生产。报告的信心大约是 1 到 5 量表上的 3，包括判对的条目。

5.2 卡片管理：离线与线上结果

按这套仿真做法，V5 CM 的不必要转人工失败率最低，为 16.0%；V1 CM 为 22.4%，V3 CM 为 28.8%，V2 CM 和 V4 CM 均为 34.0%。相对 V1 CM，这是 6.4 个百分点的下降。随后的 A/B 测试中，卡片管理臂的 SSR 比卡片配送高 4.90 个百分点（95% 置信区间 [4.08, 5.71]），tNPS 高 36.69 分（95% 置信区间 [32.81, 40.57]）（表 2）。测试之后，该智能体向 Nubank 在巴西的客户开放。后来的一次测试，用第 5.3 节筛出的开源权重候选替换卡片管理的在任模型：开启推理的 Qwen3.5-122B-A10B。SSR 上升 8.82 个百分点（95% 置信区间 [7.95, 9.69]，n=8.4 千），tNPS 在统计上不变（−1.21 分，95% 置信区间 [−3.97, 1.55]，n=2.3 千），p95 延迟下降 25%。因此这个筛过的开源权重配置在满意度上与在任相当，同时改善了 SSR 和延迟。

一批 100 条仿真轨迹平均在 10 分钟内完成；这量的是生成运行时间，不是端到端迭代时间。卡片配送的十个版本开发周期（含这里研究的四个版本）跨了 212 个日历日。五个卡片管理版本跨了 22 日。分别是每个版本 21.2 日和 4.4 日，比值为 4.8。

表 2：两次筛过的改动的线上 A/B 结果。每一栏相对自己的对照报告差异。p95 延迟变化是服务栈上的点估计。

5.3 开源权重模型筛选

表 3 报告开源权重配置的四项评测失败率。按标准看，没有一个配置在所有项上都优于其他配置。Qwen3.5 在开启推理时 Input 失败率最低（0.4%），在关闭推理时 Complete 失败率最低（16.0%）。开启推理的 Qwen3.6 在 Reissue 上领先（14.0%）。中等推理的 GPT-OSS 在开源权重配置里 Status 失败率最低（17.6%）。在任模型在 Status 上仍有明显优势（2.4%）。

推理的效果也因模型和标准而异。对 Qwen3.6，开启推理降低全部四项报告的平均失败率。对 Nemotron，从无推理到低推理把 Complete 失败从 60.8% 降到 18.0%，但把 Status 失败从 21.2% 升到 36.4%。对 Qwen3.5，推理降低 Input 和 Status 失败，同时提高 Reissue 和 Complete 失败。这些结果说明，额外推理的收益是因模型而异的。

作者选择开启推理的 Qwen3.5-122B-A10B 作为提示词优化的起点，依据是它的 Input 失败率低，且 Reissue 和 Complete 有竞争力。相对在任，它的 Input 和 Complete 失败率分别低 3.2 和 15.0 个百分点，Reissue 相近（25.4% 对 25.2%）。更高的 Status 失败率（35.2% 对 2.4%）标出了要继续改的弱点。随后的提示词优化降低了这一项的失败。因此离线结果支持把 Qwen3.5-122B-A10B 作为线上评测候选，但没有把它确立为所有标准上最强的配置。随后的线上 A/B 结果见表 2。

表 3：仿真的卡片管理对话上的标准评测失败率（%，越低越好）。下标是不确定性半宽，按原文脚注抄录。加粗是开源权重配置里该项均值最低，下划线是次低。在任不参与最低和次低的比较。

5.4 部署教训与限制

仿真支持了更安全、更快的迭代：100 条轨迹的批次在十分钟内跑完，评测器露出行为回归，筛选抓住了工具调用失败，以及一种没有工具调用解析器的服务配置。大部分工程努力花在集成上：预发智能体复用线上的 MCP 模式，而有状态的工具返回与模式兼容的合成响应。MCP 是让智能体连接外部工具的一种协议。智能体仍掌握工具控制和顺序，但模式、例子、认证和仿真器画像需要持续对齐。

这套做法故意停在工具边界。有状态或有副作用的工具被模拟；知识库检索这类只读依赖可以保持在线。因此后端行为、延迟、持久状态和副作用仍未被测试。仿真轨迹还必须与生产的模式、标识和遥测对齐，否则导出和对账会抵消迭代收益。

6 结论

本文给出一种由假设驱动的做法，把仿真用作客户体验智能体部署前的筛选层。在 Nubank，仿真已经成为开发生命周期的一部分，使团队能在客户接触之前探索改动、识别行为失败并打磨候选。它的价值在于支持开发决定，不在于完美复现生产。把仿真和线上评测合在一起，这套工作流支持更宽的实验，同时让部署决定落在观察到的客户结果上。

参考文献

按原文编号保留作者、题名和出处，不另增文献。

• Agrawal 等，2026，GEPA: reflective prompt evolution can outperform reinforcement learning，ICLR，口头报告。
• Balog 与 Zhai，2024，User simulation for evaluating information access systems，Foundations and Trends in Information Retrieval 18(1–2):1–261。
• Barres 等，2025，τ²-Bench，arXiv:2506.07982。
• Dou 等，2025，SimulatorArena，EMNLP 2025，35212–35290。
• Ge 等，2025，Scaling synthetic data creation with 1,000,000,000 personas，arXiv:2406.20094。
• Gemini Team 等，2024，Gemini 1.5，arXiv:2403.05530。
• Guardrails AI，2025，SnowGlobe: the simulation engine for AI agents and chatbots，产品白皮书，访问日 2026-05-21。
• Guo 等，2025，DeepSeek-R1，Nature 645:633–638。
• Gupta 等，2026，Building customer support agents at 100M-user scale，KDD 2026 工业轨道，待刊。
• Huang 等，2026，CRMArena-Pro，TMLR。
• Jiang 等，2025，ChatMap，ACL 2025 Findings，11927–11947。
• Juclà 等，2026，Retrieval enhancements for RAG，EACL 2026 工业轨道，169–180。
• Kirk 等，2024，The PRISM alignment dataset，NeurIPS Datasets and Benchmarks。
• Li 等，2026，MatrAIx，arXiv:2608.04205。
• Luo 等，2025，Language model alignment for conversational shopping at Amazon，SIGIR 2025，4314–4318。
• Lynch 等，2025，Agentic misalignment，Anthropic Research。
• McInnes 等，2018，UMAP，arXiv:1802.03426。
• Mehri 等，2026，Goal alignment in LLM-based user simulators，TACL。
• Naous 等，2026，Flipping the dialogue，ICLR。
• NVIDIA 等，2026，Nemotron 3 Super，arXiv:2604.12374。
• OpenAI 等，2025，gpt-oss-120b and gpt-oss-20b model card，arXiv:2508.10925。
• OpenAI，2025，OpenAI o3 and o4-mini system card。
• Park 等，2025，A practical approach for building production-grade conversational agents with workflow graphs，ACL 2025 工业轨道，1508–1519。
• Park 等，2023，Generative agents，UIST，最佳论文。
• Qian 等，2025，UserBench，Scaling Environments for Agents 研讨会。
• Qin 等，2024，ToolLLM，ICLR。
• Qwen Team，2026a，Qwen3.5: towards native multimodal agents。
• Qwen Team，2026b，Qwen3.6-35B-A3B。
• Reichheld，2003，The one number you need to grow，Harvard Business Review 81(12):46–54。
• Cursor Research 等，2026，Composer 2 technical report，arXiv:2603.24477。
• Schick 等，2023，Toolformer，NeurIPS。
• Steinberger 与贡献者，2026，OpenClaw，GitHub，访问日 2026-09-03。
• Su 等，2025，LLM-friendly knowledge representation for customer support，COLING 工业轨道，496–504。
• Tack 等，2026，LLMs get lost in evolving user intent，arXiv:2607.20734。
• Tan 等，2025，PersonaBench，ACL 2025 Findings，878–893。
• Tien 等，2026，ROGUE，arXiv:2606.00341。
• Vijayvargiya 等，2026，OpenAgentSafety，ICLR。
• Yao 等，2025，τ-bench，ICLR。
• Yao 等，2023，ReAct，ICLR。表 1 引用。
• Zhao 等，2025，Agent-in-the-loop，EMNLP 2025 工业轨道，1919–1930。
• Zhu 等，2024，How reliable is your simulator?，WWW 2024 Companion，1726–1732。
• Zhu 等，2026a，RealUserSim，arXiv:2605.20204。
• Zhu 等，2026b，Establishing best practices in building rigorous agentic benchmarks，NeurIPS Datasets and Benchmarks。

附录 A Snowglobe 如何推断仿真属性

在能有意义地与智能体交互之前，Snowglobe 需要近似这个智能体的目标、它的用户和它的行为。最少输入是智能体描述加上工具定义。一组智能体从这些输入推断仿真所依赖的属性（图 7）：智能体服务的用例、合成用户画像以及这些用户会携带的数据、工具彼此之间以及与周围系统的关系，以及会调用每个工具的用户轨迹。有些属性在智能体接入时解析一次，有些在一次仿真开始时解析。

两个可选输入会重新定向这些属性。仿真提示词把一次运行收窄到选定的一组用例或行为，其余推断图景保持不动。若提供真实历史对话，则离线处理以抽出用例、语言风格及其分布，存下来并用于约束后来的运行。

图 7：Snowglobe 里的属性推断。从必需的智能体描述和工具定义出发，可选地加上仿真提示词和历史数据，一组智能体推断用例、用户画像及其种子数据、工具交互模型，以及工具上的用户轨迹。历史数据被离线处理成可以约束后来运行的特征。原文这一图在 HTML 中没有独立图片文件。

附录 B 工具边界模拟

在仿真里行使智能体的工具会带来单独的问题。仿真环境不得通过有状态工具访问生产数据，但又必须经由这些工具返回数据，智能体才能端到端运行，而且这些数据必须与对话状态以及更早的工具调用结果一致。测试工具本身是另一件事，更适合用别的方法，不是这里的目标。

Snowglobe 满足这些约束，同时从不维护一个状态数据库（图 8）。接入时，它吸收工具定义，并建立一个功能模型：工具如何关联，以及数据必须长成什么形状才能满足每次请求。这个模型称为智能体画像。编排器用智能体画像产生人物种子：部分种子状态，配上这些数据在一段对话里应如何演化的轨迹。人物种子在运行时投影到人物上，以落地他们的目标。

仿真时，对被测智能体某个工具的调用被路由到处理该对话的人物智能体，而不是真实实现。人物智能体用自己的部分状态和智能体画像里的一致性规则，返回符合该工具输出形状的响应，再交回被测智能体。因为没有实例化共享的世界状态，每段对话在自己的沙箱里运行。Snowglobe 称之为工具边界模拟：只回答边界上的单次工具调用，从不回答整个后端或数据库。

图 8：工具边界模拟。仿真用户与被测智能体交换轮次时，智能体的每次工具调用由模拟工具层回答，该层由人物和智能体画像参数化。只模拟工具边界。原文这一图在 HTML 中没有独立图片文件。

附录 C 对话长度分布

图 9 给出 P1 的用户消息词数和用户轮数的完整分布，补充表 4 的阈值。长度只算用户侧。组是：在 V1 CD 到 V4 CD 上合并的生产流量（n=4000），同一批版本的 Snowglobe 仿真（n=1000），以及离题对照（n=226）。保留的 226 条对照编码在作图产物和历史实验代码里，但从记录在案的上游 1,000 条随机对照样本如何过滤，没有被记录下来。表 4 用分档汇总，便于比较极端值。

生产用户文本很短（中位数 19 词，均值 25.8）。对照在同一尺度上（中位数 20，均值 27.5）；仿真用户不是（中位数 111，均值 119）。对照在表 4 词数切点上的份额是 85.8%（不超过 50）和 0%（不少于 200）。因为对照是生产流量而不是大语言模型生成的用户文本，它不能判定偏重的仿真长尾是这一配置特有的，还是大语言模型用户仿真器常见的。

在生产里，24.3% 的对话只有一个用户轮，中位数是三轮。对照从没有一轮对话，并在三轮达到峰值（33.2%）。仿真对话更长（中位数 6），并碰到硬上限：25.2% 恰好有八个用户轮，没有更多。因此每一段仿真对话的用户轮都少于 10，而 10 是生产的第 95 百分位，尽管仿真中位数更高。对照在表切点上的份额是 18.6%（不超过 2）、17.7%（不少于 6）和 4.0%（不少于 8）。

图 9：P1。Snowglobe 仿真对话在用户消息词数和用户轮数上都明显长于生产和离题对话。上排是词数，下排是用户轮：经验累积分布（a、d），密度或频数（b、e），以及套着箱线图的小提琴图（c、f）。(e) 把不少于 10 的值并进 10+ 档。原文这一图在 HTML 中没有独立图片文件。

表 4：P1。V1 CD 到 V4 CD 的选定累积对话长度阈值。数值是满足该标准的对话百分比；行之间可以重叠。词数只含用户消息。

附录 D 转录质心的欧氏距离

图 10 是图 4 余弦距离结果的欧氏距离对应。

图 10：P2。在所有版本上，两组仿真都比离题对照更接近生产；在三个版本上，Snowglobe 不比基线离生产更远。数字是整段对话嵌入质心之间的欧氏距离。下划线标出最近的非生产质心。热图原图入库，格内数字以原图为准。

附录 E 评测分数关联的细节

表 5 报告 P3 的合计分数和排序关联统计。每段对话贡献五个二元失败结果，每个评测器一个。在每个来源与版本的池子里，先对每个评测器跨对话取平均，再对五个评测器均值取平均；合计分数越低表示失败越少。

95% 区间使用 10,000 次按对话聚类的自助重复。每次重复有放回地重抽对话行，保留被抽中对话的五个结果，并重新计算合计分数。生产定义参考排序。平均秩概括与该顺序的接近程度（越低越好），Pearson r 衡量版本级分数的线性关联，Kendall τ 衡量秩一致。

极端秩分析使用同一重抽样。每次重复按合计分数给四个版本排序，平局平分名次。报告的频率只估计 V4 CD 有多常是最好、V2 CD 有多常是最差。

表 5：P3。按版本的 E1–E5 合计失败分（越低越好），报告为均值 ± 按对话聚类的 95% 自助半宽。生产定义参考排序；平均秩、Pearson r 和 Kendall τ 衡量与它的一致。

附录 F 开源权重筛选：推理与量化

因为仿真臂不把客户暴露出去，筛选可以扫那些否则只能凭直觉争论的配置。本附录报告第 5.3 节所概括的扫描，在 Nemotron-3-Super-120B-A12B 上跨三种量化和三种推理设置。图不含在任模型：合计分是为本智能体建的评测器上的均值，用来把一个模型在不同设置下和自己比，而不是用来相对生产给候选排名。

图 11 给出结果。推理强度使合计分单调、且大幅度移动：在 nvfp4 上，从关闭推理的 42.9 到开启的 31.3。机制是检索：模型取回任务所要求的公司记录的比率，在同一范围内从 16% 升到 94%。量化不移动它。在 nvfp4、fp8 和 bf16 上，推理关闭、低、开启时的极差分别是 2.2、0.8 和 4.1 分，对照一个固定配置六次重复运行测得的合计分标准差 2.2 分。在这个样本量上三种量化不可区分，而推理设置把合计分移动大约 11 分。

图 11：Nemotron-3-Super-120B-A12B 的推理与量化扫描。横轴是推理设置，合计评测分越低越好，每种量化一条序列。误差条是固定配置六次重复运行测得的合计分 ±1 个标准差，是尺度参照，不是与任何臂的比较。原文这一图在 HTML 中没有独立图片文件。

附录 G 基线仿真器提示词

两个仿真器模型（用户和工具）都是 gpt-5.6-sol，reasoning_effort=high。花括号占位符标记推理时拼上的、因运行而异的上下文：智能体描述、工具 JSON 模式、产品需求文本，以及工具调用例子。提示词按原文保留，不改写。

G.1 人物模型

人物被给予一个函数工具 end_conversation，以便它能触发仿真结束。下面是第一条用户消息。后来的轮次复用同一系统提示词，并附上对话（只有用户和助手文本）。

客户卡片从带种子的生成器抽样。

You are a Brazilian Nubank customer chatting
in the Nubank app.

Stay in character. Write in informal Brazilian
Portuguese, like a real customer on a phone
keyboard: short messages, occasional typos,
no markdown.

You are talking to a support chatbot. You do
not work at Nubank. You do not know internal
tool names, IDs, or policies beyond what is
listed below.

Your persona:
{persona_card}

Rules:
- Send one customer message at a time.
- If the bot resolved your issue, or you are
  done, call end_conversation.
- If the bot transfers you to a human, call
  end_conversation.
- Do not invent that a human already joined.
- Maximum 10 of your messages in the whole
  conversation.

## Agent description
{description}

## Tools the agent can use (description + schema)
{tools_schema}

## Product requirements (meta-knowledge)
{prd}

## Tool examples
{tool_examples}

第一条用户侧指令：

Write your first message to the Nubank chatbot now.

G.2 工具结果模型

模拟后端是第二次补全（不用工具）。用户消息是待处理的工具调用。

You are an LLM tool-result simulator for a
Nubank card-delivery conversation.
Generate a realistic JSON result for the
given tool call.
Return ONLY the tool output (JSON if
possible). No preamble.
Stay consistent with earlier results in this
conversation when the same IDs appear.

## Agent description
{description}

## Tool description + schema
{tools_schema}

## Product requirements (meta-knowledge)
{prd}

## Tool examples
{tool_examples}

待处理调用的用户消息：

Generate a result for this tool call.
Tool: {tool_name}
Arguments: {arguments}

出处：Edesio Alcobaça，Kevin Rossell，Aman Gupta，Shao Tang，Jiwoo Hong，Pabel Carrillo-Mendoza，Wanderson Conceição Ferreira，Alvaro Tedeschi，Zayd Simjee，Shreya Rajpal，Bruno Finardi Hime，Christian Sousa，Luis Moneda，Herbert Fei，Daniel Silva，Rohan Ramanath，Screen Before You Serve: Simulation for Production Customer Experience AI Agents at 140M Scale，2026-09-24，https://arxiv.org/abs/2609.30137，CC BY 4.0。