FDE-Gym：人工智能交付的最后一公里

FDE-Gym：人工智能交付的最后一公里

核心作者：Dongxu Yang、Hongda Yan、Renxin Wang、Baoli Zhang、Haojia Zuo、Ying Zhao、Youmin Chen。贡献者：Xiaojian Liao、Congming Gao、Tianyang Jiang、Yixiao Chen、Qing Wang、Zhiguo Yu、Xiaqing Li、Yuhao Zhang、Jiawen Sun、Renzhe Xu、De Mi、Tiancheng Wu、Xianya Fu、Xuanlu Zhao、Bo Feng、Meixuan Ren、Guanming Lin、Ziheng Zhou、Xinhua Wang。

单位：1 DeepLethe；2 清华大学；3 上海交通大学；4 北京航空航天大学；5 厦门大学；6 南京大学；7 北京交通大学；8 北京邮电大学；9 天津大学；10 上海财经大学；11 哈佛大学；12 斯坦福大学；13 伦敦大学学院；14 康奈尔大学；15 华为；16 Atlassian；17 Meta；18 微软亚洲研究院；19 StellarCube.ai；20 优维科技（北京）有限公司；21 博派管理咨询（深圳）有限公司；22 中国石油西南油气田公司勘探开发研究院；23 昆仑数智科技有限责任公司。通讯作者：Dongxu Yang 与 Youmin Chen。

链接：网站 — 在线 Gym — 排行榜 — GitHub — Hugging Face

图 1：FDE-Gym 的构建。专家把来自 18 个行业的 20 个真实世界交付项目改编成可运行的客户环境，改动关键事实以形成变体任务，并只保留评分器已对照预定义评分锚点完成验证的 95 项任务。

图 2：模型在各任务指令层级上的表现。（a）每个模型在全部 95 项任务上的 L3 平均分，采用归一化刻度，其中 0 表示什么都不做的基线，1 表示参考解。实心条表示扣除利益相关方联络成本之后的分数；浅色条表示扣除之前的归一化业务提升。（b）随着任务指令中给出的信息逐步减少时的分数。L0–L2 在 20 项原始任务上评估，L3 在全部 95 项任务上评估。

摘要

现有智能体基准通常在由问题报告、规格说明或任务工单界定的、说明已经相当清楚的任务上评估智能体。真实世界的客户交付则不同：前线部署工程师（forward-deployed engineers，FDE）必须澄清含糊的需求，在正在运行的系统里工作，并找出没有写明的约束。我们提出 FDE-Gym，这是一个包含 95 项端到端交付任务的基准，任务来自 18 个行业的 20 个客户场景，每一项都由行业专家根据真实世界的交付项目改编。在带有脚本化利益相关方和可修改客户系统的模拟客户环境中，智能体与利益相关方交互，并在类似生产的系统上操作，以交付可用的解决方案。FDE-Gym 按照交付结果把客户自身成功指标提高了多少来打分，并归一化到 0（系统未改变）与 1（参考解）之间；对利益相关方交互（消息、试运行和等待时间）施加惩罚。一个在线平台让人可以在同一套评分标准下练习 FDE 技能。我们评估了来自七家提供方的 13 种模型配置。在必须自行发现未言明约束的现实设定中，最好的配置得到的平均 FDE-Gym 分数为 0.56，并且 95 项任务里只解决了 14 项（分数至少为 0.8 且没有事故）。发现未言明约束是主要瓶颈：当模型必须在没有明确指导的情况下找出这些约束时，表现急剧下降。然而，仅仅发现信息并不能解释这一差距：即便在最好的配置从利益相关方那里获得了每一条关键事实的 23 项任务上，归一化业务提升达到或超过 0.8 的也只有 10 项。这些结果表明，解决说明清楚的任务，与为真实客户交付有效的人工智能系统之间，存在很大差距。

1 引言

在企业环境中部署人工智能，所要求的不止是满足客户已经说出口的需求。困难往往在于识别哪些改动会在实践中改善客户的运营。我们基准中的一个场景说明了这个问题。一家钻井作业公司的副总裁希望为十一月的董事会准备一个生成式人工智能的成功故事。副总裁要求一封每日摘要邮件和一个“问问你的井”聊天框，并指出停工编码系统已经就位，因此不在项目范围之内。

然而，严格按任务指令做出的解决方案可以按时交付，通过每一项功能检查，却仍然不能把客户自己的业务指标移动哪怕一个点。瓶颈在于每月的停工抵免索赔。现有的基于关键词的脚本把一部分停工错误地归到承包商头上，导致每个月至少有一行存在争议，并暂停该月的抵免。处理这个问题需要重新检视发起人明确排除在项目范围之外的停工编码系统。工程师必须识别适用的合同规则，与成本工程师确认解释，并从一个那一周无法联系的审批人那里获得变更批准。

这就是前线部署工程师（FDE）的角色，也就是供应商派到客户组织内部工作的工程师。这个角色不止是把发起人最初要求的东西做出来。FDE 必须识别什么才会真正有帮助，并与客户的系统和利益相关方一起把改进交付出去。

现有基准很少处理人工智能交付的这最后一公里，它们通常假定问题已经被界定清楚。软件工程基准提供问题和隐藏测试 [1, 2, 3]，部署基准提供规格说明 [4]，企业基准提供预先定义的任务 [5, 6]，澄清类基准则从一项原本规格正确的任务里扣留信息 [7, 8]——在每一种情形里，底层问题都保持固定。较新的基准更接近真实世界的交付。$\tau$$^{\tau}$-bench [9] 评估的是这样的智能体：它们根据客户需求构建客户服务系统，并把得到的系统部署去面对留出的用户。一项后训练基准 [10] 让智能体担任前线部署工程师，并评估交付的模型是否提高了性能。XYEval [11] 在误导性的用户请求上测试智能体。然而，这些基准仍然是把交付的个别方面拆开处理。

FDE-Gym 在一个基准里处理这些挑战：95 项任务，来自 18 个行业的 20 个客户场景，每一项都由行业专家根据真实世界的交付项目改编。发起人的请求可能对准了错误的问题，关键约束必须通过与利益相关方交互才能发现，而表现是用客户自己的业务指标来衡量的。因此，对准了错误问题的解决方案得不到分数。

交付的系统不做修改即被部署，并在留出的生产数据上评估。FDE-Gym 分数衡量的是，在扣除利益相关方联络成本之后，客户自身业务指标的改进（第 2.3 节说明哪些联络会计费）。什么都不做的基线（未改变的系统）得 0 分，专家撰写的参考解得 1 分，而字面遵守发起人请求至多得 0.2 分。实验结果表明，当前模型在这一刻度上的表现远低于参考解。

为了识别智能体在哪里失败，我们把每个场景做成四个任务指令层级，信息逐步减少（从完全写明的问题（L0），一直到发起人的原始请求，而该请求可能并没有对准底层问题（L3））。环境、利益相关方和评分器在四个层级上保持不变。因为只有任务指令在变，表现差异就隔离出了被扣留信息的效应。我们用这一设置评估来自七家提供方的 13 种模型配置。由此得到五项主要发现。

• 即便最好的模型配置也远未达到参考解。 在 L3，Claude Opus 5.5 取得最高平均分 0.56，并解决 95 项任务中的 14 项，而十三种配置里有五种一项都没有解决。即便为每项任务挑选表现最好的配置，分数也只有 0.70，解决的任务为 30 项。
• 发现未言明约束是领先模型的主要瓶颈。 当相关规则和约束被提供时，三个领先模型的分数为 0.73–0.82。要求这些模型自己发现约束，分数急剧降到 0.39–0.62。在原始任务上，L3 分数至多比 L1 分数低 0.08。
• 拿到必要信息并不能保证有效交付。 在 L3，领先模型从利益相关方那里拿到 72–85% 的关键事实，但交付的系统只达到参考改进的 0.60–0.70。利益相关方联络成本再把最终分数降低 0.14–0.22。
• 较弱的模型可能让客户比什么都不做更糟。 Claude Haiku 4.5 在 95 项任务中的 79 项上低于什么都不做的基线，而 Mistral Small 4 交付的系统即使在扣除利益相关方联络成本之前，也有 51 项低于这一基线。
• 没有一个模型在所有场景上都表现良好。 在 20 个场景中的五个里，没有模型的平均分达到至少 0.5。在同一场景的各项任务之间，领先模型分数极差的中位数为 0.34–0.44。

我们做出三项贡献。第一，我们提出 FDE-Gym，这一基准评估智能体能否识别客户的底层问题，并交付一个可度量地改善业务结果的可用解决方案。第二，我们发展了一套构建场景的方法，把任务变体、脚本化的利益相关方和预先定义的评分锚点结合起来，以支持可复现的评估，并限制对字面遵守和捷径解的奖励。第三，我们评估了 13 种模型配置，并提供一个在线平台，让人和智能体可以在同一套评分标准下练习交付。

2 一项任务的解剖

每项任务代表一次客户委托，涉及一个客户（雇用该智能体的组织，其人员就是智能体可以询问的利益相关方）、一个发起人（布置任务的客户方人员），以及一个有待改进的生产系统。图 3 展示一项任务的四个组成部分。

图 3：一项 FDE-Gym 任务的组成部分，展示任务输入、智能体动作与交付物、对已交付系统的部署与评估，以及对所得分数的解释。智能体阅读任务输入，并与客户利益相关方交换消息；利益相关方回答问题，也可能主动联系。只有当坐标轴上所示的评分锚点得到满足时，一项任务才会被纳入。

2.1 环境与可得信息

智能体从一个工作区开始。工作区里有任务指令（发起人所布置工作的描述）、客户生产系统的一份副本、相关文档和历史数据，以及带有联系方式的人员名录。运行环境提供标准的 Python 和 SQLite。禁止安装额外的软件包，也禁止访问一般网络。已交付系统只能向公司的大语言模型网关发送网络请求，网关按使用量计费。一旦交付完成，system/ 的内容不做修改即部署到生产环境。生产环境继续调用原来的入口点，因此新功能必须与这些入口点集成才能生效。

智能体并没有被明确告知：联络利益相关方会产生成本，有些人不该联系或与问题无关，以及发起人的请求可能指错了方向。识别这些问题是评估的核心目标。相关线索出现在人员名录、客户文档和数据里，而这正是 FDE 通常会去查找这类信息的地方。和真实项目一样，文档可能过时，遗留代码可能反映错误假设，重要信息也可能没有在现有材料里明确写出。

2.2 任务指令层级

表 1：四个任务指令层级。工作区、利益相关方和评分标准在各层级上保持相同；只有任务指令发生变化。

四个任务指令层级（表 1）通过改变任务指令、同时保持环境和评估标准固定，把实现、约束发现和问题澄清这几项挑战区分开来。L0 指令明确陈述底层问题、相关规则与约束以及评分标准，留给智能体去设计和实现解决方案。L1 指令扣留规则与约束，L2 指令则只给出对问题的含糊描述。L3 指令呈现发起人的原始请求，要求智能体判断该请求是否对准了底层问题。我们把 L3 作为主要评估设定，因为这一层级最接近真实世界客户交付项目的起点。L0 并没有取消工程决策的需要。它写明规则，但把解决方案设计留开，从而衡量当全部底层事实都已给出时，智能体能够构建出什么。

2.3 FDE-Gym 分数

FDE-Gym 按照已交付系统在客户业务指标上取得的改进来评估，测量使用留出的生产数据。例如，一套售后系统按其净财务收益来评估，而一套钻井系统则按被正确归到承包商、从而可以提出补偿索赔的停工小时数来评估。

我们定义下列指标，用以评估智能体在这些交付任务上的表现。

归一化业务提升（U）。 我们相对于专家撰写的参考解所取得的业务改进，来衡量本次交付的业务改进

$$ U=\frac{\mathrm{KPI}_{\mathrm{delivered}}-\mathrm{KPI}_{\mathrm{baseline}}}{\mathrm{KPI}_{\mathrm{reference}}-\mathrm{KPI}_{\mathrm{baseline}}} $$

这里，$\mathrm{KPI}_{\mathrm{baseline}}$、$\mathrm{KPI}_{\mathrm{delivered}}$ 和 $\mathrm{KPI}_{\mathrm{reference}}$ 分别表示未改变系统、已交付系统和专家撰写的参考解在同一批留出数据上的客户业务指标。未改变的系统就是什么都不做的基线。因此，U = 0 表示没有改进，U = 1 表示与参考改进相当，U $<$ 0 表示结果比基线更差。

事故调整（$U_{\mathrm{adj}}$）。 如果发生预先定义的运行事故，例如未经授权的动作，则正的提升被置为零，负的提升予以保留

$$ U_{\mathrm{adj}}=\begin{cases}U,&\text{if no incident occurs},\\ \min(U,0),&\text{otherwise}.\end{cases} $$

利益相关方联络成本（C）。 利益相关方联络成本用与业务提升相同的归一化单位表示。它是智能体与客户的联络所产生费用之和

$$ C=\sum_{k\in K}c_{k}, $$

其中 K 是该次运行中可计费联络的集合，$c_{k}$ 是按照该任务预先定义的定价和联络规则，对联络 k 收取的费用。每位利益相关方都有一个隐藏的按消息计费率；当智能体超出其耐心或违反联络限制时，收费更高。未得到回复的消息不计费。在带有试验环境或日历的场景中，每一次试运行和每一天的等待也是可计费联络。

FDE-Gym 分数（S）。 FDE-Gym 分数衡量单次评估运行中的交付表现。它是经过事故调整的归一化业务提升减去利益相关方联络成本

$$ S=U_{\mathrm{adj}}-C. $$

如果没有事故，S = U $-$ C。若分数至少为 0.8 且没有发生事故，则该项任务被视为已解决。

平均 FDE-Gym 分数（$\overline{S}$）。 平均 FDE-Gym 分数概括一个模型在各项任务和重复运行上的交付表现。为了防止极端的业务损失支配所报告的平均值，我们在扣除全部利益相关方联络成本之前，把经过事故调整的提升下限设为 $-$1。然后对任务和运行取平均：

$$ \overline{S}=\frac{1}{N}\sum_{i=1}^{N}\frac{1}{R}\sum_{r=1}^{R}\left[\max\left(U_{\mathrm{adj},i,r},-1\right)-C_{i,r}\right]. $$

这里，N 是被评估的任务数，R 是每项任务的运行次数，i 和 r 分别索引任务和运行。每项任务权重相等。该下限只用于汇总，并不改变用来判定一项任务是否已解决的单次运行分数 S。

图 4 给出钻井场景、其客户指标以及交付结果。

图 4：一个演算示例：钻井场景（oil_npt），原始任务。

3 构建基准

译注：本节标题统摄其后各小节，原文在标题之下没有另起段落。

3.1 从真实世界交付项目构建场景

图 1 追溯一次真实交付如何成为基准中的一项任务。行业专家把 2024 年以来在中国、新加坡和美国开展的真实世界客户交付项目，改编成横跨 18 个行业的 20 个场景（表 2）。每个场景产生一项原始任务和若干变体，它们共享同一个客户环境，但关键事实不同。每项原始任务和每个变体都是单独的基准任务，合计 95 项任务。任务要求智能体交付一个在客户环境中运行的智能体、工作流或服务。这些场景以行业实践为依据，相关法规、标准和公开来源均有记录。公司和人员或者经过去标识，或者是虚构的，部分数据由真实世界的行业来源改编。

3.2 场景变体与底层事实

每个场景只有一项固定任务，可能让模型依赖记住的解法或反复出现的模式。为降低这一风险，专家在每个场景的原始任务之外又设计了二到七个变体。变体改变关键事实，包括哪一条规则已经过时、谁掌握关键信息，以及发起人的请求是否对准了底层问题。这些改变可能要求不同的交付方案，因此在一个场景的某项任务上成功的方案，可能在另一项上失败。在各场景之间，没有任何一种问题模式出现在超过三分之一的集合里。这些设计选择合在一起，促使智能体根据每项任务中的证据来判断，而不是套用一个固定解法。

3.3 利益相关方模拟

FDE-Gym 在 20 个场景中模拟了 130 多位客户利益相关方。利益相关方的回应是脚本化的，以保证可复现，因为更换用户模拟模型可以把测得的智能体成功率移动几个百分点 [14]。一个小模型把问题映射到话题，而每位利益相关方的知识、误解以及披露信息的条件都预先固定。脚本包含有限的耐心、对支持证据的要求、对先前对话的依赖、暂时无法联系，以及联络限制。智能体必须从客户文档中推断利益相关方的角色和沟通约束。

表 2：FDE-Gym v1.0 的 20 个场景。一个场景的各项任务（原始任务及其变体）共享同一客户环境，差异在于问题背后的关键事实；任务共计 95 项。最后一列给出原始任务据以评估的留出数据。

3.4 准入锚点与反博弈验证

纳入 FDE-Gym 的每项任务都必须满足四个预先定义的评分锚点（图 3）。（1）参考解的分数必须至少为 0.95。（2）什么都不做的基线必须得 0 分。（3）字面解——也就是精确实现任务指令所要求的内容、而不再寻找任何进一步约束的解——分数必须至多为 0.2。即便发起人的请求识别对了问题，这一条件仍然成立，因为任务指令中省略的约束仍然决定结果。唯一的例外是发起人的请求既正确又完整的任务；在那里，字面解与参考解重合，分数必须至少为 0.95，从而使“不信任发起人”永远不会成为普遍得到奖励的策略。（4）捷径策略的分数必须至多为 0.8。这些策略包括过拟合历史数据、猜测整数阈值，以及把所有不确定的决定都推给人。如果智能体试图绕过客户控制或操纵评分器，分数会被压到接近零。评分器对照 270 多种捷径和绕过策略做过测试。只使用客户文档和数据来解决问题的智能体，与那些和利益相关方交互的智能体按同一标准计分。

3.5 专家评审与在线平台

行业专家交叉评审并反复打磨每项任务。他们对 FDE-Gym 开发的贡献合计超过 10,000 小时。FDE-Gym 还提供一个在线平台（fde-gym.com），人类参与者使用与智能体相同的工作区，与相同的利益相关方交互，并由相同的评分器评估。目前正在那里、在有记录的条件下，向从事 L3 任务的行业专家收集人类基线。结果将在本文的未来版本中报告。

4 实验设置

模型。 我们评估来自七家提供方的 13 种模型配置（12 个模型，其中一个同时在有扩展思考和没有扩展思考的情况下评估）：Claude Opus 5.5、Claude Sonnet 5.5、GPT-6 Astra、GPT-6.1 Sol、GLM-5.3 Flash、DeepSeek V4.1 Flash、Gemini 3.8 Flash、Qwen 3.8 Flash、GPT-5.5、GPT-6 Luna、Mistral Small 4、Claude Haiku 4.5，以及 Claude Haiku 4.5（thinking）。所有模型使用同一个最小智能体框架和五件工具（执行命令、读取文件、写入文件、编辑文件、列出文件），没有针对模型的定制。它们通过在工作区中调用一条命令来联系利益相关方。

协议。 我们在四个任务指令层级（L0–L3）上评估模型，从完全写明的问题到发起人的原始请求。L3 是主要设定，反映请求可能没有对准底层问题的真实世界交付。它覆盖全部 95 项任务：20 项原始任务，以及关键事实被改动的 75 个变体。为了测量任务指令中所提供信息对表现的影响，我们也在原始任务上评估 L0–L2。有三个场景的 L2 与 L3 任务指令相同；对这些场景，原始任务上的 L3 运行同时充当 L2 结果，因此四个层级都在同样的 20 项原始任务上报告。每个模型因而在 L0 上运行 20 项任务，L1 上 20 项，L2 上 17 项，L3 上 95 项，每个模型合计 152 个任务–指令层级组合，13 种模型配置合计 1,976 个。每个组合运行三次，分数取平均。每次运行在智能体提交交付物时结束，或在达到 200 个回合、150 分钟或 8 美元模型使用成本这三个上限中最先到来的一个时结束。系统随后按当时所达到的状态被部署并评估。

报告。 我们报告每个任务指令层级上、在所评估任务之间的平均 FDE-Gym 分数；对完整的 L3 评估，95% 置信区间通过对任务做自助法计算。我们还报告扣除利益相关方联络成本之前的归一化业务提升，以便把系统表现和联络成本区分开，并按照关于成本感知评估的工作的建议，报告每次运行的模型使用成本 [15, 16]。分数、置信区间、归一化业务提升和利益相关方联络成本见表 3；每次运行的平均模型使用成本见图 5b。

与其他基准的比较。 我们把 FDE-Gym 分数与 Terminal-Bench 2.1 [2]、Vibe Code Bench [12] 和 Finance Agent [13] 上的任务成功率相比较，使用来自 Vals AI（vals.ai/benchmarks，访问日期 2026 年 10 月 6 日）的结果。已发表的结果是任务成功率，而 FDE-Gym 的结果是归一化提升；因此图中把二者并排放置，并不把它们等同。我们使用单一的独立来源，使每个基准对每个模型都以同样的方式运行。本文引用的其他基准并非由这一来源运行，而且 SWE-bench Verified 在那里也不再对新模型运行，因此对图中所示模型没有可比较的结果。对每一家提供方，我们展示其在本研究中评估过、且在全部三个外部基准上都有结果的模型里，于 FDE-Gym 上表现最好的那个。为了与以百分比报告的成功率比较，我们把 FDE-Gym 分数乘以 100。

可用性。 创建任务工作区、模拟利益相关方并给交付物评分的测试框架，以及本研究所用的实验运行器，都是开源的（github.com/deeplethe/fde-gym，版本 1.1.0）。20 项原始任务及其评分器可按请求获得（huggingface.co/datasets/DeepLethe/FDE-Gym），其中三项作为示例公开。75 个变体和全部参考解予以留出。

5 结果

译注：本节标题统摄其后各小节，原文在标题之下没有另起段落。

5.1 即便最好的模型也远未达到参考解

图 2 和表 3 给出主要结果。在 L3，Claude Opus 5.5 以 0.56 领先（95% 区间为 0.50 到 0.62），其次是 Claude Sonnet 5.5 的 0.49、GPT-6 Astra 的 0.38，以及 GPT-6.1 Sol 的 0.37。我们在后文把前三个称为三个领先模型，GPT-6.1 Sol 紧随其后。另有三种配置的分数接近 0.2，两种只略高于零，其余四种低于零。没有任何模型解决超过 95 项中的 15 项，十三种配置里有五种一项都没有解决。

这一差距并不是由少数异常困难的场景驱动的。只有在 bank_scam_hold 这一个场景上，才有模型的平均分至少达到 0.8（图 7）。若对每项任务取十三种配置中取得的最好分数，得到 0.70，解决的任务为 30 项；有 16 项任务没有任何配置达到 0.5。

刻度的上端是可以达到的：在同一评分器下，每个参考解的分数都至少为 0.95；当规则被给出时（L0），领先模型达到 0.73–0.82。只给出发起人的请求时，人类专家能走多远，将由目前正在收集的人类基线来确定。

表 3：主要结果。左：20 项原始任务上按任务指令层级的分数。右：L3 上的全部 95 项任务，包括 95% 区间、扣除利益相关方联络成本之前的归一化业务提升、利益相关方联络成本，以及已解决任务数（分数 $\geq$ 0.8 且没有事故）和低于什么都不做基线的任务数（分数 $<$ 0）。

译注：表 3 是纯数字结果表，模型名称与全部数字格按原文保留，只译表头。左半报告 20 项原始任务在 L0、L1、L2、L3 四个指令层级上的分数；右半报告全部 95 项任务在 L3 的分数、95% 置信区间、扣除联络成本前的归一化业务提升 U、利益相关方联络成本 C、已解决任务数，以及分数低于零的任务数。十三行配置自上而下依次为 Claude Opus 5.5、Claude Sonnet 5.5、GPT-6 Astra、GPT-6.1 Sol、GLM-5.3 Flash、DeepSeek V4.1 Flash、Gemini 3.8 Flash、Qwen 3.8 Flash、GPT-5.5、GPT-6 Luna、Mistral Small 4、Claude Haiku 4.5，以及带扩展思考的 Claude Haiku 4.5。阅读时以中文表头为准，不要把英文模型名里的词数当成未译正文。领先一行在全部任务上的分数最高，已解决的任务也集中在前几行；表尾几种配置的分数为负，已解决任务数为零。中间各行的区间、提升和联络成本都保留在原格，不另改写。此说明只帮助阅读表头，不改动表中任何一格数字。

5.2 扣留约束造成所观察到的最大分数下降

图 2b 追溯各任务指令层级上的进程，表 3 的左半部分在同样的 20 项原始任务上报告每一个层级；本节引用的数值都指这些任务。在规则已经给出时（L0），三个领先模型的分数为 0.73–0.82，并解决 20 项中的 11–13 项。在 L1，问题仍然被正确陈述，但其约束必须去寻找，它们的分数为 0.39–0.62，解决 1–7 项。这一损失有两个组成部分。交付的系统变差了，从参考提升的 0.81–0.90 降到 0.63–0.80；发现约束也带来成本：每项任务的提问数从 3.9–7.0 升到 11.3–13.0，利益相关方联络成本从 0.07–0.10 升到 0.18–0.24。

过了这一步之后，这些模型的分数几乎走平。Claude Opus 5.5 在 L1、L2 和 L3 的分数为 0.62、0.54 和 0.55；Claude Sonnet 5.5 为 0.45、0.47 和 0.46；GPT-6 Astra 为 0.39、0.34 和 0.33。使用同样 20 项任务上的配对结果，并在三个模型上取平均，从 L0 到 L1 的下降为 0.28（95% 区间 0.17 到 0.39），从 L1 到 L3 的下降为 0.04（$-$0.03 到 0.14）。因此第一步的代价大于其后两步，尽管不能排除至多再损失 0.14，而对单个模型，上界可以大到 0.25。我们最初的假设是，问题界定会是瓶颈：一个被给予症状或错误解法的智能体会构建错误的系统。对领先模型，数据并不支持这一点。一种解释是，一旦这些模型必须去寻找约束，它们也会发现发起人实际上需要什么。对较弱的模型，L1 之后的步骤仍然代价高昂：在 L0–L3 上，GPT-5.5 的分数为 0.51、0.15、0.04 和 0.06，Claude Haiku 4.5 的分数为 0.11、$-$0.11、$-$0.30 和 $-$0.25。

完全写明的层级本身也给出一个结果：即便每一条规则都已提供，在同样的 20 项任务上，没有任何模型超过 0.82。知道事实并没有取消工程的需要。

5.3 找回关键事实并不能保证有效交付

评分器记录智能体从利益相关方那里获得了哪些关键事实，这使我们可以把信息发现和系统构建分开。在 L3，三个领先模型每项任务提问 10.0–12.3 次，并获得 72–85% 的关键事实。它们的归一化业务提升为 0.60–0.70。图 5a 展示全部十三种配置上的模式：更多事实与更好的系统相关联，但领先组位于图的最右侧，仍然远低于参考解。在三个模型之一获得了每一条关键事实的 73 个任务–模型情形中，归一化业务提升平均为 0.66，其中至少达到 0.8 的有 27 个（37%）。仅就 Claude Opus 5.5 而言，它在 23 项任务上获得了每一条关键事实，提升至少达到 0.8 的有 10 项。

图 5：（a） 在 L3，获得的关键利益相关方事实占比对归一化业务提升。领先模型学到大部分事实，并交付参考提升的 0.60–0.70。（b） 每次运行的平均模型使用成本对 L3 分数。

这一发现的第二个组成部分是利益相关方联络成本。GPT-6 Astra 交付的系统在 95 项任务中的 36 项上达到 0.8，但一旦扣除利益相关方联络成本，仍然算作已解决的只有 9 项；对 Claude Opus 5.5，这两个数字是 40 和 14。智能体没有被告知提问会产生成本，它们提问时好像提问是免费的。利益相关方联络成本吃掉了 Claude Opus 5.5 所交付 0.70 提升中的 0.14，以及 GPT-6 Astra 所交付 0.60 中的 0.22。另一个极端是很少提问的模型：Mistral Small 4 每项任务提问 0.7 次，只获得 6% 的关键事实。

5.4 较弱模型经常低于什么都不做的基线

图 6：每个模型在 L3 的 95 项任务按分数带的分布。0.2 或更低的分数对应于对字面遵守发起人任务指令的上限。

零分并不是地板：一个把本应拒绝的索赔付了出去、向错误的一方收费，或叫醒了错误工程师的系统，比它所替换的系统更差。图 6 把每个模型在 L3 的 95 项任务分到四个分数带。Claude Opus 5.5 有 5 项任务低于零，Claude Sonnet 5.5 有 7 项，而 Claude Haiku 4.5 有 79 项，GPT-6 Luna 有 63 项。

其中一部分反映利益相关方联络成本，但很大一部分反映的是已交付系统本身。在扣除任何利益相关方联络成本之前，Mistral Small 4 交付的系统在 51 项任务上低于什么都不做的基线，Claude Haiku 4.5（thinking）交付的系统在 55 项上如此，而三个领先模型只有 1–4 项。在 23 项任务上，Mistral Small 4 交付的系统造成的伤害，大于参考解所产生的收益。扩展思考并没有帮助：Claude Haiku 4.5 没有扩展思考时分数为 $-$0.33，有扩展思考时为 $-$0.35。对购买者而言，实际含义是：一个弱智能体并不是强智能体的更便宜版本；在这些任务上，它的期望贡献是负的。

5.5 模型表现在场景和任务变体之间差异很大

图 7：每个模型在每个场景上的 L3 平均分；场景按最好模型的分数排序，每一行中得分最高的格子加了轮廓。颜色从红色（低于什么都不做的基线）到蓝色（达到参考解）。

图 7 按场景拆开标题结果。Claude Opus 5.5 在 11 个场景上是表现最好的模型，Claude Sonnet 5.5 在四个上，GPT-6 Astra 在两个上，GLM-5.3 Flash、Gemini 3.8 Flash 和 GPT-6.1 Sol 各在一个上。即便在领先模型之间，一行之内的跨度也可以很大：在 revenue_dispute 上，三者的分数为 0.12、0.27 和 $-$0.44。有五个场景没有任何模型的平均分达到至少 0.5；在最难的两个场景 news_incident 和 revenue_dispute 上，最好分数分别只有 0.18 和 0.27。

变体表明，分数对一项任务的具体事实依赖有多强。在一个场景内部的各项任务之间，领先模型分数极差的中位数为 0.34–0.44，并且在 20 个场景中的 6–8 个里，这一极差超过 0.5。

5.6 更高的花费和努力并不稳定地对应更高的分数

成本和努力几乎解释不了排名（图 5b）。GPT-6.1 Sol 每次运行花费 0.24 美元和 25 个回合，分数为 0.37；而 Gemini 3.8 Flash 花费 1.54 美元和 121 个回合，分数为 0.19。Qwen 3.8 Flash 工作得最久，每次运行 169 个回合和 110 分钟，在其 152 个任务–指令层级组合中只有 11 个在上限之内提交，分数为 0.07；GLM-5.3 Flash 提交了 95 个。三个领先模型在每一个组合上都提交，用时 26–60 个回合。认出工作已经完成，看来是所需技能的一部分。

5.7 与其他基准的比较

图 8：模型在 Terminal-Bench 2.1、Vibe Code Bench、Finance Agent 和 FDE-Gym 上的表现。

图 8 把 FDE-Gym 与三个覆盖交付之前工作的公开基准相比较。这些基准分别评估终端中的工程任务（Terminal-Bench 2.1 [2]）、根据规格说明完成 Web 应用开发（Vibe Code Bench [12]），以及金融分析师所做的研究任务（Finance Agent [13]）。虚线轮廓表示扣除利益相关方联络成本之前的归一化业务提升。在这三个基准上分别解决多达 88%、90% 和 61% 任务的模型，在 FDE-Gym 上的分数为 0.19–0.56。因为任务成功率和归一化业务提升是不同的量，该图把它们按各自的刻度并排放置，而不把差异当成可以直接比较的差距。FDE-Gym 里最接近成功率的对应物，是已解决任务的比例（分数至少为 0.8 且没有事故）。在图 8 所示的模型中，领先模型 Claude Opus 5.5 解决 95 项任务中的 14 项（15%）。对客户而言，实际含义是：一个模型在组件基准上的表现，对其将要交付的东西只是很弱的指引；同样这些在终端、编码和研究任务上解决了大部分题目的模型，在至多七次委托中的一次里改善了客户的业务指标。

6 相关工作

现有基准各自测量交付的一个阶段。表 4 按它们所隔离的能力来排列。据我们所知，没有任何一个把这些阶段连成一条单一的因果链，使得对问题的误读会让好的代码变得毫无价值，而损失体现在一项业务指标上。

与我们最接近的工作是在我们前后数周内发表的。$\tau$$^{\tau}$-bench [9] 把构建智能体本身当作任务：一个开发者智能体收到一家企业的记录、一位掌握需求的客户、一份现有代码库，以及对服务成本的限制，然后它所交付的客户服务智能体被部署去面对留出的模拟用户。其最强配置通过 23.9% 的模拟，而专家撰写的参考为 82.2%；我们同样发现最好的模型远不及专家写成的参考。FDE-Gym 的不同在于它所变化的东西和它所测量的东西。任务指令从对规则的完整陈述，变化到一项可能指错方向的请求；联络利益相关方要付费；结果被测量为相对于零分的什么都不做基线、在客户业务指标上的提升，而一次交付可以落到这条基线之下；场景横跨 18 个行业，交付物也不限于客户服务智能体。Trains but Doesn’t Learn [10] 让智能体担任模型后训练的前线部署工程师，并识别出这样一种失败模式：每一项检查继续通过，但交付的模型并不比基座模型更好；我们的字面遵守锚点就是为了暴露同一类交付而设计的。

表 4：先前基准按其测量的交付能力排列，以及 FDE-Gym 对每一项补充了什么。

有两条工作直接关系到我们的任务指令层级。XYEval [11] 把现有基准——其中包括 $\tau$$^{2}$-bench [34]——变成 XY 问题，也就是用户询问的是一个已经尝试过的解法，而不是真正的问题，并报告高达 46.7% 的相对下降。当发起人的请求指错方向时，我们的领先模型损失不大，也许是因为在一次完整委托内部，发起人周围的文档、数据和利益相关方都可以用来反驳它。UnderSpecBench [35] 保持环境和正确动作固定，同时沿三个轴劣化指令，这是我们的任务指令层级也使用的一种隔离策略；它发现规格不足会引导智能体去猜测而不是失败。Implicit Intelligence [23] 报告，在必须发现约束的简单请求上，最好的通过率为 48.3%。二者都与我们的层级把最大下降定位在何处相一致：定位在没有人陈述过的约束上。

表 4 中的三个基准直接塑造了 FDE-Gym。TheAgentCompany [5] 在形式上最接近，是一家自包含的模拟公司，里面有可以交谈的同事；我们保留这个自包含的世界，把“一位同事布置了这项任务”换成“一位客户雇用了你”，并把任务完成换成一项业务指标。LHAW [8] 是对缺失信息最系统的处理，并为提问的成本建立了模型；我们从 L0 到 L1 的一步复现了它的发现，即智能体很少能靠提问恢复到完整规格下的表现，而我们的 L3 增加了它没有覆盖的情形：一项指错了方向的请求。Vending-Bench [30] 表明，一个可执行的商业模拟可以取代人类评判者；我们把这样一个模拟接到一项工程交付物上。

两条方法论上的警告也塑造了这一设计。对着由大语言模型扮演的用户得到的结果，取决于哪一个模型在扮演用户 [14]，这就是我们的利益相关方采用脚本的原因；单次运行的成功夸大了可靠性 [36, 37]，这就是每项任务运行三次的原因。准入锚点遵循的做法是：在信任一个智能体基准的分数之前，用什么都不做的解和捷径解去审计它 [38]。在单个基准之外，长程评估追踪智能体能够完成的软件任务的长度 [39]，Collaborative Gym [40] 研究与人一起工作的智能体；FDE-Gym 则让人和智能体分别做同样的任务，从而使二者可以比较。

7 局限

一个模拟的客户。 利益相关方是脚本化的，以便结果可复现。真实的人更不可预测：他们会改变主意，回答的问题并不是被问到的那一个，也可能根据先前的交互做出不同回应。联络成本由撰写每个场景的专家设定，是对利益相关方时间成本的一个模型，而不是对它的测量。

各层级上的样本量。 L0 到 L2 只在 20 项原始任务上报告，其中三项的 L2 结果取自完全相同的 L3 任务指令。相对于这一样本，从 L0 到 L1 的下降是大的；L1、L2 和 L3 之间的差异并不大，我们只声称没有看到进一步的大幅下降。

还没有人类基线。 这一版本只报告模型。刻度由什么都不做的基线和参考解锚定，这表明在完全知道底层事实时每项任务都是可解的；只给出发起人的请求时，人类专家能走多远，尚未被测量。

单一智能体框架。 所有模型都在同一个最小智能体框架中运行。结果描述的是这些模型在该框架中的表现，而不是围绕它们构建的产品，一个更强的框架可能同时改变分数和排名。

隔离与成本。 运行在若干主机上执行，进程级隔离的强度不一；每次运行的记录在评分之后都经过审计，但每次运行一个容器会提供更强的保证。模型使用成本按访问每个模型所经路由上的计量值计算，并不是目录价格的比较。

覆盖与污染。 横跨 18 个行业的 20 个场景是交付工作的一个样本，权重偏向受监管运营中的智能体和工作流。场景由真实交付改编，尽管公司是虚构的、变体也改变了事实，我们不能排除相关材料存在于训练数据之中。

8 结论

FDE-Gym 以客户的方式衡量智能体的交付：不是看一个系统有没有被交付，而是看客户的业务有没有改善。用这种方式测量，人工智能交付的最后一公里仍然很长。十三种配置中最好的一个，平均 FDE-Gym 分数为 0.56，大约每七项任务解决一项。差距并不在我们预期的地方。当发起人的请求指错方向时，领先模型几乎没有表现损失，而且它们获得了利益相关方所持有的大部分事实。它们的主要表现损失出现在把这些事实转化成一个有效系统的时候，以及交付过程中产生的利益相关方联络成本。较弱的模型损失更多：在大多数任务上，客户若完全没有这次交付，处境会更好。

这些是一位有经验的工程师带给客户的能力。因此，缩小差距是一个关于交付中判断力的问题，而 FDE-Gym 使这种判断可以测量：每项任务一个数字，用的是客户自己的指标，人和智能体遵守同一套规则。

致谢与披露

利益竞争。 DeepLethe 开发并运营 FDE-Gym 在线平台，并维护其排行榜。所评估的模型都不是由任何作者所属的组织开发的。

匿名贡献者。 若干为场景做出贡献的行业专家没有被列为作者，原因是保密义务、所涉项目的敏感性、其雇主的政策，或他们自己的意愿。我们感谢他们的专业知识和对本基准的贡献。

参考文献

1. [1] Carlos E. Jimenez, John Yang, Alexander Wettig 等。SWE-bench：语言模型能否解决真实世界的 GitHub 问题？载于 International Conference on Learning Representations (ICLR)，2024。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
2. [2] Mike A. Merrill, Alexander G. Shaw, Nicholas Carlini 等。Terminal-Bench：在命令行界面中于困难而现实的任务上对智能体做基准测试。arXiv preprint arXiv:2601.11868，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
3. [3] Samuel Miserendino, Michele Wang, Tejal Patwardhan 与 Johannes Heidecke。SWE-Lancer：前沿大语言模型能否从真实世界的自由职业软件工程中赚到 100 万美元？载于 International Conference on Machine Learning (ICML)，2025。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
4. [4] Weihang Ding, Junfei Zhan, Yueting Li 与 Qirong Guo。FDE-Bench：评估用于部署环境配置的大语言模型智能体。arXiv preprint arXiv:2609.27571，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
5. [5] Frank F. Xu, Yufan Song, Boxuan Li 等。TheAgentCompany：在有后果的真实世界任务上对大语言模型智能体做基准测试。载于 Advances in Neural Information Processing Systems (NeurIPS), Datasets and Benchmarks Track，2025。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
6. [6] Kung-Hsiang Huang, Akshara Prabhakar, Onkar Thorat 等。CRMArena-Pro：在多样的商业场景与交互上对大语言模型智能体做整体评估。Transactions on Machine Learning Research (TMLR)，2025。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
7. [7] Sanidhya Vijayvargiya, Xuhui Zhou, Akhila Yerukola, Maarten Sap 与 Graham Neubig。Ambig-SWE：用交互式智能体克服软件工程中的规格不足。载于 International Conference on Learning Representations (ICLR)，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
8. [8] George Pu, Michael S. Lee, Udari Madhushani Sehwag 等。LHAW：面向长程任务的可控规格不足。arXiv preprint arXiv:2602.10525，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
9. [9] Quan Shi, Keshav Dhandhania, Karthik Narasimhan 与 Victor Barres。$\tau$$^{\tau}$-Bench：一个用于端到端、现实智能体构建的环境。arXiv preprint arXiv:2609.04611，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
10. [10] Weihang Ding 与 Junfei Zhan。Trains but Doesn’t Learn：把大语言模型智能体作为前线部署工程师的后训练交付基准。载于 Conference on Empirical Methods in Natural Language Processing (EMNLP), Industry Track，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
11. [11] Zhengxuan Wu, Yuxuan Li, Oyvind Tafjord 与 Been Kim。XYEval：智能体对坏建议说是。arXiv preprint arXiv:2609.23939，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
12. [12] Hung Tran, Langston Nashold, Rayan Krishnan, Antoine Bigeard 与 Alex Gu。Vibe Code Bench：在端到端 Web 应用开发上评估人工智能模型。载于 ACM CAIS，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
13. [13] Antoine Bigeard, Langston Nashold, Rayan Krishnan 与 Shirley Wu。Finance Agent Benchmark：在真实世界金融研究任务上对大语言模型做基准测试。arXiv preprint arXiv:2508.00828，2025。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
14. [14] Preethi Seshadri, Samuel Cahyawijaya, Ayomide Odumakinde, Sameer Singh 与 Seraphina Goldfarb-Tarrant。Lost in Simulation：在智能体评估中，由大语言模型模拟的用户并不是人类用户的可靠代理。载于 Annual Meeting of the Association for Computational Linguistics (ACL)，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
15. [15] Sayash Kapoor, Benedikt Stroebl, Zachary S. Siegel, Nitya Nadgir 与 Arvind Narayanan。AI Agents That Matter。Transactions on Machine Learning Research (TMLR)，2025。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
16. [16] Sayash Kapoor, Benedikt Stroebl, Peter Kirgis 等。Holistic Agent Leaderboard：人工智能智能体评估所缺少的基础设施。载于 International Conference on Learning Representations (ICLR)，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
17. [17] Xin Zhou, Chun Yong Chong, Kisub Kim 等。面向编码智能体的需求澄清、规划与代码生成的统一问题求解基准。arXiv preprint arXiv:2608.09072，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
18. [18] Cheng Qian, Zuxin Liu, Akshara Prabhakar 等。UserBench：一个面向以用户为中心的智能体的交互式 Gym 环境。arXiv preprint arXiv:2507.22034，2025。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
19. [19] Dongming Jin, Zhi Jin, Zheng Fang 等。ReqElicitGym：对话式需求获取中访谈能力的评估环境。arXiv preprint arXiv:2602.18306，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
20. [20] Zirui Tang, Xuanhe Zhou, Yumou Liu 等。Workspace-Bench 1.0：在带有大规模文件依赖的工作区任务上对人工智能智能体做基准测试。arXiv preprint arXiv:2605.03596，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
21. [21] Fabian Wenz, Felix Treutwein, Çagatay Demiralp 与 Michael Stonebraker。RUBICON：面向杂乱企业数据的智能体式人工智能。arXiv preprint arXiv:2604.21413，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
22. [22] Amirhossein Abaskohi, Tianyi Chen, Miguel Muñoz-Mármol 等。DRBench：面向企业深度研究的现实基准。arXiv preprint arXiv:2510.00172，2025。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
23. [23] Ved Sirdeshmukh 与 Marc Wetter。Implicit Intelligence：在用户没有说出口的内容上评估智能体。arXiv preprint arXiv:2602.20424，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
24. [24] Léo Boisvert, Megh Thakkar, Maxime Gasse 等。WorkArena++：面向基于组合规划与推理的常识性知识工作任务。载于 Advances in Neural Information Processing Systems (NeurIPS)，2024。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
25. [25] Min Yang, Yichen Pan, Jinghua Piao, Dandan Song, Yongshun Gong 与 Yong Li。EnterpriseBench：在企业级战略推理与决策上对大语言模型智能体做基准测试。arXiv preprint arXiv:2609.37658，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
26. [26] Bertie Vidgen, Austin Mann, Abby Fennelly 等。APEX-Agents。arXiv preprint arXiv:2601.14242，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
27. [27] Xiang Deng, Jeff Da, Edwin Pan 等。SWE-Bench Pro：人工智能智能体能否解决长程软件工程任务？arXiv preprint arXiv:2509.16941，2025。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
28. [28] Saurabh Jha, Rohan Arora, Yuji Watanabe 等。ITBench：在多样的真实世界信息技术自动化任务上评估人工智能智能体。载于 International Conference on Machine Learning (ICML)，2025。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
29. [29] Yinfang Chen, Manish Shetty, Gagan Somashekar 等。AIOpsLab：评估用于实现自治云的人工智能智能体的整体框架。载于 Conference on Machine Learning and Systems (MLSys)，2025。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
30. [30] Axel Backlund 与 Lukas Petersson。Vending-Bench：自治智能体长期连贯性的基准。arXiv preprint arXiv:2502.15840，2025。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
31. [31] Wei Fan, Xinjie Shen, Xudong Guo 等。E-Commerce Bench：在长程自主商业经营上评估大语言模型智能体。arXiv preprint arXiv:2608.30730，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
32. [32] Tejal Patwardhan, Rachel Dias, Elizabeth Proehl 等。GDPval：在真实世界、具有经济价值的任务上评估人工智能模型表现。arXiv preprint arXiv:2510.04374，2025。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
33. [33] Mantas Mazeika, Alice Gatti, Cristina Menghini 等。Remote Labor Index：测量人工智能对远程工作的自动化。arXiv preprint arXiv:2510.26787，2025。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
34. [34] Victor Barres, Honghua Dong, Soham Ray, Xujie Si 与 Karthik Narasimhan。$\tau$$^{2}$-Bench：在双控制环境中评估对话智能体。arXiv preprint arXiv:2506.07982，2025。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
35. [35] Zimo Ji, Zekai Zhang, Congying Xu 等。编码智能体在猜测：测量规格不足的 DevOps 指令中的动作边界违反。arXiv preprint arXiv:2607.02294，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
36. [36] Shunyu Yao, Noah Shinn, Pedram Razavi 与 Karthik Narasimhan。$\tau$-bench：真实世界领域中工具–智能体–用户交互的基准。arXiv preprint arXiv:2406.12045，2024。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
37. [37] Stephan Rabanser, Sayash Kapoor, Peter Kirgis, Kangheng Liu, Saiteja Utpala 与 Arvind Narayanan。走向人工智能智能体可靠性的科学。载于 International Conference on Machine Learning (ICML)，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
38. [38] Yuxuan Zhu, Tengjun Jin, Yada Pruksachatkun 等。建立构建严格智能体基准的最佳实践。arXiv preprint arXiv:2507.02825，2025。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
39. [39] Thomas Kwa, Ben West, Joel Becker 等。测量人工智能完成长软件任务的能力。载于 Advances in Neural Information Processing Systems (NeurIPS)，2025。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。
40. [40] Yijia Shao, Vinay Samuel, Yucheng Jiang, John Yang 与 Diyi Yang。Collaborative Gym：一个用于促成并评估人与智能体协作的框架。载于 International Conference on Learning Representations (ICLR)，2026。作者姓名、编号和 arXiv 号保留原文，题名与出版信息按原文直译。

图注来源（图 1）。 照片来自 Wikimedia Commons，经裁剪。能源：“North Sea Oil Rig”，Gary Bembridge，CC BY 2.0；医疗：“Medical Care and Compassion in a Hospital Bed provided by Nova Ukraine”，NUSF，CC0；机器人：“BRS2 Amazon fulfilment centre in Swindon”，Auledas，CC BY 4.0；电动车充电：“Flo EV fast charging station at Hingham Depot”，4300streetcar，CC BY 4.0；水务：“Three Gorges Dam”，Gaynor，CC BY 2.0；物流：“UPS worker unloads boxes from semi trailer truck onto conveyor belt”，美国农业部，公有领域；建筑：“Johor Bahru–Singapore Rapid Transit System construction site”，Renek78，CC0；电网：“Switchyard of electric substation 750kV”，Novoklimov，CC BY 4.0；银行：“Safe Deposit Boxes”，Fixedsun，CC0；媒体：“The newsroom at DR”，James Cridland，CC BY 2.0；制造：“Tesla Motors Assembly Line”，Steve Jurvetson，CC BY 2.0；物业：“Xujiahui Shanghai September 2023”，4300streetcar，CC BY 4.0。照片原题、作者名和许可标识保留原文。