轨迹与标签：坏的计算器值被悄悄换成正确值，核验却记成没有复查

轨迹显示的，和标签所说的：审计智能体评测里的行为检测器

Idunnuoluwa A. Adeniji 隶属机构： 美国伊利诺伊州芝加哥，伊利诺伊大学芝加哥分校计算机科学系 Shilpika 隶属机构： 美国伊利诺伊州莱蒙特，阿贡国家实验室，阿贡领导力计算设施 Michael E. Papka 隶属机构： 美国伊利诺伊州芝加哥，伊利诺伊大学芝加哥分校计算机科学系 隶属机构： 美国伊利诺伊州莱蒙特，阿贡国家实验室，阿贡领导力计算设施

摘要

LLM 智能体的评测，常常把执行轨迹压成标签，例如最终答案是否正确、工具核验，以及故障传播。这些标签有用，但它们是由解析器、行为检测器和测试架规则生产出来的测量。我们研究的是：当这些测量没有完整抓住轨迹里的行为时，会发生什么。我们使用 GSM8K，一份小学算术应用题基准，放在可以使用计算器的工具设定里，而计算器的输出偶尔会被破坏。这给我们一份清楚的真值，用来对照计算器本应返回的结果，并让我们比较计算器实际返回了什么、模型后来用了什么，以及自动检测器报告了什么。我们在六个生产模型和每个模型 30 道题上，审计三个轨迹级检测器。我们发现，最终正确性、可见的重新核验，以及故障传播，会以系统的方式彼此不一致。一个重要的失败模式是静默的工具输出覆盖。在这些情形里，计算器先返回一个被破坏的值，但模型后来使用了一个不同的、常常是正确的值，而且没有再次调用计算器。因此，坏值可能停止传播，尽管一个寻找显式重新执行记录的核验检测器没有记下可见的复查。对 90 条轨迹的人工复核，在被复核且可比较的情形上，与最终正确性完全一致（67/67），与故障恢复／影响完全一致（19/19），与故障相关性完全一致（18/18），但核验只有 67/81 一致。全部 14 处核验分歧落入四种反复出现的模式：卡死循环造成的重复计算器调用、口头认出工具结果不对却没有重算、同一步推理里的重复表达式，以及在观察到错误值之后的安静改正。我们还发现，执行限制会影响所报告的结果。在两个模型上的消融里，一个模型的正确数随步数和 token 预算从 21/30 变到 27/30，另一个则保持在 27/30 到 29/30 之间。这些发现推动测量透明：一条自动标签应当附带支持它的轨迹证据、检测器的问题是否适用于这条轨迹、这次运行是否因执行限制而提前结束，以及对标签的任何人工作正。我们的轨迹查看器把这些信息与所报告的结果放在一起，使其可检查。

1 引言

智能体评测是一个测量过程。智能体产出一条执行轨迹——它与模型和工具交互的记录——解析器或检测器再把这条轨迹映射成一个标签。标签随后被聚合成准确率、核验率或故障传播率这类数字。这些数字常常被当成关于智能体的事实。在实践中，它们也取决于用来测量智能体的仪器。

这一区分重要，是因为智能体越来越多地因工具使用和多步决策而被评测。在这类设定里，一个小的测量错误就能改变对一次运行的解释。一条轨迹里可能有正确答案，但解析器没有抽出来。检测器可能问了一个对某一事件没有意义的问题。步数限制可能在智能体完成之前把它停掉，但基准仍可能把这次运行简单地计为错误。在更高利害的设定里，例如临床、国防或其他安全关键工作流，这种虚假信心尤其危险：智能体看起来最可信的时候，恰恰可能是它正在悄悄覆盖自己的仪器。知道一个智能体拿到了某个分数还不够；我们还需要知道这个分数是否反映了一次可信的测量。

近期工作已经表明，评价器的可靠性不能被假定。智能体基准审计发现自动评价器与人工标注者不一致，工具调用基准含有脆弱的评判规则，智能体表现可以取决于模型所运行的测试架（Bean et al., 2025; Gurram, 2026; Bhat et al., 2026; Yao et al., 2026）。我们建立在这条工作线上，但聚焦一个更窄的问题：当一个自动轨迹检测器报告一个标签时，这条轨迹是否真的含有使该标签可以被安全解释的正确证据？

我们在一个故意简单的领域里研究这个问题。智能体用计算器工具解算术应用题。计算器有时返回一个看似合理但错误的值。因为算术有外部真值，我们可以分开检查四件事：计算器本应返回什么、它实际返回了什么、模型后来用了什么值，以及模型给出的最终答案是什么。这使该设定适合用来审计测量装置本身。

促成这项工作的失败是静默的工具输出覆盖。模型收到一个被破坏的计算器结果，但后来使用了一个不同的值，常常是独立算出的正确值，既没有再次调用计算器，也没有明确说工具错了。关于工具–记忆冲突的先前工作已经表明，模型会在内部知识与工具输出之间仲裁（Cheng et al., 2025; Varlamov et al., 2026）。我们的主张不是说这种行为是新发现的，而是说它造成一个测量问题。例如，若计算器对一个正确值为 30 的量返回 29，而模型后来在没有另一次工具调用的情况下用 30 继续推理，传播检测器可以正确地记下 29 没有被再次使用，而核验检测器仍然报告没有可见的复查。因此，轨迹里含有恢复的证据，而核验检测器的设计并不能表示这种证据。

贡献。

C1.

面向轨迹检测器的测量透明。

我们为智能体评测定义一条可操作的报告原则：检测器标签应当附带支持它的证据、检测器是否适用、执行是否被删失，以及任何已知的测量风险或人工作正。

C2.

对检测器可靠性的受控审计。

在六个生产模型上，我们表明最终正确性、可见核验和故障传播可以以系统的方式分歧，包括静默覆盖、无结论的传播、格式失败，以及依赖测试架的删失。我们还把自动标签与人工复核相比较。

C3.

一个把分数背后的测量揭示出来的轨迹查看器。

我们构建一种意识到可靠性的可视化，把汇总结果连到每个检测器输出背后的轨迹证据，并把自动标签与人工作正一起保留。这使得人们可以检查一项测量为什么应该或不应该被信任，而不是把最终分数当成自明的。

2 相关工作

评价器效度。

构念效度方面的工作认为，只有当任务和指标支持人们从中得出的主张时，基准分数才有意义（Bean et al., 2025）。近期审计把这一关切对智能体具体化了。AgentProp-Bench 把自动评判协议与人工标签相比较，并研究使用工具的智能体中的错误传播（Gurram, 2026）。Bhat et al. (2026) 审计若干工具调用基准族，并报告评价器与人的分歧、脆弱的确定性规则、评判方差，以及被修正的基准组件。REFLECT 类似地用对智能体轨迹的受控干预来元评测 LLM 评判器，并发现细粒度失败检测有实质失败（Wang et al., 2026）。AgentJudgeBench 专门研究结构化工具调用工作流上的评判器可靠性（Verma et al., 2026）。我们的工作是互补的：我们不是把一个 LLM 评判器当作整体来评，而是聚焦行为轨迹检测器，并询问检测器是否拥有支持其标签所需的、可观察且适用的证据。

轨迹级与过程级评测。

近期工作越来越多地评测智能体如何到达一个结局，而不只是它是否成功。ClawTrack 把任务成功与过程质量分开，并把结果核验作为一个过程维度（Wu et al., 2026）。CTF-ABACUS 重建智能体轨迹，以便在网络安全任务里把已展示的利用，与走捷径或没有支持的成功区分开（Milner et al., 2026）。这些工作加强了轨迹级证据的价值。我们的问题低一层：施加到那条轨迹上的测量，是否忠实地表示了它打算测量的行为。

工具输出冲突。Tool-Memory Conflict 及相关工作研究模型知识与工具输出不一致的情形（Cheng et al., 2025; Varlamov et al., 2026）。我们不给这一现象改名，也不声称发现了它。相反，我们问的是：当这种冲突出现在评测流水线内部时会发生什么。模型可能以一种改善最终答案的方式从坏的工具值中恢复，却仍然通不过检测器对核验的狭窄定义。

工具输出有故障时的智能体行为。越来越多的研究注入错误或误导性的工具输出，并测量智能体如何响应。Zhang et al. (2026) 破坏搜索和计算器反馈，发现持续的误导性反馈可以让智能体比完全没有反馈更糟。Mittal (2026) 在原本成功的轨迹里扰动单次工具输出，发现大多数运行会恢复，而且常常不承认早先的错误，流畅的错误证据也很少被注意到。ToxicBench（Tao and Yin, 2026）改写数据智能体的成功工具观察，并报告智能体多常盲目遵从、标出问题、跑一次检查，或在检查之后仍然采用被破坏的值。Kaynar et al. (2026) 向一个沙箱化的多工具环境注入故障，发现智能体常常在有故障的数据上建立自信的答案。这些研究刻画的是工具出错时智能体做什么。我们的焦点是互补的：我们问用来报告这些行为的自动标签，例如「已核验」或「已恢复」，是否与轨迹实际显示的相符。

测试架效应。Harness-Bench 表明，智能体表现常常应当在模型–测试架配置这一层报告，而不是当作模型单独的性质（Yao et al., 2026）。在这里，评测测试架——管辖执行限制和工具行为的运行时配置——之所以重要，是因为步数和 token 限制可以删失轨迹，而按次故障注入会给工具调用次数不同的智能体不同的故障暴露。这些不只是工程细节；它们改变所报告的分母意味着什么。

轨迹可视化。

AgentLens 和 Graph of Trace 这类系统让智能体行为更容易检查（Lu et al., 2024; Gao et al., 2026）。Agentic CLEAR 在系统、轨迹和节点三级做智能体评测，并通过交互界面呈现所得分析（Yehudai et al., 2026）。Bhat et al. (2026) 的 Harness Lab 同样支持基准审计中的轨迹级检查和人工裁定。我们的查看器并不被呈现为第一个轨迹分析界面。它的焦点是测量层：检测器输出与它们的证据、适用性、删失状态、风险标记，以及被保留的人工作正一起显示。

3 实验设置

3.1 任务与故障注入

智能体在一个 ReAct 式循环里解 GSM8K（Cobbe et al., 2021）算术应用题，并可以使用计算器。在这个循环里，模型在对问题的推理、选择是否调用计算器、观察返回结果，以及继续直到产出最终答案之间交替。提示指示模型用计算器做算术，并以一个最终数值答案结束。评测期间，计算器通常返回正确结果。按照配置的每次调用概率，故障注入器改为返回一个看似合理的错误数字，例如一个小偏移或数字对调。故障按题目播种，因此在发生可比较工具调用的运行之间，随机故障日程是可复现的。模型没有被告知计算器已被破坏。

每条轨迹记录模型消息、计算器表达式、计算器输出、故障元数据、最终答案抽取，以及运行结束的原因。算术领域被故意收窄。它的优点是正确的工具值可以独立重算，从而使对照轨迹证据审计检测器标签成为可能。

3.2 模型

这次评测覆盖六个已经投入使用的生产模型，分别是 Mistral-Large-3-675B、nemotron-3-ultra、claude-sonnet-5、claude-opus-4.8、openai/gpt-oss-120b 和 openai/gpt-oss-20b。基线运行使用的步数上限是 MAX_STEPS=50，词元预算上限是 MAX_TOKENS=1024。每一张表和每一张图都各自报告一次单独的运行；表 5 里 steps=50、tokens=1024 的那一格，重复的正是表 4 的基线配置，而图 2 显示的是另一次 claude-sonnet-5 运行，因此这几处之间的计数会略有不同。

3.3 被审计的检测器

我们审计三项自动测量。表 1 概括每个检测器测量什么，以及主要的保留意见。

表 1：本工作所审计的自动测量。

重要的一点是：这些检测器是仪器，不是真值。

3.4 系统工作流

表 2 概括测量层在评测流水线中的位置。智能体与工具的交互先产出结构化轨迹，再由三个自动检测器处理。它们的输出随后通过终端摘要和交互查看器暴露出来，供检查和人工复核。

表 2：系统工作流。每一层消费它上一层的输出。GSM8K 题目和播种的计算器故障产出智能体执行轨迹；测量层应用 D-correct、D-verify 和 D-impact，生成自动标签和风险标记；复核层通过终端摘要和交互查看器暴露这些输出，供轨迹检查和人工比较。

3.5 测量状态

对每个检测器输出，我们保存自动标签、支持证据、适用性、删失状态、风险标记，以及任何人工作正。人工作正与原始输出并列保留，而不是替换它。这就是 C1 中的测量状态。

表 3 把观察到的问题分成七个实用失败类。这一分类是经验性的，而不是穷尽的。

表 3：研究中观察到的测量问题。

3.6 测量透明的检查

C3 的检查工作流有两级。第一，终端摘要提供轨迹结局、故障暴露、核验事件和被标记情形的紧凑概览。这支持在打开单条轨迹做更近检查之前的快速分诊。附录 A.2 提供一张截图。

图 1 中的交互查看器提供第二级检查。语料视图（图 1(a)）按题目和模型对齐轨迹，使结局、故障、核验、恢复和风险标记上的差异在各次运行之间可见。轨迹视图（图 1(b)）暴露单项测量背后的证据，包括工具输出、随后的模型行为、自动标签，以及任何人工作正。终端摘要和查看器合在一起，把汇总结果连接到用来解释它们的轨迹证据。

(a) 跨题目和模型的语料级比较。

(b) 对一次静默工具输出覆盖的轨迹级检查。

图 1：交互式轨迹检查。语料视图支持跨模型运行的比较，轨迹视图则暴露单项检测器输出背后的证据。在面板 (b) 中，工具返回一个被破坏的值，模型后来在没有显式工具复查的情况下把它替换掉。

4 结果

本节呈现 C2 中的受控检测器审计。我们先比较表 4 所示六个生产模型上的检测器输出，然后检查使这些输出难以解释的轨迹模式，测试测试架约束的效应，最后把自动标签与人工复核相比较。

表 4：基线配置下 30 道题的跨模型结果。任务结局是完成且正确／完成且错误／未完成。核验和覆盖是轨迹级计数。

4.1 静默覆盖与无结论的传播

最清楚的测量缺口是静默的工具输出覆盖。计算器返回一个被破坏的值，但轨迹后来使用了一个不同的值，常常是独立正确的那个，而没有计算器复查。因此 D-impact 可能记下没有传播，而 D-verify 记下没有可见核验。图 1(b) 给出一个代表性例子：计算器返回一个被破坏的值，但模型后来在没有重跑工具的情况下用正确值继续。恢复在轨迹里可见，尽管 D-verify 没有记下显式复查。因此检测器可以按定义在工作，同时仍然在问一个比所关心的行为更窄的问题：可见的重新执行并不等于恢复。

相反的问题发生在被破坏的值和改正后的值都不再以可检测的形式出现时。在那些情形里，D-impact 没有足够证据来判定传播。两种情形都说明 C2：一个在技术上有效的检测器输出，仍然可以是对轨迹的不完整描述。

4.2 测试架约束消融

测试架限制提供对测量效度的第二次检验：一条在最终答案之前被停掉的轨迹是被删失的，并不等同于一次完成但错误的运行。我们在同样的 30 道题、故障种子 50 上，对 nemotron-3-ultra 和 gpt-oss-120b 改变 MAX_STEPS $\in\{25,50,150\}$ 和 MAX_TOKENS $\in\{1024,4096\}$。

表 5 显示两个模型的敏感度不同。gpt-oss-120b 保持在 27/30 到 29/30 正确之间，而 nemotron-3-ultra 从 21/30 到 27/30。候选覆盖对 nemotron 很常见（每格 15–24 条轨迹），对 gpt-oss-120b 很少（0–3），说明相似的汇总结局可以藏住不同的恢复行为。

表 5：约束消融（30 道题，故障种子=50）。两个模型处于相同的测试架设置，只改变 MAX_STEPS 和 MAX_TOKENS。覆盖计数的是被标为候选静默覆盖的轨迹。绝对故障计数不能跨格子比较，因为跑得更久的格子会做更多工具调用。

译注：HTML 里若干 Faults 与 Override 单元格印成「0 16/89」「0 1/30」这类带前导零的分式，下表按页面文本保留。

4.3 人工裁定

我们在四个维度上手工复核了六个生产模型的 180 条轨迹中的 90 条：故障恢复、核验行为、故障相关性，以及最终答案正确性。在测量适用的地方，人工标签与自动标签相比较，改正被保存下来，但不替换原始检测器输出。因此，一致率描述的是被复核且可比较的情形，而不是全部 180 条轨迹。

人工复核也揭示了自动检测逻辑中的覆盖缺口，包括没有明显异常的轨迹，以及初始规则没有抓住相关行为的情形。我们修改了检测器逻辑以覆盖这些情形，重跑了自动标签，并对照修改后的输出重新检查先前复核过的轨迹。因此，下面的一致结果比较的是最终的检测器实现与最终的人工复核标签集。

4.4 对照人工标签的检测器可靠性

表 6 在两者可以直接比较的被复核情形上，比较自动标签与人工标签。D-verify 是唯一观察到分歧的检测器。

表 6：自动检测器标签与人工复核的一致。各检测器的 $n$ 不同，因为并非每项测量都适用于每一条被复核的轨迹。

被复核轨迹中的 14 处 D-verify 分歧落入四种反复出现的模式：

• 由卡死循环造成的重复计算器调用。检测器把重复调用解释成核验，而人工复核表明模型是在重复计算、没有取得进展。

• 口头认出工具结果不正确，但没有显式重算。在这些情形里，轨迹含有模型注意到问题的证据，但没有 D-verify 所期望的重新执行模式。

• 同一步推理内部的重复表达式。这对检测器可以看起来像重复核验，尽管重复发生在一段局部推理序列之内。

• 在观察到错误值之后的安静改正。模型后来重算或替换了这个值，但所得行为并不能干净地匹配检测器对核验的定义。

全部 14 处分歧都由这些反复出现的模式解释，并且按模型集中：nemotron-3-ultra 贡献 10 处，openai/gpt-oss-20b 贡献三处，claude-opus-4.8 贡献一处；另外三个模型在它们被复核且可比较的轨迹里一处也没有。这是 C2 的主要经验结果：观察到的核验错误并不是弥散的，而是来自一小套可识别的行为，简单的结构规则难以把它们分开。分模型的完整计数见附录 A.1。

5 讨论

合在一起，C1、C2 和 C3 把表 2 中的测量状态、受控审计和检查工作流连接起来，支持一个实用结论：检测器输出不应当照单全收。诸如「已核验」「正确」或「故障没有传播」这样的标签，是由测量程序生产的，而这些程序可能漏掉轨迹里发生过的重要部分。这在若干反复出现的情形里可见。模型可能在不遵循检测器所期望模式的情况下恢复，重复的工具调用即使在模型卡在循环里时也可能被计为核验，有些传播问题仍然没有结论，因为轨迹没有包含足够证据。一旦轨迹被压成汇总分数，这些差异就会消失。

静默的工具输出覆盖是一个尤其重要的例子。在我们的算术设定里，模型可以收到一个错误的计算器值，后来在没有显式复查工具的情况下用一个不同的、正确的值继续。这可以帮助从注入的故障中恢复。然而，在外部工具代表传感器、实验室结果或财务记录的设定里，静默替换它的输出可能改变工作流的其余部分，却不把这一改变说清楚。我们的实验并不直接测试这类应用，但它说明为什么原始工具输出、模型后来使用的值，以及检测器标签，都应当保持可见。

人工复核强化同一点：一次审计应当识别一项测量在哪里可靠、在哪里不可靠，以及哪些轨迹模式解释了这一差别。可视化层使这些情形可检查，而不是把它们藏在一个汇总分数后面。

5.1 局限与未来工作

本研究有下列局限，它们也推动这项工作的下一步。第一，基准使用算术应用题。算术有用，是因为工具输出和最终答案可以对照清楚的外部真值来检查，但同样的检测器规则未必能直接迁移到输出为自由形式、类别型或主观的领域。因此，未来工作将把审计扩展到其他数据集和任务类型，包括具有结构化和自由形式工具输出的设定。

第二，每个被评测的模型由 30 条基准轨迹代表。这足以暴露反复出现的测量失败，但对估计精确的模型级比率来说是一个小样本。故障暴露也取决于每个模型多常调用计算器，因此在相同的每次调用故障概率下，工具调用更多的模型可以遇到更多被注入的故障。跨更多题目、模型和轨迹的更大规模实验会提供更稳定的估计。标准的 30 条轨迹运行大约花 10 分钟，完整消融接近两小时；这些是近似的、取决于端点的运行时间。扩展将需要并行或批处理执行，以及更高效的聚合与可视化。

第三，人工标签审计使用一名主要复核者。人工复核也揭示了初始检测器逻辑中的覆盖缺口。我们修改了受影响的规则，重跑了自动标签，并重新检查了较早的轨迹；因此所报告的一致反映的是最终检测器实现对最终人工复核标签。

最后，约束消融覆盖两个模型和两项资源控制。它表明步数和 token 限制可以改变所观察到的东西，但并不确立选择执行预算的普遍规则。未来工作将测试更广范围的模型、执行配置和资源约束，以确定哪些测量效应能推广到这里所研究的配置之外。

6 结论

智能体评测本身就是一个测量过程。在我们的受控审计里，检测器输出按它们已实现的规则可以是正确的，却仍然是对底层轨迹不完整或误导的描述。C1 把这一测量状态说清楚，C2 表明缺口在实践中出现在哪里，C3 使支持证据可检查。目标不是替换自动评测，而是说清楚它的输出何时可以被信任，以及轨迹何时值得更近的复核。

AI 使用声明

我们使用 Claude Code Agent 帮助搭建初始实验环境并协助调试。LLM 作为本文所述算术工具使用实验中被评测的智能体。Grammarly 用于在文稿准备期间改善语法和句子级流畅度。作者复核了全部实验设计选择、分析、解释和最终主张。

伦理声明

本工作研究合成的算术任务，不使用私人用户数据或人类受试者数据。更广的动机与安全相关：当智能体评测系统的输出可能为高利害决策提供信息时，它们不应当把测量失败藏起来。

可复现性声明

我们在第 3 节描述基准任务、故障注入程序、模型配置、检测器定义和基线执行设置。约束消融设置和故障种子与第 4 节的相应结果一起报告，额外的检测器一致计数在附录中给出。这些细节规定了用来产出所报告结果的任务、测量规则，以及模型–测试架配置。

参考文献

• Bean et al. (2025) A. M. Bean、R. O. Kearns、A. Romanou、F. S. Hafner、H. Mayne、J. Batzner、N. Foroutan、C. Schmitz、K. Korgul、H. Batra、O. Deb、E. Beharry、C. Emde、T. Foster、A. Gausen、M. Grandury、S. Han、V. Hofmann、L. Ibrahim、H. Kim、H. R. Kirk、F. Lin、G. K. Liu、L. Luettgau、J. Magomere、J. Rystrøm、A. Sotnikova、Y. Yang、Y. Zhao、A. Bibi、A. Bosselut、R. Clark、A. Cohan、J. Foerster、Y. Gal、S. A. Hale、I. D. Raji、C. Summerfield、P. H. S. Torr、C. Ududec、L. Rocher 与 A. Mahdi。测量要紧的东西：大语言模型基准中的构念效度。Advances in Neural Information Processing Systems 38，Datasets and Benchmarks Track。外部链接：2511.04703。引用：§1、§2。
• Bhat et al. (2026) V. Bhat、J. Vaghasiya、M. A. Mohsin 与 A. Aali。给基准做基准：对工具调用评测的效度审计。arXiv 预印本 arXiv:2607.02577。引用：§1、§2、§2。
• Cheng et al. (2025) J. Cheng、R. Pan 与 H. Amiri。调查工具增强 LLM 中的工具–记忆冲突。R2-FM Workshop，International Conference on Machine Learning（ICML）。外部链接：2601.09760。引用：§1、§2。
• Cobbe et al. (2021) K. Cobbe、V. Kosaraju、M. Bavarian、M. Chen、H. Jun、L. Kaiser、J. Schulman、R. Nakano、J. Hilton、C. Hesse 与 J. Schulman。训练验证器来解数学应用题。arXiv 预印本 arXiv:2110.14168。引用：§3.1、表 2。
• Gao et al. (2026) T. Gao、H. Li、J. Li、T. Zhao、R. Shi、W. Wang、Z. Wu 与 L. Mi。轨迹之图：可视化科学智能体的执行轨迹。Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics（第 3 卷：System Demonstrations），美国加利福尼亚州圣迭戈，第 297–306 页。引用：§2。
• Gurram (2026) B. Gurram。评测使用工具的语言智能体：AgentProp-Bench 中的评判器可靠性、传播级联与运行时缓解。arXiv 预印本 arXiv:2604.16706。引用：§1、§2。
• Kaynar et al. (2026) G. Kaynar、B. Yan 与 C. Kingsford。工具失败时，智能体编造：使用工具的 LLM 智能体中的静默失败与核验优先的监督。NeurIPS 2026 Workshop: Who Verifies the Agents? Toward Reliable Agent Development。引用：§2。
• Lu et al. (2024) J. Lu、B. Pan、J. Chen、Y. Feng、J. Hu、Y. Peng 与 W. Chen。AgentLens：对基于 LLM 的自主系统中智能体行为的可视化分析。外部链接：Link。引用：§2。
• Milner et al. (2026) K. Milner、M. Shao、N. Rani、H. Xi、V. S. C. Putrevu、M. Udeshi、S. K. Shukla、P. Krishnamurthy、F. Khorrami、M. Shafique 与 R. Karri。LLM 智能体究竟如何拿到旗？面向智能体进攻安全评测的轨迹级来源。外部链接：2608.26237，Link。引用：§2。
• Mittal (2026) A. Mittal。当工具输出出错：使用工具的智能体中的信念修正。ICML 2026 Workshop on Failure Modes in Agentic AI。外部链接：Link。引用：§2。
• Tao and Yin (2026) Z. Tao 与 C. Yin。当工具安静地撒谎：评测并缓解工具增强数据智能体中的盲目遵从。arXiv 预印本 arXiv:2609.37153。引用：§2。
• Varlamov et al. (2026) A. Varlamov、R. Zinnatullin、E. Rykov、A. Panchenko 与 I. Alimova。MemToC：给大语言模型中的记忆–工具冲突解决做基准。arXiv 预印本 arXiv:2608.26295。引用：§1、§2。
• Verma et al. (2026) A. Verma、A. K. Saha、S. Subramanian 与 S. H. Aluru。AgentJudgeBench：用于在智能体工具调用上评测 LLM 评判器的多难度基准。外部链接：2608.26623，Link。引用：§2。
• Wang et al. (2026) L. Wang、Y. He、P. Chen、A. Yehudai、Y. Liu、R. Ying、M. Shmueli-Scheuer 与 A. Cohan。是时候 REFLECT：我们能信任面向循证研究智能体的 LLM 评判器吗？外部链接：2605.19196，Link。引用：§2。
• Wu et al. (2026) X. Wu、X. Zhu、X. Liu、J. Liu、J. Wang、L. Guo、X. Li、X. Cao 与 X. Cai。ClawTrack：走向对真实世界自主智能体的轨迹级评测与改进。外部链接：2607.28037，Link。引用：§2。
• Yao et al. (2026) Y. Yao、X. Tan、C. Liu、Y. Li、Z. Wang、W. Yu、Z. Tan、Y. Tian、G. Zhao、L. Sun、X. Zhang 与 T. Yang。Harness-bench：在真实智能体工作流中跨模型测量测试架效应。arXiv 预印本 arXiv:2605.27922。引用：§1、§2。
• Yehudai et al. (2026) A. Yehudai、L. Eden 与 M. Shmueli-Scheuer。Agentic CLEAR：自动化 LLM 智能体的多级评测。Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics（第 3 卷：System Demonstrations），美国加利福尼亚州圣迭戈，第 750–763 页。外部链接：Document，Link。引用：§2。
• Zhang et al. (2026) C. Zhang、Z. Wan、X. Yu、P. Zhou、W. Zhao、J. Wu、Y. Zhou 与 I. Tsang。不要盲目信任：不可靠反馈如何打断使用工具的 LLM 智能体。arXiv 预印本 arXiv:2606.21409。引用：§2。

附录 A 补充审计结果

A.1 分模型的核验分歧

表 7 报告在具有可比较核验标签的被复核轨迹中，D-verify 分歧的分模型分布。

表 7：在具有可比较核验标签的被复核轨迹中的 D-verify 分歧。这些计数描述被复核的情形，不应被解释成总体分歧率。

A.2 终端摘要

图 2 显示用于对轨迹结局、故障暴露、核验事件和被标记情形做快速初检的终端摘要。

图 2：用于快速分诊的终端摘要。逐轨迹的结局、故障暴露、核验事件和被标记情形，在详细检查之前被概括。