TraceTrial：评测 Harness 的可靠性与失败归因

轨迹审判：面向可靠性与失败归因的 AI Agent Harness 基准评测

大语言模型智能体正越来越多地被用于解决真实世界中的问题，其有效性既取决于底层模型，也取决于支撑其运行的 harness。然而，现有基准大多聚焦于模型能力与智能体的整体表现，对 agent harness 的评测关注有限。为弥补这一空白，我们提出 TraceTrial-Bench，它将 harness 可靠性组织为七个组件，覆盖上下文、执行、治理、生命周期、可观测性、工具与验证。我们构建了 95 项专家级、面向机制的任务，并配有可执行或基于状态的真值，以支持语义等价的比较，同时保留每个 harness 的原生行为。我们设计了轨迹追踪（TT）模块，用以捕获智能体的执行轨迹，并引入两层评测框架，分别评估智能体表现与 harness 可靠性。此外，我们设计了多源证据获取（MEA）模块，为基于 LLM 的评测提供来自智能体上下文、harness 与执行环境的证据，并开发了失败归因（FA）模块，使用显式机制链以支持运行级归因。在 4 个 harness、9 个模型与 95 项任务上，我们对 3,420 次运行的评测得到的宏平均 harness 分数介于 59.8% 到 72.0% 之间，同时有 31.1% 的运行在至少一项 harness 准则失败的情况下仍然达成任务成功。TraceTrial-Bench 为比较 agent harness、诊断其失败，以及研究 harness 设计如何与模型行为相互作用，提供了可审计且可复现的基础。

1 引言

图1：背景与动机。智能体表现同时取决于模型及其 harness，但仅凭任务结果无法区分模型错误与 harness 不足。TraceTrial-Bench 使用原生执行轨迹、产物与环境状态，分别评估智能体表现与 harness 可靠性，并支持基于证据的失败归因。

大语言模型已经从主要生成文本的系统，演进为能够执行复杂、多步骤任务的 AI 智能体之基础（ wang2024survey ; yao2022react ; agashe2025agent ）。通过使用工具、执行命令、修改文件并与外部环境交互，这些智能体可以把用户目标转化为具体动作与可观察的结果（ schick2023toolformer ; yang2024swe ; wang2025openhands ）。然而，一个 AI 智能体所依赖的并不只是其底层模型（ sumers2023cognitive ）。其行为还取决于系统指令、上下文管理、可用工具、执行环境、持久状态、生命周期控制与安全机制（ packer2023memgpt ; wu2023autogen ; mei2024aios ）。因此，同一个模型在通过不同系统配置加以部署时，行为可能不同。Agent harness 把模型连接到这些周围组件，并决定哪些信息到达模型、它可以采取哪些动作，以及工具结果、错误与状态变化如何被呈现。智能体表现因此应当被理解为完整系统的一种属性，而 harness 应当被当作一个独立且对可靠性至关重要的组件（ li2026agent ; ning2026code ）。

现有的大多数智能体基准通过最终答案、测试结果或环境状态来评估任务完成（ merrill2026terminal ; deng2025swe ; barres2025tau ）。这些度量捕捉的是模型与其 harness 的综合效应，但对特定 harness 机制是否可靠地运作，所能提供的洞察有限。如图1所示，任务成功可能掩盖丢失的上下文、误导性的工具结果或生命周期违规，而任务失败也可能发生在 harness 得到忠实执行的情况下。即便模型保持固定，仅凭结果层面的比较也无法识别究竟是哪些 harness 行为造成了所观察到的差异（ barke2026agentrx ; liu2026auditing ）。近期研究已经开始考察 harness 的配置效应与安全性，从而推动对单个 harness 机制进行互补评测（ yao2026harness ; bai2026harnessrisk ）。此类评测需要能够行使显式 harness 义务的任务、能够揭示这些义务是否得到履行的证据，以及对 harness 行为与任务结果的分别评估。

因此，我们提出 TraceTrial-Bench，这是一个面向机制的基准，把原生 agent harness 当作被测系统。它通过可审计的执行轨迹与外部环境状态来评估 harness 行为。在既有 harness 分类体系（ li2026agent ）的基础上，我们将可靠性组织为七个组件：上下文、执行、治理、生命周期、可观测性、工具与验证。我们构建了 95 项任务，通过实际工作流来行使特定的 harness 机制，把显式的行为要求与智能体交付物以及可执行或基于状态的真值配对。跨 harness 适配器保留共同的任务目标与评测准则，同时保留每个 harness 的原生接口与执行行为。在不同 harness 上评测相同的模型–任务组合，为比较其整体可靠性并识别单个组件中的弱点提供了基础。

具体而言，轨迹追踪（TT）模块在共享的轨迹中间表示（Trace IR）中重建原生执行记录，同时保留其来源。多源证据获取（MEA）模块把这些记录与工作区产物以及权威的环境状态结合起来，以组装特定于准则的证据。在装置完整性检查之后，两层评测框架分别评估智能体的任务表现与 harness 可靠性。失败归因（FA）模块随后通过预先定义的机制链，把失败的 harness 准则与智能体准则连接起来；要区分被激活的候选链接与已经验证的失败传播，还需要进一步的证据审查。在四个 harness、九个模型与 95 项任务上，我们评测了 3,420 次选定执行。任务成功与 harness 准则的满足给出了不同的 harness 排名，并且有 31.1% 的运行在至少一项 harness 准则失败的情况下仍然达成任务成功。这些发现表明，对任务结果与 harness 行为分别加以评估，如何能够暴露仅凭结果的评测所可能忽略的可靠性差异。

我们的贡献总结如下。

• • 我们构建了 TraceTrial-Bench，这是一个覆盖七个可靠性组件的 95 项任务基准，并在跨 harness 比较中保留原生 harness 行为。

• • 我们开发了两层评测框架，把 TT、MEA 与 Trace IR 结合起来，分别评估智能体表现与 harness 可靠性。

• • 我们通过显式机制链引入失败归因，把候选链接与经过证据审查加以验证的失败传播区分开来。

• • 我们在 3,420 次选定执行上评测了四个 harness 与九个模型，并提供任务、配置、轨迹与裁决，以供可复现的分析。

2 背景

2.1 智能体、模型与 Harness

现代智能体把模型的决策，与一个管理其同工具及环境反复交互的 harness 结合起来（ wei2026agentic ; zhong2026ai ）。我们使用如下抽象

模型解释可用信息并选择动作。Harness 构建上下文、暴露工具接口、传输调用与结果、维护持久状态，并强制实施执行控制与权限控制。工具调用、工作区变更与输出产物记录这次交互的效应。因此，任务表现既取决于模型的决策，也取决于这些决策得到 harness 支撑的方式。

scaffold 通常描述围绕模型构建的提示、工作流与动作策略，而 runtime 提供进程、文件系统与计算资源。我们的 harness 边界包含它们的编排功能与控制功能。外部工具实现、任务环境、输出产物、评测器以及测量装置仍然处于该边界之外。当需要判定一项观察究竟涉及一项 harness 义务、一项 Agent 决策，还是测量过程的一次失败时，这种分离是必要的。

2.2 Harness 可靠性与任务结果

Harness 的功能影响一次执行的若干部分。消息的选择、排序、截断、压缩以及会话状态，决定哪些信息仍然对模型可用（ ye2025agentfold ; zhang2026agentic ）。工具清单、参数模式与路由决定动作接口（ hasan2026model ）。执行控制与生命周期控制传达命令结果、管理长时间运行的工作，并在会话与被委派的任务之间保持连续性（ ma2026longhorizon ）。权限与安全策略约束由此产生的动作（ buhler2026agentbound ）。

Harness 可靠性关注的是忠实的信息递送与执行语义。它并不保证任务成功：模型在收到准确信息之后，仍然可能做出不正确的决策。反过来，一份正确的最终产物可以与一条不完整的结果通道、一次丢失的状态转移，或一项被违反的交互要求共存。如果只评测最终交付物，就会把这些不同的情形合并成单一结果。

因此，TraceTrial-Bench 为 Agent 结果与 Harness 义务分别指定准则。Agent 层对照权威状态，检查所需动作、任务符合性与最终交付物。Harness 层检查原生系统是否履行了该任务所行使的信息义务与执行义务。第 3.2.1 节中的七组件分类体系，把这些职责转化为可观察的属性。

2.3 证据边界与主张层级

一项外部结果、一次面向模型的工具返回、一份原生会话记录，以及一个归一化事件，是彼此相关的观察，但它们不必包含相同的信息。环境状态确立实际发生了什么。变更后的产物标识出被持久化的交付物，而面向模型的原生记录确立模型能够观察到什么。提供方请求证据只支持它所捕获的结构化工具声明，而不支持未被捕获的请求体。来自一个边界的证据不能自动替代来自另一个边界的证据。

我们区分四个主张层级。一项准则裁决记录在所选证据之下的满足情况。确认一项 Harness 缺陷，还需要与该准则的权威来源进行核对。一条被激活的候选链接记录失败的端点以及一条与之匹配的预先声明条件。验证传播还进一步要求可观察的中间失真、得到支持的事件顺序，以及对竞争性解释的考量。装置失败是一种测量上的局限，而不是一项 Harness 缺陷。这些区分支配着接下来所展开的评分与归因协议。

3 TraceTrial-Bench

图2：TraceTrial-Bench 概览。面向机制的任务行使原生 harness；轨迹追踪与多源证据支持分别给出的 Agent 分数与 Harness 分数，以及基于证据的失败归因。图中的证据抽取阶段对应于 MEA 模块。

TraceTrial-Bench 把 agent harness 作为一个系统来评测，而不是把它当作模型周围的一层透明包装（图2）。该基准对每一次被接纳的运行提出三个不同的问题：（i）智能体是否产出了所要求的产物与动作，（ii）原生 harness 是否保留了任务所要求的信息、执行语义与生命周期行为，以及（iii）所观察到的智能体侧失败，是否与一条从 Harness 侧准则失败出发的、预先声明的传播机制相一致？第三个问题的处理方式是：当对应的 Harness 准则与 Agent 准则都失败，并且预先声明的激活条件得到满足时，自动激活准则级的候选链接。

本章描述的是针对已发布运行所实现的测量流水线。它把装置接纳、分层的 Agent 评分与 Harness 评分、保留来源的轨迹重建、确定性的且特定于准则的证据选择，以及准则级的候选机制链接结合起来。运行级输出汇总准则裁决与被自动激活的候选链接。这些输出支持基于证据的失败分析，而确认 Harness 缺陷或失败传播，则需要自动化评分之外的额外验证。

3.1 问题形式化与系统边界

被测系统（SUT）是原生 harness，它管理模型交互、工具协调、生命周期行为与权限。模型、任务、环境与资源预算是受控输入。评测器与捕获装置是测量装置。因此，装置失败不计为 harness 缺陷。

在指称这两张评分表时，我们将 Harness 层与 Agent 层作大写处理，并用 Judge 指称所配置的语义评分器。我们区分四个主张层级。一项准则裁决记录所选证据是否满足一条已声明的评分条件。一项已确认的 Harness 缺陷，还会把一条失败的 Harness 准则与该问题特定的权威来源相核对。一条被激活的候选机制链接记录：一对预先声明的 Harness–Agent 端点及其激活条件与该次运行相匹配。一项已验证的传播主张还额外要求确认两端的裁决，并人工审查事件顺序、一处可观察的中间失真，以及合理的竞争性解释。这一层级结构使操作性分数与传播主张保持可审计，而不把一个内部运行时标签当作因果结论。

对于 harness h h 、模型 m m 、任务 t t 与执行实例 r r ，一次运行被定义为如下有序记录

其中 τ \tau 是归一化的事件序列，Δ ​ W \Delta W 是相对于冻结基线的工作区变更，G G 是装置接纳状态，V H V_{H} 与 V A V_{A} 是 Harness 层与 Agent 层的准则裁决，而 L act L_{\mathrm{act}} 是被激活的候选机制链接集合。下标 r r 用来区分执行实例；所报告的总体为每个单元格保留一次选定执行。运行身份还额外绑定任务来源、已解析的模型与 harness 配置、容器镜像、执行实例标识符、归档清单以及产物摘要。

一个名义上的“工具结果”可能有若干并不等价的表示：工具或进程产生一个外部结果；harness 可能对它加以变换；模型收到一份面向模型的载荷；一份原生会话归档记录其中某种表示；而评测器观察到一个归一化事件。因此，TraceTrial-Bench 使用问题特定的权威来源。环境或模拟器状态对实际发生的事情具有权威性，变更后的产物对最终被持久化的产物状态具有权威性，提供方请求证据仅对其所保留的结构化工具声明具有权威性，而面向模型的原生结果对模型所能观察到的内容具有权威性。

这一实现在装置接纳之后有两个计分层。Agent 层度量任务动作、工作区状态与交付物，而 Harness 层针对原生 harness 行为，使用轨迹证据与探针证据。两个裁决向量保持区分；已发布的协议包含一种显式地以结果为条件的适用性状态，如表4所述。在语义评分被接纳之前，容器生命周期、归档完整性、轨迹可评分性、探针完整性以及私有预言机可用性都会得到核验。装置接纳并不是第三项分数，也不能补偿两个计分层中的任何一个。图3展示了这一边界以及由此产生的数据流。

图3：TraceTrial-Bench 的系统边界与已实现的流水线。原生 harness 是 SUT。虚线箭头表示证据获取；实线箭头表示任务执行或后续分析。评测器仅在运行身份检查与装置检查之后才消费归一化证据。

3.2 基准设计

#### 3.2.1 Harness 可靠性分类体系

形式化评测把 Harness 可靠性组织为七个顶层维度：上下文（ C ）、执行（ E ）、治理（ G ）、生命周期（ L ）、可观测性（ O ）、工具（ T ）与验证（ V ）（ li2026agent ）。这些维度由被测的 Harness 义务来定义，而不是由行使该义务的应用场景来定义。图4展示了属性分布（左），并概括了每个维度的范围及其在 95 项任务评测总体中的任务覆盖（右）。

跨切面行为按照被测试的属性来指派。例如，当问题在于信息是否跨越会话边界时，状态隔离在上下文之下评测；而当问题涉及创建、交付或终止时，子智能体完成在生命周期之下评测。仅当一个机制的触发条件、期望行为、相关观察边界与裁决条件能够在执行之前被规定时，该机制才被纳入。覆盖随后分别按任务指派、原生能力可用性、机制激活与证据充分性加以跟踪。测量装置的完整性由接纳门来评估，因此处于这七维分类体系之外。

图4：TraceTrial-Bench 的分类体系与任务覆盖。（左）40 项机制级可靠性属性在七个 Harness 组件上的分布。内环显示每个组件所占份额，外环列出各项单独的属性，并且每项属性被赋予相等的权重。（右）每个维度的范围及其在 95 项任务评测总体中的任务覆盖。

#### 3.2.2 任务套件

每项任务都从一个分类子维度出发，并识别原生机制、被测属性、模型可见的后果以及一个外部真值锚点。场景随后通过普通的领域工作来行使该机制。每项任务都把 Harness 层准则与 Agent 层交付物配对，并且凡是有预言机可用，就使用确定性的状态检查或产物检查。

一个任务包固定提示或轮次序列、初始工作区、允许使用的工具、预算、期望输出、确定性验证器、两张评分表，以及可选的模拟器或执行/安全探针。私有模拟器状态与已持久化的基线快照保持在 Agent 的可写工作区之外。审查所检查的是提示的可解性、预算之内的机制可达性、验证器与任务真值的一致、隐藏泄漏，以及在各个合格 harness 之间等价的领域语义。由此得到的 95 项任务总体，就是形式化评测集。

本次发布包括 46 项单轮任务、45 项固定多轮任务以及 4 项模拟器驱动任务。任务触发包括需要恢复的超大输出、与呈成功形态的产物相配对的非零退出、挂起的作业、跨越会话边界的事实，以及只能通过一条交互通道获得的私有值。这些条件使该项义务成为可观察的，同时保留一项实际任务与一个独立的真值锚点。

表1：任务契约与证据边界。每项任务都把一项 Harness 义务、一项 Agent 交付物与一个独立的真值锚点结合起来。详细目录见附录。

#### 3.2.3 Harness 与跨 Harness 执行

本次发布通过特定于来源的适配器评测 Codex、Claude Code、OpenClaw 与 DeepSeek Harness。运行器冻结任务修订、harness 适配器、所请求的模型与已解析的模型、推理设置、超时、容器镜像、judge 模型以及资源预算。每个适配器启动原生 harness，并转换其可观察记录，而不去替换原生的提示构造、工具传输、上下文策略、权限或会话行为。任务契约与预言机保持固定，同时每个 harness 保留其原生的执行策略。

语义等价允许表示归一化，但禁止那些会引入一项能力、加强模型可见证据，或改变任务通过/失败条件的变更。发布清单记录每一次运行的选定总体与来源。执行状态、轨迹完整性、评测状态、分数与归因仍然是彼此分开的字段。

覆盖分别按任务指派、原生能力可用性、机制激活与证据充分性加以跟踪。一项任务可以出现在清单之中，而并非每一次选定执行都行使其目标路径。如果原生 harness 提供了一条等价的可用路径，那么一个不可用的具名工具并不自动构成缺陷。如果某个适配器不能保留该任务的领域语义或所需证据，则相应比较在前瞻性协议之下为不可比。当前实验的全网格纳入策略在第 4.3 节另行说明。

#### 3.2.4 执行环境与测量装置

运行在任务作用域的容器中执行，并带有固定的容器内部工作区。运行器初始化一份冻结的任务状态，捕获私有的工作区基线，并在有声明时供给确定性的任务工具或有状态的模拟器服务。任务元数据控制用户轮次、工具调用、模型调用、墙钟时间、进程容纳以及其他相关的资源界限。已解析的配置记录生效值。

测量装置与 Agent 的可写输出表面相隔离。运行器所拥有的生命周期记录、归档清单、提供方请求元数据、私有模拟器账本、基线以及执行/安全探针，带有显式的来源与摘要绑定。发布清单充当权威索引，把任务、配置、运行身份、证据与校验和连接起来。

3.3 轨迹追踪（TT）与多源证据获取（MEA）

#### 3.3.1 轨迹采集与归一化

原生 Harness 暴露出不同的可观测性接口，因此轨迹获取通过特定于来源的适配器来实现。Codex 适配器读取其 JSON 事件流。Claude Code 适配器把 stream-json 输出与会话记录结合起来。OpenClaw 适配器读取本地的或由网关支持的 JSON 输出，以及会话 JSONL。DeepSeek Harness 适配器消费其持久化的 JSON-RPC 通知流。尽管存在这些接口差异，归档策略是统一的。当一份原生会话归档或通知归档可用时，运行器在运行归档中存储一份经脱敏的副本及其摘要。无法被归一化的有效记录被保留为带有来源标签的原始 stdout 或 stderr 事件，而不是被丢弃。

为了支持跨 Harness 的比较，这些适配器把原生观察映射到一种共同的事件模式，同时保留其来源记录。所得归档是一个按连续 seq 索引排序的 JSON 数组。每个事件都有一个共同信封，包含 schema_version 、 seq 、 timestamp 、 run_id 与 event_type 。仅当原生来源暴露出相应字段时，才填充可选的、特定于类型的字段。对于工具交互，tool_call 记录所请求的动作，tool_result 记录与之关联的返回。在可用时，该返回保留带类型的错误状态、整数退出码、持续时间、截断状态以及被省略的大小。解析后的来源记录保留在 raw_event 之中，从而使这一归一化能够对照原生观察被审计。

表2：当前追踪器所使用的规范事件族。仅当原生来源支持时，才发出可选字段。

可靠的重建要求把事件链接与事件顺序区分开来。因此，只要有可用的标识符，TraceTrial-Bench 就使用该 Harness 的原生调用标识符，把每个工具结果与其调用关联起来。含糊的观察——包括未匹配的、延迟的与重复的记录——保持显式的未链接状态，而不是被启发式地配对。在多智能体运行中，主体标识符与父主体标识符记录正在行动的智能体及其直接谱系，而原生的会话标识符与轮次标识符保留该 Harness 所导出的边界。追踪器把事件组织成一个统一序列，以便进行一致的分析，同时保留原生时间戳以及每个来源内部的原始顺序。当相应的原生元数据可用时，这些字段合起来支持对执行谱系与并发交错的分析。

关于工具可用性的主张，应当以在提供方边界上所提交的接口为依据，而不是从静态的 Harness 配置推断而来。因此，运行器侧记录器瞬时地检查每一个提供方请求，并抽取结构化的 tools 或 functions 声明。归档保留归一化之后的声明元数据——名称、描述、输入模式、请求顺序、路径、上游状态、计时与用量——但排除完整的请求体与授权材料。仅当该请求成功，并且声明通道存在、结构有效且完整时，所捕获的清单才被视为对一次请求具有权威性。所得记录确立该 Harness 在所捕获的请求边界上所提交的结构化工具表面。

图5说明同一个语义动作如何在若干边界上被表示。装置可能知道外部进程已经超时，而面向模型的结果却省略了这一事实。同时保留这两种观察，恰恰使一项 harness 保真准则成为可能。

图5：一次工具动作的跨边界重建。面向模型的结果、原生记录、外部执行状态与归一化事件彼此相关，但不可互换。实线箭头表示执行；虚线箭头终止于分别取得来源且身份对齐的证据。

#### 3.3.2 证据包与取证重建

完整轨迹过大，也过于异构，无法放进每一次语义 Judge 调用。因此，TraceTrial-Bench 把归档证据与准则证据分开。归档证据为审计而保留。一条准则收到一个有界数据包，该包由其评分表中一个已声明的选择器产生。

表3概括了已实现的来源。权威性是依主张而定的：外部状态确立发生了什么，面向模型的记录确立递送了什么，而相互关联的观察支持跨越这两个边界的保真比较。

表3：证据来源及其已实现的认识范围。

每一条语义量规都声明合格的事件类型、字段、字面匹配条件，以及返回记录的最大数量。查找器记录所匹配的字段与关键词，使检索契约成为确定的且可检查的。Agent 量规选择相对于已持久化基线发生变化的产物，并可以加入支持性的轨迹记录。Harness 量规选择轨迹证据与探针证据，而已完成的 Agent 裁决则作为下游上下文被单独提供。经摘要校验的执行探针与安全探针带有显式的来源标签，因此装置观察仍然可以与原生 harness 事件区分开来。

短字符串被直接返回，而更长的字符串保留固定的边界片段，以及数量有界的、以关键词为中心的窗口，其中包括围绕常见归约标记的窗口。大型集合，尤其是工具目录，保留完整的匹配条目，并附加一条显式的归约记录。该数据包报告已扫描、已匹配与已返回的计数，以及一个截断标志。已归档的轨迹与原生证据对人工审计和回放仍然具有权威性。全局界限由所评测的来源修订所固定，每条准则的返回上限则由其已归档的评分表所固定。judge 模型在评测期间不能改变这两者中的任何一个。

图6：已实现的证据包构造。选择是确定性的，并且特定于准则，而完整归档仍然可用于审计与回放。

事件路径与摘要路径必须解析为该次运行已归档产物树之内的常规文件，并且被归档清单所覆盖。原生归档与探针证据受摘要绑定。任务基线被复制到一个私有的评分输入区域，并在产物比较之前受到检查。已知凭据由事件写入器递归地脱敏，提供方请求体不被持久化，授权头被排除。这些控制合在一起，在该基准的发布策略之下，提供软件级的路径容纳、来源绑定与秘密最小化。

3.4 两层评测

一次运行仅当其结果、已解析配置、任务、模型以及归一化的 harness 身份彼此一致时，才是可评分的。生命周期记录与清理记录必须完整，并且轨迹与摘要必须被归档清单所覆盖。所有由任务声明的基线、探针、预算与私有预言机记录，也必须通过各自的完整性检查。结构化的失败轨迹仅对这样的已声明任务可被接纳：在该任务中，所观察到的生命周期失败本身就是目标属性。执行状态、评测状态与基础设施状态在运行记录中保持分开。接纳确立结构完整性与来源出处。准则评测随后记录选择器的覆盖范围，以及为判断所呈现的确切证据。

评测把可以由任务特定验证器决定的准则，与那些需要语义解释的准则区分开来。因此，每项任务都定义分开的 Harness 层评分表与 Agent 层评分表，并把每一条准则指定为确定性规则或语义量规二者之一。在任何一次 Judge 调用之前，确定性输出都对照已声明的准则标识符受到检查并被固定。这保留了客观的任务检查，同时把语义判断限制在没有确定性预言机可用的那些准则上。

语义准则根据其特定于准则的证据包被逐条评测。Agent 量规首先被评测，并以变更后的产物作为主要证据。一旦完整的 Agent 层结果已被固定，Harness 量规便根据轨迹证据与探针证据被评测。Agent 裁决仅作为下游上下文被提供：它们可以描述在该次运行中所观察到的影响，但它们并不是某条 Harness 准则已经失败的证据。对每一条语义准则，归档都保留相匹配的数据包，连同 Judge 提示、响应、解析后的分数与理由。如果某个必需的选择器没有返回证据，当前实现就赋为零，并显式地记录该次空选择。这表明，在已声明的证据契约之下并未确立满足，并且这并不独立地证明一项 Harness 缺陷。

表4：Judge 状态及其二元归结。确定性准则使用状态 0–1，而语义 Harness 准则还可以额外使用状态 2–3。每一条已定稿的准则仍然留在该层的分母之中。

两张评分表彼此区分，但并非统计上独立，因为状态 2 依赖于已完成的 Agent 结果。语料级报告使用已定稿的二元裁决。保留在各个量规产物之中的中间诊断代码，不被当作彼此分开的实验结果类别来分析。

对于层 X ∈ { H , A } X\in\{H,A\} ，已定稿项目数为 n X n_{X} 、通过项目数为 p X p_{X} ，所报告的分数为

在一个层之内，项目不加权重。一次运行仅在 S = 100 S=100 时通过组合评测器，但连续分数、项目裁决与归因全部予以保留。图7概括了实际顺序。

每一次已发布的运行都要经过针对运行身份、归档完整性与接纳状态的自动化检查。语料级分析根据已归档的证据，报告准则裁决以及被自动激活的候选链接。这些是操作性输出：一条被激活的链接记录它与其预先声明的端点及激活条件相符，但并不凭其自身确立所提出的机制传播了一次失败。

图7：接纳与分层评测的顺序。Agent 结果在 Harness 的语义评判之前完成，并且两个层保留彼此区分的证据包与裁决向量。

3.5 失败归因

归因仅在装置准入完成、且两个判定向量均已定稿之后才加以应用。它把单一运行级标签无法可靠回答的两个问题分开：Harness 层是否包含一项有依据的失败，以及一项 Agent 层失败是否遵循该任务所声明的机制。把这两个问题分开，可以避免把失败的共现报告为传播。

归因从准则级判定开始，但并非每一个 Harness 层零分都代表可归因于 Harness 的失败。在某些运行中，一项 Agent 动作会使目标属性不可观测。例如，一条包装命令可能用它自己的退出状态替换被测命令的退出状态。令 \(F_{H}\) 与 \(Z_{A}\) 分别表示得分为零的 Harness 准则与 Agent 准则的原始集合，并令 \(B\subseteq F_{H}\) 表示受此类观测旁路影响的 Harness 准则。我们将用于归因的 Harness 侧失败集定义为

此处，\(\setminus\) 表示集合差：一条准则属于 \(Z_{H}\)，当且仅当它在 Harness 层得分为零，且未被标记为受旁路影响。因此，\(Z_{H}\) 是通过从原始零分集合 \(F_{H}\) 中移除 \(B\) 里的每一条准则而得到的。被旁路的准则在评分报告中仍以零分可见，从而保留原始评测结果，但它们不计入 \(Z_{H}\)。属于 \(Z_{H}\) 本身只是一项操作性的 Harness 层结果，而不是已确认的缺陷。第 5 节中的实证结果使用未经此调整的原始集合 \(F_{H}\)，如第 4.3 节所规定。调整后的集合与所存储的运行时标签仍作为单独的实现输出可用。一条准则只有在其判定已与适用于该准则的证据来源核对一致之后，才进入确认集 \(D_{H}\subseteq Z_{H}\)。

执行之前，一项任务可以声明：某一条 Harness 准则的失败能够通过一项指定的中间机制影响某一条特定的 Agent 准则。我们将此类声明表示为

其中 \(h_{\ell}\) 与 \(a_{\ell}\) 是两个准则端点，\(\mu_{\ell}\) 描述居间的信息、动作或状态畸变。实现还会存储一个用于审查优先级排序的定性描述符，它不被解释为经过校准的概率。特定于任务的声明定义了可用的端点对。有些任务评估对模型可见信息的忠实报告，并不声明 Harness 到 Agent 的端点对。实验分析统计的是随最终评测一并存储的已激活端点对。它并不从恰好发生激活的链接子集去推断完整候选目录的规模。

在运行时，任务声明与适用的兼容性规则构成候选池 \(\mathcal{C}^{\mathrm{run}}_{t}\)。对于已声明的激活条件 \(q_{\ell}(R)\)，实现构造

激活根据旁路调整之前的原始 Harness 集合 \(F_{H}\) 计算，与已发布的实现一致。它确立的是：所声明的端点与激活条件出现在该次运行之中，但并不确立中间机制实际上传播了该失败。

一条候选链接只有在人工审查确认了两端点的判定、将 Harness 端点与其准则特定的证据来源核对一致，并在与所声明机制相一致的事件顺序中发现可观测的中间畸变之后，才会被提升到已验证集合 \(L_{\mathrm{val}}\subseteq L_{\mathrm{act}}\)。审查还会考虑来源以及合理的竞争性解释。因此，每一条已验证链接的 Harness 端点都属于 \(D_{H}\)，并且只有 \(L_{\mathrm{val}}\) 支持一项已验证的传播主张。

由已激活候选链接所覆盖的 Agent 失败为

TraceTrial-Bench 独立报告 \(|Z_{H}|\)，并把 \(Z_{A}\) 划分为已链接子集与未链接子集。这些计数可以从序列化判定、旁路标注和候选链接中恢复，从而允许一次运行同时包含一个 Harness 侧零分和一个与之无关的 Agent 侧零分。表 5 给出七条有序决策规则，它们产生六种不同的存储标签，其中两条规则产生 agent_caused。

表 5：运行时标签决策表。各行自上而下求值，第一条匹配的行决定所存储的标签。“Harness 零分”表示 \(Z_{H}\neq\emptyset\)；“结果问题”表示 \(Z_{A}\neq\emptyset\lor B\neq\emptyset\)。这些标签概括的是操作性证据状态，而不是已验证的因果结论。

所存储的字符串为与已发布的运行时记录保持兼容而保留，并在本文中作保守解释。具体而言，当 \(Z_{H}\) 非空时，agent_caused 并不断言 Harness 无缺陷；harness_caused 表示候选链接的激活，而不是因果结论。已确认的缺陷吸收要求相关 Harness 端点属于 \(D_{H}\)，已验证的传播则要求 \(L_{\mathrm{val}}\neq\emptyset\)。

3.6 基准输出与指标

对每一次通过准入并完成评分的运行，归档保留三类记录：（i）配置与来源，包括已解析配置、运行结果，以及生命周期清单与归档清单；（ii）执行证据，包括规范化轨迹与原生轨迹、提供方请求元数据、适用的模拟器、预算与探测证据、工作区变更，以及持久化的评分输入；（iii）评测产物，包括验证器输出、准则特定证据与 Judge 记录，以及合并后的分层分数。发布清单把每一次被选中的运行与其任务和已解析配置关联起来，并记录相应的产物路径与校验和。序列化结果包含装置状态、\(V_{H}\)、\(V_{A}\)、\(L_{\mathrm{act}}\) 以及旁路标注；这些字段共同确定双轴摘要，无需额外的启发式推断。

令 \(\mathcal{R}_{A}\)、\(\mathcal{R}_{H}\) 与 \(\mathcal{R}_{\mathrm{attr}}\) 分别表示 Agent、Harness 与归因指标的报告总体。在本研究中，三者均为完整的被选归档，如第 4.3 节所规定。Agent 级表现由任务成功率加以概括

其中，一次运行仅当它不含任何得分为零的 Agent 准则时才算成功。Harness 级表现由准则通过率的微平均与宏平均加以概括

微平均对每一条已定稿的 Harness 准则赋予相等权重，而宏平均对每一次运行赋予相等权重。由于 \(p_{H}(R)\) 由已定稿判定导出，这两个量都纳入了表 4 中对原始状态 2 所规定的、以结果为条件的消解。因此，它们度量的是操作性的 Harness 准则满足程度，不应被解释为已确认缺陷率。

对于 \(\mathcal{R}_{\mathrm{attr}}\)，我们报告三个互补比例：（i）至少有一条已激活候选链接的运行（\(L_{\mathrm{act}}\neq\emptyset\)）；（ii）至少有一个原始 Harness 层零分、但没有 Agent 层零分的运行（\(F_{H}\neq\emptyset\) 且 \(Z_{A}=\emptyset\)）；（iii）在 \(Z_{A}\setminus Z_{A,\mathrm{linked}}\) 中至少含有一个未链接 Agent 零分的运行。测量质量记录——包括准入结果、轨迹完整性以及选择器匹配计数——与表现汇总保持分离。当前分析保留全部已定稿单元格，并不估计语料级的选择器召回率、Judge 一致性或候选链接精确率。

4 实验

我们在由 95 项任务与九种模型配置完全填满的矩阵上，比较四种原生智能体 Harness。每个单元格包含一次被选中的执行及其最终归档评测。实验要问的是：当模型与任务总体保持固定时，结果质量与 Harness 准则满足程度是否一同变化。本节定义数据冻结与分析协议。第 5 节报告结果。

4.1 被评测系统与实验总体

被评测的 Harness 为 Claude Code、Codex、DeepSeek Harness 与 OpenClaw。特定于来源的适配器负责任务的配置准备并归档原生证据，同时保留每个 Harness 的执行接口与工具使用接口。九个模型组为 DeepSeek-V4-Pro、Gemini 3.7 Flash、GLM-5.3、GPT-5.6-Sol、Grok-4.6、HY3、Kimi K3、Opus 5 与 Qwen3.8-Max。推理设置遵循已归档的配置。原始模型标识符、已解析配置与调用字段仍保留在运行记录中，而上述九个名称则作为贯穿结果部分所使用的报告分组。

分析覆盖 95 项任务，每一项都在全部 36 种模型–Harness 组合上加以评测。分类归属从随运行记录的任务路径中恢复，并按附录所述加以规范化：四项遗留的 ask-user 任务被归入 Tools，而测量如实超时与结果处理的那项任务被归入 Execution。所得总体包含 15 项 Context、27 项 Execution、9 项 Governance、19 项 Lifecycle、7 项 Observability、17 项 Tools 与 1 项 Verification 任务，覆盖 40 项机制级属性。生成的任务台账记录本分析所使用的确切成员构成与元数据来源。

数据冻结包含

每个 Harness 有 855 个单元格，每个模型有 380 个。分析单元是 outputs/traces 中的根级任务–模型–Harness 运行目录。由工具或模拟器发出的嵌套 result.json 文件并不构成额外的实验运行。每一个被选中的单元格都有一份最终的 combined_score.json，没有任何模型分块处于待定状态，也没有对缺失分数进行插补。归档包含的是被选中的结果，包括来自较早恢复过程的替换执行，而不是每个单元格上的独立重复。因此，我们描述所观测到的矩阵，而不估计单元格内的可重复性。

4.2 执行与评测配置

运行在 Docker 中执行，任务工作区挂载于 /workspace。已解析配置与容器记录保留 Harness 的调用及镜像标识。任务包定义提示或轮次序列、夹具、工具、预期交付物、验证器以及资源限制。所记录的有效墙钟时间上限跨度为 120–5,400 秒。相应的任务定义跨度为 1–120 个用户输入轮次，以及 5–300 次任务工具调用。这些是特定于任务的上限，而不是观测到的轮次或调用次数。适用的执行预算由每次运行已解析的限制来标识，而不是由示例命令或目录名来标识。

在所收集的各次运行之间，任务调度与恢复条件并不相同。因此，本分析比较的是已定稿的功能结果与准则判定。它不把时长差异解释为一项受控的吞吐实验。特定于任务的修订与恢复运行，也限制了对 Harness 之间差异所作的因果解释。

全部 3,420 份已归档的最终评测都使用 deepseek-v4-flash 作为独立的语义 Judge。所存储的每准则输出上限为：1,966 份评测中为 4,096 tokens，1,452 份中为 8,192，两份中为 32,000。因此 Judge 的身份是固定的，而已归档的评分预算在所有单元格上并不相同。我们保留这些最终判定并报告其配置，而不是把该集合当作一项统一 Judge 预算的实验。

Agent 层与 Harness 层的条目、它们的二值判定以及已激活的候选链接，均从 artifacts/llm_judge/combined_score.json 读取。根目录的 result.json 提供执行身份与历史元数据，但其 score 字段并不是最终分数的权威来源。执行状态、评测状态与最终准则判定仍然是分开的记录。我们核验：每一份被选中的合并分数都具有预期的任务身份、两个非空的层判定向量、二值的条目取值，以及与公式 3 中 50/50 公式相一致的总分。

4.3 纳入与汇总策略

全部 3,420 份最终评测都使用其所存储的准则取值，恰好被纳入一次。执行状态标志与辅助标注不影响纳入或分数。

对于运行 \(r\)，令 \(p_{A,r}\) 与 \(n_{A,r}\) 分别为通过的 Agent 准则数与 Agent 准则总数，并类似地定义 \(p_{H,r}\) 与 \(n_{H,r}\)。Agent 任务成功要求 \(p_{A,r}=n_{A,r}\)。Agent Score 与 Harness Macro 分别是每次运行比例 \(p_{A,r}/n_{A,r}\) 与 \(p_{H,r}/n_{H,r}\) 的均值。Harness Micro 跨运行汇总通过的准则与准则总数：\(\sum_{r}p_{H,r}/\sum_{r}n_{H,r}\)。所有报告的比率都乘以 100。分层分数以相等权重对每次运行的两个层分数取平均。合并通过要求两层中的每一条准则都通过；它不得与仅 Agent 的任务成功相混淆。

每一个 Harness 都在相同的 855 个模型–任务单元格上评测。固定模型比较对每个 Harness 使用全部 95 项任务；模型平均值使用全部四种 Harness 与 95 项任务。维度级摘要在其规范化后的主维度之下把一项任务计一次。由于准则数量因任务而异，我们同时报告 Harness 的微平均比率与宏平均比率，并明确写出任务总体。

实证列联使用原始集合 \(F_{H}=\operatorname{fail}(V_{H})\) 与 \(Z_{A}=\operatorname{fail}(V_{A})\)。所有得分为零的条目均照常计入，辅助旁路标注并不从 \(F_{H}\) 中扣减条目。这是当前实验的报告约定，有别于第 3.5 节所定义的可选调整集合 \(Z_{H}\)。一次联合干净的运行满足 \(F_{H}=Z_{A}=\emptyset\)。一种操作性吸收状态满足 \(F_{H}\neq\emptyset\) 且 \(Z_{A}=\emptyset\)。将两个集合的空与非空状态相交叉，得到四种互斥状态。它们的比例使用每个 Harness 的全部 855 次运行，并且总和为 100%。短缺表示至少有一条失败准则，而不是运行时执行错误。

候选链接的计数来自最终评分之后所存储的端点对。我们核验每一条所存储的链接都把一条失败的原始 Harness 条目连接到一条失败的 Agent 条目。一次运行可以同时包含已链接的 Agent 失败与未链接的 Agent 失败，因此这两类证据可以重叠。共现的零分与所存储的链接，都不能确立一项已确认的 Harness 缺陷或因果传播。运行时类别标签保留在分析台账中，但列联直接由条目判定重建，以维持所声明的原始分数约定。

对于主维度 \(d\)，令 \(J_{d}\) 包含在两层中都至少有一条失败准则的运行，并令 \(L_{d}\subseteq J_{d}\) 包含其中至少有一条已存储候选链接的运行。我们报告 \(100|L_{d}|/|J_{d}|\)。无论失败条目或链接的数量多少，每次运行只贡献一次。汇集比率为 \(100\sum_{d}|L_{d}|/\sum_{d}|J_{d}|\)，而不是各维度比率的未加权均值。该统计量度量的是联合失败之中所记录的链接激活。

资源列报告每次运行的平均已记录用量：以千计的输入、输出与总 Tokens，以及以美元计的估计 Agent 成本。我们在所有 Harness 上应用各提供方官方网站所公布的同一套模型特定价格。输入成本利用可用计数器，把普通输入、缓存读取与缓存写入分开。未指明的缓存分量使用普通输入费率。输出成本包含已记录的推理 Tokens，并且不把它们再次计数。总成本为输入成本加上输出成本，在具有有效已记录用量的运行上取平均。这些是标准化的 Token 成本估计，而不是历史账单。Judge 调用、被丢弃的执行、支付手续费、存储以及工具收费，都不在其范围之内。

4.4 可复现性

结果汇总可以根据最终分数文件、它们的任务身份与模型身份，以及每项任务的主分量重新计算。原生轨迹、已解析配置、任务包与评分证据支持对个别判定的检查。资源估计另外还需要已记录用量以及冻结的价格目录。公开的项目仓库链接于标题页。

重新计算使用已归档的最终判定，而不重新运行 Agent，也不引入新的回溯式准入过滤器。身份核验、非空的二值判定向量，以及与 50/50 分数的一致性，确立了进入汇总的输入。

第 5 节报告完整的被选总体，附录 A–D 则记录任务、适配器、证据与评测契约。任务级热图与成对轨迹研究见附录 E 与附录 F。

5 结果

完整矩阵把一种只看结果的评测会合并在一起的三个量分开：Agent 任务成功、Harness 准则满足程度，以及失败准则之间候选链接的激活。以下所有比较都使用相同的 95 项任务、九个模型组与四种 Harness。分数取自第 4.3 节纳入策略之下的最终归档判定。

5.1 评测总体与分数覆盖

全部 3,420 个目标单元格都有最终合并分数，并且两层都具有非空的二值判定向量。每个模型–Harness 分块包含 95 次运行；因此每个 Harness 贡献 855 次，每个模型贡献 380 次。在整个总体上，20,016 个 Agent 条目中有 14,979 个通过（74.8%），相比之下，28,188 个 Harness 条目中有 19,242 个通过（68.3%）。每次运行分数的均值为 Agent 层 72.9%、Harness 层 67.9%，从而得到平均 50/50 分数 70.4。这些连续分数与全准则成功有实质差异。共有 1,351 次运行（39.5%）满足每一条 Agent 准则，而只有 286 次（8.4%）满足两层中的每一条准则。

5.2 总体分层结果

表 6 给出每个 Harness 在全部模型–任务单元格上的主要比较。表 7 报告完整的数值比较，包括全部九个固定模型分块。Claude Code 具有最高的 Agent 任务成功率（44.0%）和 Agent 宏分数（75.9%），以及最高的合并分数（73.5）。OpenClaw 具有最高的 Harness 宏比率（72.0%）、Harness 微比率（71.9%）以及联合干净率（11.7%）。因此，观测到的任务成功率最高的那个 Harness，并不是测得的 Harness 准则满足程度最高的那一个。

表 6：汇总结果（%）。所有 Harness 都使用 855 个相匹配的模型–任务单元格。总体列对未经四舍五入的 Agent Score 与 Harness Macro 等权平均，与首页图一致。Agent 的通过列要求全部 Agent 准则都通过，而干净列要求两层中的全部准则都通过。分数列与宏平均列对每次运行的比例取平均，而微平均列则汇总 Harness 条目。完整的模型级结果见表 7。

Harness 宏平均的极差为 12.2 个百分点，从 Codex 的 59.8% 到 OpenClaw 的 72.0%。Agent 任务成功率的极差更小：为 8.2 个点，从 Codex 的 35.8% 到 Claude Code 的 44.0%。Claude Code 与 OpenClaw 在 Harness 微平均表现上很接近，相差 0.4 个点，尽管二者的 Agent 成功率不同。DeepSeek Harness 在平均 Harness 比率（68.8%）与 Agent 任务成功（40.0%）两项上，都位于这些系统与 Codex 之间。