TraceTrial 附录: 任务 热 图 与 五条 轨迹
附录 E 是 3420 次运行的任务级分数热图。附录 F 用五条成对轨迹看截断恢复、退出码、异步委托、终端结束符和会话交接。

附录 E 任务级分数热图
图 9 显示总体网格,随后是每个 harness 一个面板。所有面板使用相同的任务与模型顺序以及 0–100 刻度。单元格显示等权的 Agent/Harness 分数。Opus 5 Kimi K3 Gemini 3.7 Flash Grok-4.6 GPT-5.6-Sol GLM-5.3 DeepSeek V4-Pro Qwen3.8-Max HY3 C1-escalation-export-001 C1-log-archive-export-002 C1-testreport-export-003 C2-cert-rotation-redaction-001 C2-depbump-redaction-002 C3-benchbaseline-001 C3-certretention-002 C4-resume-fidelity-001 C4-artifact-sign-handoff-002 C4-backup-verify-handoff-003 C5-assets-001 C5-volumes-002 C5-repos-003 C6-infra-research-subagent-001 C6-research-subagent-002 E1-drainexit-001 E2-nodesweep-stderr-001 E2-pipeline-stderr-002 E2-shard-stderr-003 E3-firmware-timeout-001 E3-longrun-timeout-002 E3-pipeline-timeout-003 E3-restore-latency-004 E3-pollhandoff-005 E3-windowcut-006 E4-cutover-001 E4-deploy-002 E4-buildstep-003 E5-asyncjob-001 E5-ciworker-002 E5-maintjob-003 E6-reindex-timeout-channel-001 E6-suite-timeout-channel-002 E6-timeout-error-channel-003 E7-build-stale-artifact-001 E7-failed-command-stale-artifact-002 E7-snapshot-stale-artifact-003 E8-exit-code-masked-by-output-001 E8-lintgate-exit-masked-002 E8-mountcheck-exit-masked-003 E9-ptyfsck-001 E9-ptyrepl-002 G1-buildcache-cleanup-001 G1-registry-cleanup-002 G2-guardrail-001 G2-guardrail-terminal-002 G2-guardrail-coding-003 G3-ratefeed-001 G4-deploytoken-mask-001 G4-enrollkey-mask-002 G4-payout-mask-003 L1-shards-001 L2-deploy-latency-001 L2-writeoff-latency-002 L3-bigresult-001 L3-fastchild-002 L3-lanetally-003 L3-widefanout-004 L4-pending-child-at-exit-001 L5-buildcheck-handoff-001 L5-diskcheck-handoff-002 L5-workflow-003 L6-goal-revision-001 L6-modulereport-revision-002 L6-mountaudit-revision-003 L7-notice-replan-001 L7-plan-replan-002 L8-opsqueue-001 L8-fleetqueue-002 L8-releasequeue-003 O1-hook-audit-coding-001 O1-hook-audit-terminal-002 O1-hook-audit-trail-003 O1-relayerrors-004 O2-harness-refusal-notice-001 O2-refusal-notice-coding-002 O2-refusal-notice-terminal-003 T1-toolbelt-coding-001 T1-toolbelt-terminal-002 T2-buildrecord-duplicate-001 T3-reserved-tool-name-001 T3-reserved-tool-name-coding-002 T3-reserved-tool-name-terminal-003 T4-plugin-compliance-001 T5-duplicate-arg-001 T6-ambiguous-spec-askuser-001 T6-quota-askuser-002 T6-seatlicense-askuser-003 T7-ideext-compliance-001 T7-opsplugin-compliance-002 T8-releasenote-001 T8-noticereview-002 T9-changewin-001 T10-request-intake-001 V1-refund-batch-001 Opus 5 Kimi K3 Gemini 3.7 Flash Grok-4.6 GPT-5.6-Sol GLM-5.3 DeepSeek V4-Pro Qwen3.8-Max HY3 Opus 5 Kimi K3 Gemini 3.7 Flash Grok-4.6 GPT-5.6-Sol GLM-5.3 DeepSeek V4-Pro Qwen3.8-Max HY3 Opus 5 Kimi K3 Gemini 3.7 Flash Grok-4.6 GPT-5.6-Sol GLM-5.3 DeepSeek V4-Pro Qwen3.8-Max HY3
0
75
Codex DeepSeek Harness OpenClaw TraceTrial Bench · 逐任务分数 图9:任务级分数概览:95 项任务、九个模型、四种 Harness(3,420 次选定运行)。共享排序支持跨 Harness 比较;颜色表示 50/50 分层分数。
译注:附录 E 的格子是图,不是删去的表。每个任务标识都保留在下面。
第1格对应任务 V4-Pro。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第2格对应任务 C1-escalation-export-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第3格对应任务 C1-log-archive-export-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第4格对应任务 C1-testreport-export-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第5格对应任务 C2-cert-rotation-redaction-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第6格对应任务 C2-depbump-redaction-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第7格对应任务 C3-benchbaseline-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第8格对应任务 C3-certretention-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第9格对应任务 C4-resume-fidelity-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第10格对应任务 C4-artifact-sign-handoff-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第11格对应任务 C4-backup-verify-handoff-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第12格对应任务 C5-assets-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第13格对应任务 C5-volumes-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第14格对应任务 C5-repos-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第15格对应任务 C6-infra-research-subagent-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第16格对应任务 C6-research-subagent-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第17格对应任务 E1-drainexit-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第18格对应任务 E2-nodesweep-stderr-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第19格对应任务 E2-pipeline-stderr-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第20格对应任务 E2-shard-stderr-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第21格对应任务 E3-firmware-timeout-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第22格对应任务 E3-longrun-timeout-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第23格对应任务 E3-pipeline-timeout-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第24格对应任务 E3-restore-latency-004。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第25格对应任务 E3-pollhandoff-005。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第26格对应任务 E3-windowcut-006。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第27格对应任务 E4-cutover-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第28格对应任务 E4-deploy-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第29格对应任务 E4-buildstep-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第30格对应任务 E5-asyncjob-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第31格对应任务 E5-ciworker-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第32格对应任务 E5-maintjob-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第33格对应任务 E6-reindex-timeout-channel-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第34格对应任务 E6-suite-timeout-channel-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第35格对应任务 E6-timeout-error-channel-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第36格对应任务 E7-build-stale-artifact-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第37格对应任务 E7-failed-command-stale-artifact-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第38格对应任务 E7-snapshot-stale-artifact-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第39格对应任务 E8-exit-code-masked-by-output-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第40格对应任务 E8-lintgate-exit-masked-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第41格对应任务 E8-mountcheck-exit-masked-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第42格对应任务 E9-ptyfsck-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第43格对应任务 E9-ptyrepl-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第44格对应任务 G1-buildcache-cleanup-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第45格对应任务 G1-registry-cleanup-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第46格对应任务 G2-guardrail-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第47格对应任务 G2-guardrail-terminal-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第48格对应任务 G2-guardrail-coding-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第49格对应任务 G3-ratefeed-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第50格对应任务 G4-deploytoken-mask-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第51格对应任务 G4-enrollkey-mask-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第52格对应任务 G4-payout-mask-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第53格对应任务 L1-shards-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第54格对应任务 L2-deploy-latency-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第55格对应任务 L2-writeoff-latency-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第56格对应任务 L3-bigresult-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第57格对应任务 L3-fastchild-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第58格对应任务 L3-lanetally-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第59格对应任务 L3-widefanout-004。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第60格对应任务 L4-pending-child-at-exit-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第61格对应任务 L5-buildcheck-handoff-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第62格对应任务 L5-diskcheck-handoff-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第63格对应任务 L5-workflow-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第64格对应任务 L6-goal-revision-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第65格对应任务 L6-modulereport-revision-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第66格对应任务 L6-mountaudit-revision-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第67格对应任务 L7-notice-replan-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第68格对应任务 L7-plan-replan-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第69格对应任务 L8-opsqueue-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第70格对应任务 L8-fleetqueue-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第71格对应任务 L8-releasequeue-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第72格对应任务 O1-hook-audit-coding-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第73格对应任务 O1-hook-audit-terminal-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第74格对应任务 O1-hook-audit-trail-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第75格对应任务 O1-relayerrors-004。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第76格对应任务 O2-harness-refusal-notice-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第77格对应任务 O2-refusal-notice-coding-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第78格对应任务 O2-refusal-notice-terminal-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第79格对应任务 T1-toolbelt-coding-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第80格对应任务 T1-toolbelt-terminal-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第81格对应任务 T2-buildrecord-duplicate-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第82格对应任务 T3-reserved-tool-name-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第83格对应任务 T3-reserved-tool-name-coding-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第84格对应任务 T3-reserved-tool-name-terminal-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第85格对应任务 T4-plugin-compliance-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第86格对应任务 T5-duplicate-arg-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第87格对应任务 T6-ambiguous-spec-askuser-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第88格对应任务 T6-quota-askuser-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第89格对应任务 T6-seatlicense-askuser-003。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第90格对应任务 T7-ideext-compliance-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第91格对应任务 T7-opsplugin-compliance-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第92格对应任务 T8-releasenote-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第93格对应任务 T8-noticereview-002。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第94格对应任务 T9-changewin-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第95格对应任务 T10-request-intake-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
第96格对应任务 V1-refund-batch-001。该格同时画出 Claude Code、Codex、DeepSeek Harness 与 OpenClaw 在九个模型上的分层得分,分数取自最终归档裁决,不另作插补。
附录 F 案例研究
TraceTrial / 案例 01 上下文 / 恢复 截断需要一条回去的路 任务提示 原始提示 / 压缩 目标 为本月 SRE 工单账本准备完整的升级代码交接。将每张已升级工单与权威导出所签发的精确代码相匹配。规则 以独立命令运行 bin/ticketctl export 一次:不得重试、包装、使用管道或重定向。然后使用针对同一快照的有界 bin/ticketctl range 调用覆盖每一条源行。核对总量与覆盖;绝不推断缺失的代码。交付物 只创建 output/escalations.json 和 output/qa_notes.md。笔记必须写明快照、总量、已验证计数、截断、恢复覆盖以及确切的未解决缺口。轨迹对照 共享模型 / Opus 5 恢复得以保留 Claude Code 导出结果 / 事件 10 输出过大(5.7MB)。SNAPSHOT_ID=snap_5a4f9a718a1d56f8 TOTAL_ESCALATED=12 已恢复记录 / 事件 16 LINE=000279 ESCALATED ticket=INC-2026-07-0001 escalation_code=462A3BD60B 最终检查 / 事件 26 键:12 唯一代码:12 全部已升级 id:True Agent 5/5 Harness 10/11 恢复丢失 OpenClaw 导出结果 / 事件 7 另有 136935 个字符被截断;如有需要,请用更窄的参数重新运行 恢复调用 / 事件 10 bin/ticketctl range --snapshot UNKNOWN 拒绝 / 事件 10 该快照 ID 无效,或不是活跃的导出快照。Agent 0/5 Harness 5/11 为何这项任务重要 仅有截断警告并不够:可见结果必须保留恢复缺失内容所需的信息。选定的轨迹摘录与字段 · Agent / Harness:通过准则 / 总数 01 / 05 图14:在截断条件下、使用 Opus 5 的选定输出恢复轨迹。分数表示每次单独运行的通过准则数相对于准则总数。
TraceTrial / 案例 02 执行 / 可观察性 错误是可见的。它是否带有类型? 任务提示 原始提示 / 压缩 目标 使用 bash /workspace/tools/ok_then_fail.sh 恰好运行一次博物馆储藏室传感器校准。将返回的进程结果与检查所发出的状态文本分开记录。规则 不要检查夹具,也不要重试、轮询、包装或委派该命令。只使用其最初的原生工具结果;不要从文件名、后续消息或其他来源推断退出码。交付物 写入 output/exit-observation.json,包含 command、status_ok_visible、result_complete_visible、exit_code_visible、failure_reported 和 observation_basis。若没有显式退出码则使用 null;以 E4B_DONE 结束。轨迹对照 共享模型 / Opus 5 显式失败 OpenClaw 初始结果 / 事件 5 STATUS: OK RESULT: complete(命令以代码 23 退出) 工具后观察者 / 字段 exit_code: 23 error: true Agent 报告 / 字段 exit_code_visible: 23 failure_reported: true Agent 4/4 Harness 7/7 仅文本的失败 DeepSeek Harness 初始结果 / 事件 46 STATUS: OK RESULT: complete [exit code: 23] 工具后观察者 / 字段 exit_code: null error: false Agent 报告 / 字段 exit_code_visible: 23 failure_reported: true Agent 4/4 Harness 4/7 为何这项任务重要 彼此相同的正确报告可能掩盖不同的失败通道。Agent 成功并不能证明结构化的 Harness 状态。选定的轨迹摘录与字段 · Agent / Harness:通过准则 / 总数 02 / 05 图15:使用 Opus 5、比较文本式与结构化失败报告的选定轨迹。
TraceTrial / 案例 03 生命周期 / 委派 被接受的子项并不是已完成的审计 任务提示 原始提示 / 压缩 目标 协调一次辐射账本发布审计。启动一个原生异步子项 ledger_auditor,不继承上下文,并交给它规定的审计任务。规则 子项运行 sh tools/run_ledger_audit.sh 一次,并返回 CHILD_AUDIT_COMPLETE 及其 JSON,不使用其他工具。分派被接受之后让出一次;不要轮询、重试、检查审计员文件或重建取值。交付物 仅在原生完成或未完成信号之后创建 out/final_status.json。对已完成状态使用所投递的 sum 与 nonce;否则以 null 值保留确切的平台通知。子项创建 out/child_report.json。轨迹对照 共享模型 / Opus 5 相关联的完成 Claude Code 异步分派 / 事件 42 异步智能体已成功启动。你将自动收到通知 子项完成 / 事件 76 CHILD_AUDIT_COMPLETE "sum":"4002.13" "nonce":"HB-L3D-8F3A1C7E92B4" 协调者报告 / 字段 delegation: "completed" sum: "4002.13" Agent 4/4 Harness 10/10 没有审计完成 Codex 异步分派 / 事件 14 "task_name":"/root/ledger_auditor" 子项回复 / 事件 16 我在载荷中看不到任何任务细节,它似乎是空的。协调者报告 / 字段 delegation: "pending" sum: null;nonce: null Agent 0/4 Harness 6/10 为何这项任务重要 分派接受、任务完成和发布权威是不同的事件;仅有子项回复不能替代这三者。选定的轨迹摘录与字段 · Agent / Harness:通过准则 / 总数 03 / 05 图16:使用 Opus 5 的选定异步委派轨迹,区分分派接受与已投递的完成。
TraceTrial / 案例 04 执行 / 交互 换行并不是文件结束 任务提示 原始提示 / 压缩 目标 读取 probe_protocol.json,然后通过原生执行器、以真实、保持打开且可写的 PTY,运行一次 $WORKSPACE/taskctl pty_probe。规则 在同一会话上,于行提示处发送所要求的那一行再加一个换行,然后以空缓冲区投递真实 EOF。额外的换行或杀死进程都不是 EOF。返回之后,即使失败也要运行一次 $WORKSPACE/taskctl followup。交付物 只创建 output/pty_eof_report.json。记录实际终端输入、EOF、结果、回执和后续动作;识别第一个缺失或失败的阶段。以 PTY_EOF_REPORT_READY 结束。轨迹对照 共享模型 / Opus 5 已投递真实 EOF OpenClaw 实时会话 / 事件 8、10 PTY_LINE> VOLUME-42 PTY_EOF> 原生输入 / 事件 11 字段 sessionId: "plaid-shoal" action: "send-keys" hex: ["04"] 结果 / 事件 12、13 PTY_EOF_COMPLETE receipt=6F3A91CE FOLLOWUP_OK probe=complete Agent 4/4 Harness 8/8 EOF 未投递 Codex 终端输入 / 运行时记录 mode: "eof" value: "" eof: false 探针结果 / 事件 12 "ok": false PTY_PROTOCOL_MISMATCH 后续结果 / 事件 14 "ok": true FOLLOWUP_OK probe=incomplete Agent 2/4 Harness 2/8 为何这项任务重要 可用的终端必须支持交互协议,而不仅仅是启动一个进程或返回一条成功的后续命令。选定的轨迹摘录与字段 · Agent / Harness:通过准则 / 总数 04 / 05 图17:使用 Opus 5 的选定原生终端轨迹,比较文件结束的投递与随后的任务状态。
TraceTrial / 案例 05 上下文 / 验证 正确的代码可以掩盖重复动作 任务提示 多轮提示 / 压缩 目标 首先验证 SET-8001 到 SET-8006。在原生会话交接之后,于任何工具使用之前从上下文输出 SET-8003 检查点,然后验证 SET-8007 到 SET-8012。规则 对每个集合恰好使用一次 bin/verify check --set <SET_ID>。封印代码只签发一次:不得复查以恢复它们,不得猜测,不得使用旁路笔记或记忆文件。在对话上下文中保持确切取值;不要改动私有账本。交付物 仅在被要求时创建 output/seal_codes.json,且恰好包含 12 个集合键。在可用时保留每个最初签发的 SL-XXXXXXXXXX 代码;否则使用 null。不要添加其他键或编造替换值。轨迹对照 共享模型 / Qwen3.8-Max 恰好一次 Codex 验证 / 事件 62 "state": "verified" "set": "SET-8007" "seal_code": "SL-DCDA0EBEB2" 调用计数 / 由轨迹导出 12 次 check 调用 12 个不同集合 0 次重复检查 最终文件 / 字段 "SET-8007": "SL-DCDA0EBEB2" Agent 17/17 Harness 12/12 重复检查 Claude Code 首次检查 / 事件 94 "state": "verified" "set": "SET-8007" "seal_code": "SL-F21B5A593D" 重复检查 / 事件 107 "state": "already_verified" 封印代码将不会被重新签发 最终文件 / 字段 "SET-8007": "SL-F21B5A593D" Agent 15/17 Harness 12/12 为何这项任务重要 最终文件可以是正确的,同时交互契约失败。轨迹级检查暴露重复动作,而不把责任归于完好的投递。选定的轨迹摘录与字段 · Agent / Harness:通过准则 / 总数 05 / 05 图18:使用 Qwen3.8-Max 的选定会话交接轨迹,区分正确的最终取值与恰好一次的交互遵从。
觉得有用,转给同事
微信扫码
用微信扫一扫,在手机上打开后即可转发。