闭环评测：上线之后，分数要能改自己，也要能改智能体

闭环评测：分层度量，并且让评测自己校准

Ruifeng Ren、Gun Ahn。麻省理工学院。许可证：CC BY 4.0。arXiv:2611.07051，2026 年 11 月 4 日。

智能体（agent，按规格调用工具并交付结果的程序）上线之后，团队想知道它有没有把活干完，而不只是它有没有报错。多数评测仍是一次性的：跑一轮基准、看一眼轨迹、给一个总分。结论既不检查自己，也到不了智能体身上。本文提出闭环评测（closed-loop evaluation，评测结论要回查证据，并推动智能体改版后再测），把它写成有偏评分者、结果被删失时的表现估计。删失（censoring）是指观察窗口里没看到结果，不能把没看到当成成功。每一层的结论都要能追溯到原子数据，并由带版本的规则算出来。方法覆盖四个分析层：span、trace、conversation、engagement。度量沿一条主脊展开：执行（Execution）、实质（Substance）、轨迹（Trajectory）、结果（Results）。行为（Conduct）全程是约束。来源（Provenance）和裁定（Adjudication）分别证明证据和评测者可信。智能体工厂（Agent Factory）生成的评测智能体携带这些组件，每个都有领域知识包和适配器。两条环把评测闭上：内环审计证据、规则和指标本身；外环用分组件回归检查推动智能体改进。本文还给出自动跑这条流水线的做法。案例是商业分析智能体 SharpInsight，并把方法迁到公开对话数据上。各层看到的问题不一样。用证据加规则做判断，比整体打分更稳：组内相关系数 ICC 为 0.86 对 0.81；κ 为 0.81 对 0.63。ICC 衡量分数里有多少来自被评对象本身，而不是评分者的习惯。κ 是两位评分者扣除偶然一致之后的一致程度。

1 引言

企业部署大语言模型（LLM，按提示生成文字的模型）智能体的方式，越来越像给一个岗位配人：它独立干活，直接面对客户，并按一份规格（系统提示）行事。评测却仍像评软件：离线基准、抽查轨迹，或让一个 LLM 裁判决定回答好不好。这些做法有两个毛病。第一，评测是开环的：分数一算出来过程就结束，没有人检查分数能不能信，也没有机制保证它会改变智能体。第二，判断是黑箱：LLM 返回一个分数，不说明分数由什么组成，换一个模型结论可能不同。

本文的做法是按组织考评员工的方式考评智能体。没有人用一个人的总印象分考评员工。考评要对照明确标准看出勤、工作产物、客户反馈和业务结果，并校准评分者。人事研究早就发现，评分者自己的倾向有时比被评的表现更能解释评分方差（Scullen, Mount, and Goff 2000），奖励代理指标会扭曲行为（Kerr 1975；Holmström and Milgrom 1991）。智能体评测面对同样的问题，而且规模要求自动化。

四项贡献：（1）一套闭环评测方法，包括测量模型、四个分析层、七个组件和两条环；（2）把原子数据采集和确定性分析分开的架构，并在数据层做审计；（3）让环自动跑起来的智能体工厂流水线；（4）在真实智能体和公开数据集上的运行，说明方法如何运作、如何迁移。

2 闭环评测方法

图 1 的中心是四段主脊。行为横穿主脊。来源在下，裁定在上。红色内环改正评测者，蓝色外环改正智能体。

表 1：七个组件的原子数据和确定性分析。所有结论都来自右列的规则。

测量模型与层次。分析在四层进行。span 是一次模型或工具调用。trace 是一轮里的 span 树。conversation 是一次会话。engagement 是用户在时间窗 T 内的多次会话和结果事件。越高的层越靠近用户价值，证据也越稀、越晚。对单元 x，评测者 e 的输出写成

ye(x) = ge(θ(x)) + be(x) + εe

θ 是潜在表现，ge 是单调连接函数，be 是评分者偏差。只有观察掩码 Me(x) = 1 时输出才可见。由此有三条要求。单一评分者会把 be 和 θ 混在一起，所以需要多个经过校准的评分者。把连接函数不同的分段混在一起，估出来的是一个并不存在的总体，所以打分前必须先证明证据。掩码不是随机缺失：默默失败的用户先离开，没观察到的结果不能算成功。

七个组件。方法沿价值创造路径设四个主脊阶段（图 1）：执行、实质、轨迹、结果。行为贯穿全程，因为智能体可以每一阶段都成功，却仍然越权。来源证明证据，裁定证明评测者。二者都不放在主脊上，以免把测量仪器和被测对象混为一谈。表 1 给出每个组件的原子数据和分析，与具体业务无关。

评测智能体。每个组件由评测智能体承载，形式为 e = ⟨K, H, φ, f, ρ, π, σ, v⟩。φ 用规则或 LLM 采集原子数据，每一条都是可核对的原子判断，本身没有分数。f 是确定性分析，用带版本的规则从数据算出结果，同一输入始终得到同一结论。K 是领域知识包（时延基线、行为词表、政策条款）。H 是适配器，连接日志和轨迹、调用工具并规范化数据（OpenTelemetry 2026；OpenTelemetry 是记录调用链的开放约定）。ρ 保存数据定义。π 是上下文投影，只露出需要的证据。σ 是带证据指针的输出模式。v 是版本。结果缓存在 k = hash(v ∥ hash(π(x))) 下。新的一轮只做一次增量计算，定义变更只使它影响到的结果失效。采集按级联进行：先规则，不确定时用小模型，再交给跨家族评审团，以降低自评偏好（Panickssery, Bowman, and Feng 2024；Verga et al. 2024）。

两个典型分析如下。实质清单分是

S(x) = D(x) · (1/|A(x)|) · Σ_{j∈A(x)} aj(x)

D 是由规则得到的交付状态，A(x) 是已准入且适用的条目。轨迹摩擦 F(x) = Σ s as(x)，对已准入的交互恢复事件求和。结局由规则给出：放弃或沮丧则记为 blocked；否则若 F ≥ 1 则记为 struggled；若只有一轮且都没有这些情况则记为 censored；其余记为 smooth。

条款、删失与准入。规格编译成条款 r = (φt, ψ)，由触发条件和义务组成。规则检测触发，LLM 只采集义务是否履行这一条原子数据，并附证据。适用率 A(r) = P(φt)，条件合规 C(r) = P(ψ | φt)。看不到的结果不填成满意。结果阶段提供延迟标签：回访、间隔，以及重做。重做定义为相邻请求的字符二元组 Jaccard ≥ 0.6。Jaccard 是两段文字重叠程度。时间窗内没有回访的会话标为删失。审计在数据层进行：把测量模型里的 ye 换成数据项 aj,e。每个数据项必须通过跨模型一致才能进入 f。指标还要通过准则效度、区分效度和古德哈特检验（Goodhart 1975）。古德哈特检验是指：下一层变差时，这个指标不得反而变好。

两条环。内环作用在评测自己身上：检验失败时，改数据定义、规则、证据范围或指标，版本随之改变，结果重算，失败的数据项退出分析。外环作用在智能体身上：发现变成修复。新版本必须在每个组件上通过回归检查，不变量零容忍，其余不能显著下降，然后才放量。新流量进入下一轮。组件并排报告，不做加权合成，以免多任务扭曲。

3 数据分析与拆开

表 2：四层的原子数据、分析和案例表现（全部为真实用户数据）。

数据与运行。案例是本团队运营的商业分析智能体 SharpInsight，使用选定时期内的全部对话。智能体和用户使用中文。它提供普通聊天、短的 simple 回答，以及异步的深度报告。来源先去掉不是真实流量的 16.1% 原始轮次：一个内部测试账号，以及建议提示的点击（其深度报告来自缓存，未完成率 0.2%，真实流量为 7.9%）。下面的数字只用真实用户：8,537 轮、4,393 个会话、1,136 名用户。执行和结果的数据用规则在全量上采集。实质、轨迹和行为由 Claude Opus 5.5 在 107 个分层会话（267 轮）上采集，Claude Sonnet 5.5 独立再采一遍用于裁定。样本多抽了难会话，总体估计用层权重 wh = Nh/nh 校正。结果都是汇总，不引用用户原文。

Span 层。表 2 概括四层。同步轮次含 22,884 个 span，每轮 3.31 个。日志记录步骤类型和顺序，不记录每步时间，所以基本数据项是步骤链是否完整。普通模式里，没有思考步骤的轮次失败 15.7%，有则为 0.0%；没有检索时，同步轮次失败 21.6%，有则为 1.0%。异常的深度任务停止里，85% 发生在进度不超过 20% 时，中位时间 60 秒，完成的任务中位 15 分钟，所以麻烦集中在任务启动。这些链异常伴随失败，不一定是原因。91% 的同步后续轮次会做上下文重建；在有检索的普通模式轮次里，有重建的中位时延 58 秒，没有则为 48 秒。

Trace 层。交付失败占轮次的 3.6%，深度模式最高（8.0%）。时延基线必须分模式（普通 50 秒，simple 8 秒，深度 15 分钟）。诊断力最强的信号在另一头：5 秒内给出的普通回答有 38.7% 失败，10 到 120 秒之间为 0.0%–0.2%。实质数据也在这一层采集。

Conversation 层。出现失败的会话占 5.6%，并随长度上升：一轮 3.4%，五轮及以上 16.7%。出现请求重放的会话，从两轮的 16.7% 升到五轮及以上的 35.3%。按规则，107 个会话分成 14 个 smooth、34 个 struggled、13 个 blocked、46 个 censored，平均摩擦 0.65。

Engagement 层。10.3% 的用户遇到过失败。会话以失败结束时，下一会话有 38.6% 是重做；成功结束之后为 6.4%。回访间隔中位数分别为 9 分钟和 18.2 小时。单轮会话占会话的 63.4%，其中 71.5% 之后仍有回访，所以延迟标签覆盖了大多数会话，只有 28.5% 保持删失。

各层明显不同。同一批失败影响到 3.6% 的轮次、5.6% 的会话和 10.3% 的用户：低层的小比例会向上累积。每一层也只看见自己的问题：span 能定位哪一步断了，却看不见用户是否受影响；engagement 能看见重做，却看不见是哪一步造成的。

图 3 把 107 个被判定的会话放在主脊上。每一阶段都由规则从原子数据算出。轨迹上的删失是指单轮看不出过程，和结果层里的“没有回访”不是一回事。

实质：逐条看。实质不是模型的总分。每条清单只回答是或否。通过一致准入的 6 条进入 S。加上层权重，总体 S = 0.92（95% 置信区间 0.89–0.95）：深度 0.95，普通 0.92，simple 0.84，深度与普通没有显著差异。这和“深度报告总分最低”的 LLM 整体分不同，整体分把形式和内容混在一起。这些 S 用的是截断文本。20 份深度报告在全文上的分数是 0.79，所以不用 S 给模式排名。

图 2 拆开这个结果。形式类条目大体较高：具体、可执行在三种模式里至少 83%。问题在全文一致性：无冲突在截断文本上大约 90%，全文上 20 份报告只有 1 份做到，冲突只有读完全文才出现。弱点也因模式而异：在被判定的样本里，11% 的普通回答没有好好收束；simple 回答只有 30% 遵守用户约束（n = 10）。后者没有通过准入，只作描述。

图 2：分模式的清单通过率（%）。右列是 20 份深度报告的全文结果，其余用截断文本。标 † 的条目没有通过跨模型准入，不进入 S。“–”表示适用个案少于 5。数值未加权。从图中读到的格子是：回答任务 I1 为普通 93、simple 88、深度 86、深度全文 90；遵守约束 I2† 为 76、30、56、67；使用上下文 I3 为 96、84、55，深度全文无有效值；覆盖全部部分 C1† 为 84、71、38、89；收束 C2 为 89、100、99、100；具体 S1 为 96、83、93、100；可执行 S2 为 91、92、91、100；无冲突 E1 为 90、90、93、5。

轨迹与结果。图 3 展示 107 个被判定会话在主脊上的位置。失败沿主脊传播（图 4）。一轮失败之后，下一条消息有 51.5% 是请求重放，成功之后为 12.6%。同一规则在公开数据上是 8.6%，只能作粗参考，因为那里的召回只有 0.21。准则关系方向符合预期：blocked 会话的最低 S 均值为 0.32，struggled 为 0.78，smooth 为 0.84。blocked 会话有 15% 被重做、38% 在一小时内回访，smooth 为 0% 和 21%。但只有 13 个和 14 个会话，差距不显著。

行为与互补。系统提示编译成五条条款。它允许在深入追问时披露运营公司，本文把它读成：否则不该主动说出。按规则计数，134 条回答在没有这种问题时提到了公司。文件摘要模板的 C = 25%（n = 32），并在没有上传文件时误触发 93 次。107 个被判定会话里，55 个至少被一个组件标出，执行只标出 6 个，所以只盯轨迹监控会漏掉 89% 的问题会话。轨迹、行为、实质各自独有 27、6、1 个标记，两两 Jaccard 重叠从 0.00 到 0.35。101 个通过执行的会话里，仍有 26 个最低 S 低于 0.8（图 3）。

4 环怎样运转

这些结果不是一遍做出来的，而是环一次次改正的产物。

表 3：案例里实际发生的内环改正。

内环：评测改正自己。审计把测量模型用到数据上。把 Opus 和 Sonnet 当作 259 个已交付轮次上的两名评分者，S 的方差有 85.8% 来自回答，系统性评分者偏差大约为零，残差 14.2%，单评分者 ICC 为 0.86，两人评审团为 0.92。对照之下，同一批轮次上直接打 1–5 分的 LLM 评分残差为 19.0%，ICC 为 0.81。轨迹结局同样：从原子数据由规则得出时，跨模型 κ = 0.81；作为 LLM 直接标签时只有 0.63。这就是把采集和分析分开的价值。

图 4 比较交付失败与成功之后的用户行为（全部真实用户；须线是按用户聚类的 95% 置信区间）。虚线左边是失败链，右边是留存。重做和一小时回访以“有下一会话”的会话为分母。

数据准入线是 κ ≥ 0.60，保留两位小数（图 5）。会话终止和上下文修补未四舍五入时是 0.599 和 0.596。逐字重放（0.93）、收束（0.93）和披露条款（1.00）可靠。夸大（0.21）、案例条款（0.30）和范围不匹配（0.38）随模型变化，退出分析。审计也量化了规则的召回缺口：对照原子数据，执行规则精确率 1.00、召回 0.33；重放规则精确率 0.94、召回 0.46。这决定了哪些必须交给 LLM 采集。

表 3 列出实际发生的七次内环改正，覆盖证据、判断方法、规则、指标和结论。证据范围最清楚。为了控制成本，第一遍只保留长回答的头和尾。审计发现，深度报告大约只有 6% 的文本到达评测者。全文上，同一批 20 份报告的 S 从 0.92 降到 0.79，无冲突条目从 90% 降到 5%。

外环：分组件回归。外环要求新版本在每个组件上通过回归检查。门禁碰到真发布之前，要先回答两个问题：什么都没变时会不会误报，以及它能抓住多大的退步。两个离线实验检验门禁本身。两者都按用户随机，不用时间切分（表 4）。

A/A 检验。A/A 检验是两边没有真实差异的对照，用来量误报。把全部用户随机分成两半，做 4,000 次（Kohavi, Tang, and Xu 2020）。两半没有真实差异，所以任何判定都是误报。按轮次的检验（|z| ≥ 2）在 98% 的划分里至少升起一次误报，因为同一用户的多轮不独立，少数重度用户就能推动一个比率。门禁因此改用按用户聚类的检验，并在一半划分上校准每个指标的阈值。在留出的另一半上，七个指标合在一起的误报是 4.5%，落在 5% 的目标内。

种入缺陷。在一半用户上改写已记录的轮次（把回答清空、重发上一条请求、插入披露句或模板），再用同一套规则重算；时延按比例放大。每种缺陷在每个强度上跑 300 次。在 80% 检出时，门禁能抓住失败上升 3.2 个百分点、披露上升 2.1 个百分点、模板误触发上升 1.5 个百分点，以及时延增加 46%，但对重放（18.1 个百分点）和失败后重放（35.5 个百分点）不敏感。缺陷很少串到别的组件：轨迹和行为的缺陷，标记到其他组件的次数最多 2%。例外是注入的失败会改变“失败后重放”的分母，在 95% 检出强度下大约 16% 的运行会因此被标出。所以误报受控，但以当前流量，门禁只能抓住大的退步。这些实验检验的是门禁，不是某一次具体改动。实质没有放进来，因为它依赖抽样审计。

图 5 是数据准入。每个数据项上两个模型的一致（两位小数）。蓝色进入确定性分析；灰色和红色低于准入线，等新定义。

从发现到修复。每条发现变成一条绑定验收指标的修复。案例得到三条：很短的输入先澄清再启动报告，验收指标是 1–5 个字符提示的失败率（7.3%）；收紧模板触发，验收指标是误触发率和合规（25%）；对空的和被截断的生成做重试，验收指标是 5 秒内失败（38.7%）和失败后重做（38.6%）。这些修复还没有上线；上线后将走过同一道门禁。

图 6 是闭环评测的自动化流水线。编排智能体把五步串起来。红色和蓝色箭头分别是内环和外环。

编排智能体做这些事：解析规格、定义数据项、写规则、分发采集、审计、触发重跑。

1. 触发：新轨迹到达；规格或版本变更；定时审计。
2. 接入与清洗：适配器规范化日志；分段、隔离攻击；检查证据覆盖。
3. 采集与分析：缓存命中则跳过；级联采集数据；确定性规则计算。
4. 自动审计：第二个模型重新采集；效度和古德哈特检验；失败条目下线。
5. 自动动作：回归判定；不变量打开事故；提出修复。

内环改写数据定义和规则。外环让新的智能体版本进入下一轮。

5 迁到别的智能体

方法的通用性来自分层。测量模型、层次、组件、环和准入规则保持不动。一次迁移替换三样东西：规格决定条款，知识包决定基线、词表和数据定义，适配器决定接哪些日志和结果事件。确定性分析 f 大部分可以带走。以实质和结果为例：客服智能体要检查回复是否引用政策、问题是否解决；编码智能体要检查测试是否通过、代码有没有被回退；数据分析智能体要检查定义有没有写明、报告有没有被采用。这些对应是推理出来的，还没有逐项测过。

本文还在公开数据上做了一次测试：把轨迹采集提示原样用到 60 段中文 WildChat 对话（164 轮；Zhao et al. 2024）上。那是通用助手，领域和用户群都不同。采集没有改，同一套规则给出 17 个 smooth、17 个 struggled、3 个 blocked、23 个 censored；直接让 LLM 打标签则留下 50 个 unknown。关键词规则没有迁过去：重放规则的精确率从 0.94 降到 0.75，召回从 0.46 降到 0.21。这标出迁移的边界：原子数据采集和确定性分析可以带走，关键词规则必须重新过审计，结果阶段必须接到新的事件源上。

6 让环自动跑起来

闭环评测只有自动化才有意义。人可以做一次审计，不能对每一轮、每一个版本持续做。关键是一个编排智能体，把智能体工厂的整条流水线组织起来（图 6）。

五步。（1）触发：新轨迹启动增量评测，规格或版本变更启动重算，日程启动审计。（2）接入与清洗：适配器规范化日志，来源给流量分段并检查证据覆盖。（3）采集与分析：缓存未命中时，规则或 LLM 按级联并行采集，确定性规则算出每一层的结果。（4）自动审计：样本交给第二个模型重新采集，计算一致和效度，失败的数据项退出分析并触发定义改写。（5）自动动作：新版本按组件比较，不变量被突破就开事故，常见缺陷变成提议的修复。

工厂怎样造评测者。编排者读角色规格和系统提示，生成数据定义、证据范围和输出模式，把确定性规则写成带版本的代码，审计失败时改写它们。人定义组件划分和不变量。规格变更时，条款和数据定义更新，受影响的结果重算，其余留在缓存里。

实测运行。案例研究就是这样产生的。人设定组件划分之后，编排者写规则、定义数据项、分发批次、跑统计并做审计。它定位并执行了表 3 里的改正，人设定要求并审阅结果。评测用了 19 个智能体、两轮并行，每个智能体大约 2–7 分钟，累计大约 400 万 token（不含缓存读），没有逐条人工干预。日志重放表明，增量评测把轮次评测从 28,044 降到 8,537（−70%）。

表 4：门禁的离线检验（全部真实用户数据）。按轮次和校准后是 A/A 误报占比，后者在留出划分上。最小升幅是达到 80% 检出时相对基线的增加。时延基线是几何平均。

人留在哪里。人保留三项决定：定义不变量、批准规格变更、审阅审计样本。当前实现仍是离线批处理。在线触发、金标准集和发布门禁还没有接到生产上，外环修复也还没有经过一次真实发布的验证。

7 讨论

方法改变了什么。闭环评测把评测从一次性分数变成一套一直在跑的控制系统。把采集和分析分开，使这套系统可解释、可审计。案例里最严重的问题不在基础设施，而在岗位设计：一两个字就能启动一份超过一万字的报告，深度模式奖励长度而不是一致性。这类问题只有分层度量才露出来，也只有外环才能修。同样重要的是，方法可以推翻自己：指标被退役，结论被撤回。开环评测做不到这一点。

限制。案例只有一个智能体、一种语言，被判定的样本不大。清单大多用截断文本，全文检查只覆盖 20 份深度报告。S 里的形式条目接近饱和，区分度有限，有些数据项的一致仍然不够。模型之间一致不等于正确，下一步是人类金标准集，κ 这条线是经验选择。扣除重做后的留存，正好拿掉失败之后更常见的那部分回访，所以反转有一部分来自定义本身，两个区间也重叠。执行规则的召回只有 0.33，基于规则的失败率可能被低估。种入缺陷假设缺陷在用户间随机出现，真实缺陷可能集中在某些场景。本文的对比是观察性的，因果需要对照实验（Kohavi, Tang, and Xu 2020；Bickel, Hammel, and O’Connell 1975）。

与已有工作的关系。本方法补上能力基准（Yao et al. 2025；Jimenez et al. 2024；Xu et al. 2025）及其方法论批评（Kapoor et al. 2025, 2026；Yehudai et al. 2026）。它把 LLM 与智能体裁判（Zheng et al. 2023；Wang et al. 2024；Zhuge et al. 2025；Shankar et al. 2024）和失败诊断（Cemri et al. 2025；Zhang et al. 2025）带进生产，并借用隐性满意度研究（Hassan et al. 2013；Lin et al. 2024；Rodden, Hutchinson, and Fu 2010）、原子事实核查（Min et al. 2023）和机器学习运维实践（Sculley et al. 2015）。行为这一组件借用对齐研究（Bai et al. 2022；Sharma et al. 2024），以及任务绩效与情境绩效的区分（Borman and Motowidlo 1993）。

8 结论

评测一个智能体，和考评一名员工一样，不能只有一个裁判、一个分数。本文提出闭环评测：每一层的结论都由规则从可追溯的证据算出；内环校准评测自己；外环推动智能体改进；编排智能体把这些步骤连成自动流水线。方法的层次、组件和环不绑在某个具体领域上。核心组件在 SharpInsight 上测过，其中一部分的可迁移性在公开对话数据上检查过，外环门禁做了离线测试。修复的真实效果，以及方法在其他类型智能体上的表现，还要等真实发布和进一步研究。评测只有在能改正自己、并能改变智能体时才算做完。这就是把环闭上的意思。

参考文献

• Bai et al. 2022. Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Bickel, Hammel, and O’Connell 1975. Sex Bias in Graduate Admissions: Data from Berkeley. Science.
• Borman and Motowidlo 1993. Expanding the Criterion Domain to Include Elements of Contextual Performance.
• Cemri et al. 2025. Why Do Multi-Agent LLM Systems Fail?
• Goodhart 1975. Problems of Monetary Management: The U.K. Experience.
• Hassan et al. 2013. Beyond Clicks: Query Reformulation as a Predictor of Search Satisfaction.
• Holmström and Milgrom 1991. Multitask Principal–Agent Analyses.
• Jimenez et al. 2024. SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
• Kapoor et al. 2025. AI Agents That Matter. arXiv:2407.01502.
• Kapoor et al. 2026. Holistic Agent Leaderboard.
• Kerr 1975. On the Folly of Rewarding A, While Hoping for B.
• Kohavi, Tang, and Xu 2020. Trustworthy Online Controlled Experiments.
• Lin et al. 2024. Interpretable User Satisfaction Estimation for Conversational Systems with Large Language Models.
• Min et al. 2023. FActScore.
• OpenTelemetry 2026. Semantic Conventions for Generative AI Systems. https://github.com/open-telemetry/semantic-conventions-genai
• Panickssery, Bowman, and Feng 2024. LLM Evaluators Recognize and Favor Their Own Generations.
• Rodden, Hutchinson, and Fu 2010. Measuring the User Experience on a Large Scale.
• Scullen, Mount, and Goff 2000. Understanding the Latent Structure of Job Performance Ratings.
• Sculley et al. 2015. Hidden Technical Debt in Machine Learning Systems.
• Shankar et al. 2024. Who Validates the Validators?
• Sharma et al. 2024. Towards Understanding Sycophancy in Language Models.
• Verga et al. 2024. Replacing Judges with Juries. arXiv:2404.18796.
• Wang et al. 2024. Large Language Models are not Fair Evaluators.
• Xu et al. 2025. TheAgentCompany.
• Yao et al. 2025. τ-bench.
• Yehudai et al. 2026. A Survey on Evaluation of LLM-based Agents.
• Zhang et al. 2025. Which Agent Causes Task Failures and When?
• Zhao et al. 2024. WildChat: 1M ChatGPT Interaction Logs in the Wild.
• Zheng et al. 2023. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena.
• Zhuge et al. 2025. Agent-as-a-Judge: Evaluate Agents with Agents.

出处：Ruifeng Ren，Gun Ahn，Closed-Loop Agent Evaluation: Layered Measurement and Self-Calibration，2026-11-04，https://arxiv.org/abs/2611.07051，CC BY 4.0。