评分者一换，进步就被抹平：micro1 面试智能体的 2,611 次生产评分

评分者一换，进步就被抹平：micro1 面试智能体的 2,611 次生产评分

Liu Zhang、Mark Esposito。工作论文，2026 年 10 月。预印本提交日 2026-10-04。

本文是同一篇论文的上篇，写到第 4 节。第 5 节至第 7 节、参考文献和其余图在同题下篇。附录 A 至 D 的证明和估计细节不在这两篇里。

摘要

公司越来越多地用重复的人工评分来评测已经部署的人工智能智能体（agent，能自己执行多步任务的系统）。但分数的变化，既可能来自智能体，也可能来自测量过程。公司也很少知道，一次评测在系统继续演化之后还能有用多久。作者把可靠性当成一个看不见的状态，用一份已部署的语音加视频面试智能体上、按量规打分的 2,611 次生产面试来研究。材料还包括相互重叠的人工评审员、智能体的变更日志，以及支持工单。

评审员的严苛程度很大：两位评审员评同一批面试，在综合指数上相差 0.79 个标准差；评审员构成一变，原始趋势就被抹平。去掉评审员效应、再平滑批次估计之后，评出来的可靠性从 2026 年 3 月到 8 月上升 0.53 个标准差。可靠性在有记录的部署之间也有实质移动。按未入账变动的估计速率，预测不确定性大约五周后就会达到已观察到的最大一次部署反差的量级。这个期限估计得不精确，而且来自少数几次台阶式变化。一项独立的业务结果同向移动：与面试相关的支持工单，相对技术问题工单大约每月下降 10%。这些数据不能识别评测对表现的因果效应。它们表明，纵向的人工智能评测需要三件事：分数在评分者之间可比，证据在漂移下仍然不过时，以及用有后果的运营结果来印证。

关键词：人工智能智能体，评测，可靠性，评分者效应，潜变量，漂移，测量，人工智能面试。JEL：C38，D83，L86，M15，O33。

1 引言

把人工智能智能体放到客户面前的公司，必须一天一天地决定：它是否在工作、要不要改它，以及手头的证据是否还有效。评测计划就是为了提供这些证据。一个评测分数有用，只是因为它在下一次运营决定到来时仍然测的是同一件事。对已部署的智能体，这个条件很容易被打破：智能体在变，用户在变，给系统打分的人或模型也可能在变。跨时间比较原始分数的公司，可能把一位新评审员误当成一个更差的智能体，或在系统已经移动之后仍信任一份旧评测。

这是一个纵向测量问题，不同于某一个时点上的基准评测。生产评测必须满足三个条件。分数必须在评分者更换时仍能跨批次比较。它们必须在智能体、配置、供应商和用户群体漂移时仍然不过时。它们还必须跟上评测表以外真正要紧的失败。已有工作分别处理了重要的碎片：评分者研究显示系统性的评分者效应（Myford 与 Wolfe，2009；Casabianca 与 Beiting-Parrish，2026；Katoch 等，2026；Sachdeva 与 Boudol，2026）；纵向研究记录模型行为随时间变化（Chen 等，2024；Wiese，2026；Ford 等，2026）；生产研究说明评测是运营人工智能系统的中心（Pan 等，2026；Gupta 等，2026）。还不清楚的是，当公司用重复评测来推断某一个已部署智能体是否变得更可靠时，这些问题如何缠在一起。

作者把可靠性当成一个潜在状态，通过有噪声的、因评分者而异的测量被观察到。一个简单的决策模型把三个经验对象接到运营选择上：评分者严苛程度决定分数能否跨时间比较；漂移决定一次评测还能有用多久；评测发现、修复和面向市场的结果之间的连接，决定测到的变化在运营上是否有意义。这个框架不需要新的估计量。它的目的是写明：在分数流能够支持决定之前，一套生产评测计划必须识别什么。

研究对象是一个做实时求职面试的语音加视频人工智能智能体。2026 年 3 月到 8 月，公司的评测流水线用一份九个家族的量规，给 14 个批次里的 2,611 段生产录音打分。评审员在批次内部重叠，因此可以把评审员的严苛程度和批次层面的移动分开。这些评分再与一份变更日志合并。日志覆盖三次生产部署；从 5 月起还有每日支持工单。

证据给出三项发现。第一，测量的构成可以藏起进步。两位评审员给同一批打分，综合指数相差 0.79 个标准差。更严的评审员加入后，原始趋势变平；调整评审员效应之后，潜在指数上升 0.53 个标准差，而关键失败先升到 6.3% 的峰值，再降到 2.5%。第二，评出来的可靠性即使在有记录的部署之间也有实质移动。按未入账变动的估计速率，不确定性大约五周后达到最大一次部署反差的量级。这个估计不精确，由少数几次台阶式变化驱动。第三，一项独立的运营测量印证了改善的方向：与面试相关的支持工单，相对技术问题工单大约每月下降 10%。

这些结果支持三项贡献。把时间上的可比性写成生产评测的一等要求；把漂移重新理解成评测证据的有效寿命；并把“评测是否有信息”和“评测计划是否造成了随后的改善”分开。最后这一区分在这里是必要的：因为这次部署没有未经评测的对照，作者不识别评测计划的因果回报。

后文结构如下。第 2 节是概念框架。第 3 节描述智能体、评测计划和数据。第 4 至 6 节给出可比性、漂移和运营相关性的证据。第 7 节是结论。上篇写到第 4 节。

2 概念框架

这一节写下一家已经部署了人工智能智能体、又不能直接观察它是否有效的公司所面对的问题。模型里没有一样东西是面试专有的。智能体也可以回答支持问题、执行交易或写代码。模型故意做得很小。它的目的是推导、而不是假定经验部分要估计的对象：一个潜在可靠性状态以及它移动的速率，一套读数里含有评分者的测量系统，一个有成本和有限产能的修复过程，以及一条面向市场的痕迹。四个命题里，本文估计两个：原始分数里的评分者项（命题 4），以及漂移速率（命题 2）。命题 1 和命题 3 不估计，它们讲评测的价值如何经过修复和修复产能；第 6 节用它们来读评测计划贡献的证据。推导在附录 A，本篇不展开证明。

2.1 环境

时间按周离散。第 t 周，智能体处理 V_t 次会话。它的可靠性是状态 θ_t，属于实数。一般地说 θ_t 是一个向量，每种失败模式一个分量，下面的内容按分量成立。状态为 θ 时，一次会话失败的概率是 φ(θ)，在运行区间上 φ 的一阶导数小于 0、二阶导数大于 0：可靠性降低失败，但速率递减。每次失败让公司付出 λ，因此不可靠带来的流量损失是

Λ_t(θ_t) = λ V_t φ(θ_t)。（1）

状态因两类原因移动。工程师可以有意改变它：修复努力 e_t，单位成本 w，上限是产能 ē，使状态上升 g(e_t)，g 的一阶导数大于 0、二阶导数小于或等于 0。实践中，努力是一次代码、提示词或基础设施的部署，意图是修复，实现效果不确定，也可以是负的。从公司的角度看，其余一切移动状态的东西都是噪声：没有被记成部署的配置和环境搅动，供应商在一个固定名称下更新所提供的模型，以及会话人群的变化。Lehman（1980）观察到，一个在使用中的系统必须持续变化。作者只假定状态会移动，需要的是方差而不是方向：

θ_{t+1} = θ_t + g(e_t) + η_t，E[η_t] = 0，Var(η_t) = q。（2）

因此 q 是公司自己的记录解释不了的、每周移动的方差。第 5 节在有部署和没有部署两种情况下估计 q，这就是 g(e_t) 和 η_t 的区别。

状态不被观察到。公司可以让评分者复核第 t 周的 n 次会话样本，买到一次读数。评分者 r 给会话 i 的分数是

y_irt = θ_t + γ_r + ε_irt，Var(ε_irt) = σ²。（3）

γ_r 是评分者的严苛程度，不随时间变，并且针对失败模式。ε_irt 收集这次会话特有的难度和打分噪声。评分里含有评分者，是测量里最老的结果之一（Thorndike，1920；Cooper，1981；Linacre，1989）。严苛程度在评分者之间不同，也会在同一个人内部漂移（Congdon 与 McQueen，2000；Myford 与 Wolfe，2009）。一批的成本是 c(n) = c_0 + c_1 n。若评分者 r 评了该批的份额 s_rt，批均值是

ȳ_t = θ_t + Σ_r s_rt γ_r + ε̄_t，Var(ε̄_t) = σ² / n。（4）

最后，公司的损失有一条它并不选择去收集的痕迹：遇到失败的用户可能投诉。第 t 周的投诉是 C_t = π_t V_t φ(θ_t) + u_t。π_t 是经历失败的用户去提交报告的倾向，u_t 是噪声。只有一部分这样的用户会投诉（Fornell 与 Wernerfelt，1987），所以投诉是质量的一个被选择过的信号，π_t 也会随用户构成移动。

2.2 公司的问题

公司选择评测政策和修复政策，以最小化不可靠损失、评测成本和修复成本的期望贴现和：

在 0 ≤ e_t ≤ ē 下，对 {h, n, e_t} 最小化 E Σ_t β^t [Λ_t(θ_t) + w e_t + 1{第 t 周有批次} c(n)]。（5）

h 是批次之间的间隔。修复决定 e_t 可以依赖公司已经观察到的一切。公司关于 θ_t 的信息是一个后验，均值 θ̂_t，方差 P_t。批次之间，s 周之后方差变成 P_t + q s。一批 n 次会话把它变成 (1 / (P_t + q s) + n / σ²) 的倒数（Harvey，1989；Durbin 与 Koopman，2012）。修复指向估计状态低于目标最远的那种失败模式。

这个问题上定义两个对象。一批信息的价值，是修复在看到这批之后再选择、而不是在之前选择时，最小化期望损失的下降，修复成本算在里面。这是一般定义（Blackwell，1953；Raiffa 与 Schlaifer，1961），不需要近似。为了监测结果，作者加上一个二次监测近似。把损失在后验均值附近展开到二阶，得到 E[Λ_t(θ)] ≈ Λ_t(θ̂) + κ_t P，其中 κ_t = λ V_t φ″(θ̂) / 2。若决定损失对“所选修复与完全信息下最优修复之差”还是二次的，并且修复在相关区间上线性、不受约束，那么根据估计行动的期望超额损失等于 κ_t P，这是线性二次控制的确定性等价，信息价值就变成 κ_t 乘以后验方差的下降。命题 1 和命题 2 在写明的地方使用这个近似。它是一条监测规则，不是（5）的解。（5）的失败损失是非线性的，修复有成本、有产能上限。作者把 κ_t 在运行区间上当作常数。

2.3 命题

#### 命题 1：没有依结果而变的修复，评测就没有价值

如果修复不能对评测所揭示的东西做出反应，因为 ē = 0，或因为修复日程事先固定，那么有没有评测，不可靠带来的期望损失都一样，不管 n 和 h 是多少：计划的毛价值为零，净价值是减去它的成本。如果修复会反应，一批的毛价值就是它带来的最小化期望损失的下降；在二次监测近似下，这是 κ_t 乘以后验方差的下降。因此评测预算和修复预算不能分开评判。证明在附录 A。

#### 命题 2：最优间隔是漂移速率的函数

在二次监测近似下，每 h 周用规模为 n 的批次评测一次，平均每周成本是

c(n) / h + κ (P_0(h, n) + q h / 2)，

其中 P_0(h, n) = (√((q h)² + 4 q h σ² / n) − q h) / 2。（6）

P_0 是一批刚结束时的稳态后验方差（附录 A）。最优间隔 h* 随漂移速率 q 和损失权重 κ 下降，随一批的成本上升。当抽样方差相对一个间隔里累积的漂移很小时，有闭式 h* = √(2 c(n) / (κ q))。这是控制图经济设计里的抽样间隔逻辑（Duncan，1956；Lorenzen 与 Vance，1986），用到一个漂移而不是跳跃的过程上。围绕它的、有成本且受产能约束的修复问题，是本文的专门化。对当前问题，它的内容是：“持续评测”是 q 趋于无穷或 c 趋于 0 的极限。对有限的漂移速率，建议会带一个数字，而这个数字需要 q 的估计。同一计算给出一次读数变得没有信息的期限：预测方差 P_0 + q s 达到公司在意的变化 D² 的大小，发生在 s = (D² − P_0) / q。期限需要 q、P_0 和 D。间隔还需要 c 和 κ，数据里没有，所以第 5 节报告期限，并把间隔当作模型的结果来陈述。证明在附录 A。

#### 命题 3：评测的价值，经过修复产能允许公司用发现做什么

一项发现的价值恰好在最优修复对每一种发现都相同时为零。没有产能时就是这样（命题 1）。当产能够覆盖每一种模式、而且修复没有成本时也是这样，因为那时无论如何都会修。修复有成本时，发现仍然告诉公司哪些修复值得做，所以充足的产能留下一个选择价值，比约束收紧时更小。在中间，发现决定修哪些模式、何时修：产能只够一次修复、又有两种候选模式时，知道哪一种更差，价值就是两者缺口之差。因此关系一般不是单调的，评测和产能既不是互补也不是替代（附录 A 给出两模式的例子）。组织学习文献的相关论点是：失败必须被暴露并被行动，学习才会发生（Sitkin，1992；Edmondson，1999；Madsen 与 Desai，2010；Tyre 与 von Hippel，1997）。可观察的是队列：等产能的发现表明修复在边际上更稀缺；发现一到就行动，表明信息在边际上更稀缺。第 6.1 节用变更日志读这个队列。证明在附录 A。

#### 命题 4：名册一变，原始分数就会估错智能体

设公司把批均值（4）读成 θ 的读数。在批次 t 和 t′ 之间，它推断的状态变化是

ȳ_{t′} − ȳ_t = (θ_{t′} − θ_t) + Σ_r (s_rt′ − s_rt) γ_r + (ε̄_{t′} − ε̄_t)。（7）

因此谁来打分的变化，会以进入的评分者的严苛程度乘以其份额的符号和大小，进入为智能体的变化。因为 γ_r 针对失败模式，减去一个单一的宽松常数会留下模式层面的偏差。把修复指向读数最差的模式的公司，可能修错对象。偏差在两个条件和一个结构事实下可以去掉。条件是：批次内把会话分给评分者与难度无关，以及评分者严苛程度不随时间变。结构事实是：评分者乘批次的图是连通的。一批之内状态对所有评分者相同，所以严苛程度的差异在那里被识别；一位评过两批的评分者识别两批之间状态的变化。这是连通的流动者集合里工人与公司效应的识别论证（Abowd 等，1999；Abowd 等，2002），精神上也是准随机分配下法官固定效应的论证（Kling，2006；Dobbie 等，2018）。第 4 节陈述并部分检验这些条件，并表明（7）里的名册项大约和改善本身一样大。证明在附录 A。

#### 市场痕迹

每会话投诉是 C_t / V_t = π_t φ(θ_t) + u_t / V_t。若投诉倾向稳定，每会话投诉下降反映可靠性上升。同一工具上、关于智能体的投诉与无关类别投诉之比，去掉该工具共有的冲击。若 π_t 移动，两者都不能识别 φ(θ_t)。用户人群变化时 π_t 可能移动。因此模型只许可关于方向的主张。第 6.4 节做这个主张，不做更强的。

3 场景与数据

3.1 智能体及其部署

Zara 是一个语音加视频的人工智能智能体，为 micro1 做实时求职面试。micro1 招募并审核从事人工智能训练和其他远程工作的专业人员。候选人加入视频通话。智能体自我介绍，按岗位和候选人的回答调整问题，追问，然后结束面试。会话被录音。对话用实时语音模型，推理和工具调用用文本模型，由公司维护的一项服务编排。公司的职位发布记录意味着，研究窗口里大约每周 32,000 到 91,000 次面试，2026 年 3 月到 9 月之间量接近翻倍（图 1）。因为面试是真的，智能体的一次失败就是一位候选人求职申请里的一次失败。

作者从代码仓库的两个分支重建变更历史，得到按日期分组、按领域分类的提交组。评测窗口是 3 月 26 日到 8 月 31 日，其中有 27 组。两件事实组织了分析。第一，生产分支在窗口里收到三次与行为相关的开发成果提升，称为生产部署：4 月 12 日（新的实时模型别名、重写的文字转语音选择器，以及一次大的提示词重写），7 月 16 日（下一个实时模型、区域路由和提示词删减），7 月 29 日（6 月和 7 月的开发工作，包括重连超时和问题跟踪器）。另有一次生产提交在 8 月 20 日，把凭据移出仓库，不改变行为。提交记录的是代码变更的日期，不是它开始服务流量的时刻。作者把两者当作重合。第二，生产模型跑在固定版本名下，因此窗口内供应商的公开发布（4 月 23 日、7 月 7 日和 7 月 9 日）没有改变生产中的任何东西，用作安慰剂日期。固定名称不是快照，供应商可以更新同一名称下所提供的东西。变更日志记录的是仓库，不是仓库外保存的配置。第 5 节回到这两个限制。

3.2 评测流水线

从 2026 年 3 月下旬起，公司让训练师观看已完成的生产面试录音，对照九个家族的量规打分：对话结构、打断处理、延迟、语速、连贯性、音画同步、卡顿、音频质量、面试结果。每个家族有若干子项。一个家族的分数是其子项通过的份额，尺度为 0 到 1。稳定性指数是九个家族分数的均值，再标准化。训练师还给出 1 到 10 的总体印象，并在一份短的一票否决清单发生时标记关键失败。清单包括不可恢复的音画不同步、数据丢失、会话掉线、持续的打断模式，以及其他少数几项。生产中的关键失败有 73% 是音画同步失败。作者还用一个更宽的失败标记：训练师标记了关键失败，或印象为 6 及以下，则记 1。

流水线在 2026 年 3 月 26 日到 8 月 24 日之间给 2,611 段生产录音打分，按面试日期分成 14 批，大约两周一批，每批 68 到 335 段。最后一批只有 35 段，因为数据在它完成前被抽出。作者把它标成不完整，并从趋势估计中排除。每条分数带有训练师签字的日期。一批里有一半大约在面试日期之后 7 天签字。面试日期是智能体状态的时钟，签字日期是一项发现已经存在的时钟。流水线还给发布前渠道的 910 段录音打了分。公司在部署前用这些渠道测试改动。它们在主样本之外，只在第 6.2 节出现一次，那里的对象是发布前渠道自己的路径。

三位训练师给生产打分。评审员 A 评了每一批，并且直到 5 月 21 日都是独自评。评审员 B 在 5 月 21 日加入，此后大约评每一批的一半。评审员 C 评了 5 月 21 日那一批的一部分。名册见图 3 下栏，是本文的识别结构：因为 A 覆盖整个窗口，智能体的路径在她的尺度上被识别；因为 B 与她在九批里重叠，他的严苛程度在批内被识别。两个描述事实贯穿全文。多数家族在多数时间顶到天花板：中位家族在超过 90% 的录音上满分。延迟的空间最大，55% 在天花板上。对话结构是扣分最频繁的家族，所以指数的移动是少数家族的移动。按批的原始关键失败率从 0 到 11.1%，抽样标准误是 1 到 2 个百分点，所以单批很吵，第 4 节的平滑做的是实在的工作。

3.3 支持工单与职位记录

支持工单仪表盘于 2026 年 5 月 4 日上线，按类别记录每日新建工单数。作者使用 5 月 5 日到 9 月 17 日的每日新建数：候选人提交的与面试相关的工单（日均 46），以及技术问题工单（日均 312）。技术问题工单是对照。它们由同一批用户经同一工具提交，分担任何打到整个仪表盘上的流量、分拣或类别定义变化，又没有特别理由随面试智能体的可靠性移动。

被评测的录音没有职位或候选人标识，因此样本本身观察不到面试人群的任何信息。公司的职位发布记录描述样本所来自的人群：2024 年 9 月到 2026 年 9 月 15 日的 4,642 条发布，各有发布日期、按获客来源分的申请者，以及它产生的人工智能面试。把每条发布的面试摊到其活跃期上，得到推算的每周量和岗位组合。把申请者归到发布月份，得到随时间的获客渠道（图 1）。量的序列是一个数量级上的分母，工单分析用它来读每场面试的工单。下游有两次变化要紧。面试里软件与工程岗位的份额从 3 月的 17% 升到 5 月的 27%，并维持到 8 月附近。获客渠道从 6 月起变化：推荐占 4 月所发职位申请者的 79%，8 月所发职位只占 44%，而直接、搜索和付费流量上升。两者都关系到一个假定：到达评测批次的面试组合在批次之间可比。第 4 节在解释调整后路径时权衡它们。

图 1：窗口内的面试人群，来自公司的职位发布记录。左：按岗位家族的大约每周人工智能面试量（每条发布的面试均匀摊在其活跃期上）。右轴从仪表盘 5 月 5 日上线起是每 10,000 场面试的支持工单，技术问题为实线，与面试相关为虚线。右轴是对数：刻度是每 10,000 场面试的实际计数，相等的垂直距离是相等的百分比变化，因此两条序列尽管水平不同仍可比较。竖直虚线标生产部署。右：按获客渠道的申请者，归到发布月份。原图入库，刻度以原图为准。

3.4 估计什么，以及怎么估计

这次部署把第 2 节的原语具体化。潜在状态是去掉评审员效应之后、再跨批次平滑的批次效应。测量系统是量规和名册。公司自己的变化是三次部署。未入账的移动是它们之间剩下的部分。修复过程表现为提交组的节奏。市场痕迹是工单记录。表 1 把本文估计的每个量映射到它的设计、假定和它所服务的结果，并标出两个被当作透镜而不是被估计的结果。

表 1：识别地图。估计量、设计和每项推断靠什么。

4 公司能不能看出智能体在变好？

测量一变，就会藏起进展。这一节说明分数里有多少是评分者，在去掉评分者之后估计智能体的路径，并问移动落在量规的哪里、何时到来。它先写出所估计的设定。

4.1 设定

第 2 节的方程（3）是测量方程：一个分数等于该批里智能体的状态，加上评审员的严苛程度，加上噪声。作者分两阶段从它估计智能体的潜在路径。把每个阶段和它的假定写出来，是贡献的一部分：采用这个方法的公司应当知道自己买到的是什么。

#### 阶段 1：按评审员调整的批次效应

对每个结果（指数、每个家族的分数或扣分指示、关键失败标记、印象），作者在生产录音上用最小二乘估计方程（3），放入全套批次虚拟变量和评审员虚拟变量，省略评审员 A 的虚拟变量。批次系数 θ̂_t 是由评审员 A 打分的面试在批次 t 的结果期望值。不对 θ_t 如何随时间移动做假定。所假定的是：（A1）到达各批的面试组合在批次之间可比；（A2）量规以及训练师对它的解释在窗口内稳定；（A3）评审员效应可加。第 4.2 节检验 A3，只看评审员 A 的趋势则绕开它。A1 不能在录音上检验，录音没有关于职位、候选人设备或网络的协变量。职位记录提供两项部分检查，在解释调整后路径时使用。A2 被维持。量规没有改、训练师没有更替，这是说得通的。θ̂_t 的抽样协方差对异方差稳健。稀有的关键失败结果的方差有一个下限，以免零事件的批次被当成无限精确。协方差不是对角的，因为两位评审员都评过的批次共享估计的偏移 γ̂_B。阶段 2 携带完整协方差。它把指数上平滑后的首尾变化从 0.54 个标准差挪到 0.53（附录 C）。

#### 阶段 2：局部水平平滑

阶段 1 的估计是一个会移动的状态的有噪声读数。作者拟合

θ̂_t = μ_t + v_t，μ_{t+1} = μ_t + η_t，

(v_1, …, v_T) 服从均值 0、协方差 Σ̂ 的正态，η_t 服从均值 0、方差 q Δ_t 的正态。（8）

Σ̂ 是批次效应的阶段 1 抽样协方差，视为已知。非对角项来自共享的评审员系数。q 是每周的创新方差，用扩散的初始状态做剖面最大似然来估计。平滑后的 μ̂_t 是潜在路径。平滑器按精度给每批加权，并按状态被估计为移动得多慢，向邻居借强度。若 Σ̂ 为对角，它就是卡尔曼平滑器（Kalman smoother，按测量精度和状态移动速度，把带噪声的序列收成一条潜在路径）。若 q 为零，路径是常数。若 q 很大，路径会再现阶段 1 的估计。估计出的 q 就是第 5 节的漂移速率。q = 0 的似然比检验问的是：状态是否在抽样噪声之外移动过。

#### 趋势与反差

趋势把个案层面的结果对以月计的时间做回归，带评审员固定效应。标准误按批次日聚类，并用野生聚类自助法复核。一个设定加上部署阶段固定效应，使趋势只从阶段内部的移动被识别。一个设定只用评审员 A 的个案。家族趋势用每个家族的扣分指示，并报告九个家族上的 Holm 与 Benjamini-Hochberg 调整。部署反差比较一个日期之后的两批生产与之前的两批，带评审员固定效应，读成幅度而不是检验。

#### 估计量交付什么、不交付什么

输出是智能体可靠性在评审员 A 尺度上的一条路径，评审员构成已被去掉，抽样噪声被压低。水平是相对的。不能说 A 或 B 谁对智能体“是对的”，只能说随时间的移动在任一尺度上都相同。路径通过量规捕捉智能体，所以量规没覆盖的家族是看不见的，而评审员把录音失败打成智能体失败时，它会作为一次失败进入。它捕捉一切随时间移动、且对所有评审员共同的东西，那就是智能体加上面试人群（A1）。

4.2 一个分数里有多少是评分者

表 2 报告评分者固定效应和方差分解。批次固定效应携带智能体从一个两周到下一个两周所做的一切，只解释生产指数个案方差的 1.4%。加上训练师固定效应后升到 16.2%。谁给一段录音打分，远比它来自哪一个两周更能预测分数。因为智能体的批间移动（跨批标准差 0.20）相对评审员偏移和面试之间的噪声（个案标准差 0.89）都小。5 月加入的训练师、评审员 B，在同一批上比评审员 A 低 0.79 个标准差（标准误 0.05）。他标记关键失败的比率是 2.0%，A 是 5.0%，批内差异是另一个方向上的 −2.2 个百分点。一位评审员可以同时在分级项目上更严，在一票否决标记上更宽。

表 2：一个分数里有多少是评分者。评审员固定效应与方差分解。

注：生产个案，批次固定效应，标准误按批次日聚类（14 个簇）。参照评分者是评审员 A。评审员 C 只在一批 47 段生产录音上打分。他的系数只由那一批识别，标准误对异方差稳健，不标显著性。* p < 0.10， p < 0.05， p < 0.01

图 2 说明为什么一次单一的宽松调整行不通。按家族估计评审员 B 的效应，带批次固定效应，延迟上是 −1.40 个标准差，对话结构上是 −0.13。两位训练师在音画同步、卡顿和打断处理上一致，在延迟、语速和音频质量上不一致。严苛程度是一个向量，每个家族一项。它附在子项要求程度判断的家族上（停顿多久算太长），而在子项记录事件的家族上接近零（视频是否卡顿），与评分者效应文献一致（Myford 与 Wolfe，2009；Leckie 与 Baird，2011）。因此按评审员调整的路径必须按家族估计。

图 2：按量规家族的评审员效应，生产录音，批次固定效应，相对训练师 A，95% 置信区间。标准误按批次日聚类。训练师 C 对异方差稳健，他只在一批 47 段生产录音上打分。原图入库。

方程（3）假定一位评审员的严苛程度在每一批都相同。表 3 用数据允许的唯一方式检验这一点：在两人都评过的 9 批里，分别计算指数上 B 减 A 的差距。差距在每一批都是负的，从 −0.90 到 −0.53 个标准差。逆方差合并的差距是 −0.77（标准误 0.03）。异质性检验拒绝精确不变（Q = 19.0，p = 0.01）。因此可加性是一个近似。对好几个月里移动的方向和大致大小，它是好的近似，因为差距的变化相对差距本身小，而且没有趋势。对任何取决于单批水平的问题，它是差的近似，而作者不问那种问题。直接的检查是完全丢掉调整：评审员 A 评了每一批，所以只在她的分数上做趋势不需要评审员效应。表 4 给出每月 0.124 个标准差（p < 0.001），调整后是 0.102。两位评审员标准的共同漂移会通过这项检查，并且与智能体的移动无法区分。作者把它维持为假定 A2。

表 3：批内评审员差距，B 减 A，按生产批次。

注：每一行比较同一批次日期上两位评审员的面试，因此差距不能反映智能体随时间的变化。指数差距是 B 的均值减去 A 的均值，单位为标准差。关键失败差距是两人关键失败率之差，单位为百分点，各带标准误。稳定的差距支持可加的评审员效应。异质性检验问指数差距在批次之间的变化是否超过抽样噪声。

实践规则直接跟着来。让评分者重叠，并且永远不要在变化的名册上读原始平均。评分者不重叠的计划，无法把评分者和智能体分开。读原始平均的计划，会恰好在名册变化的时刻读错智能体。修法是分配问题：每一批的一个份额给两位评分者，至少一位评分者出现在每一批，并且在报告任何趋势之前于批内估计评审员效应。这同样适用于模型评判器。它们的严苛程度已被记录（Katoch 等，2026；Sachdeva 与 Boudol，2026），它们的行为跨版本变化（Chen 等，2024）。一个评判器版本就是一位评分者。

4.3 原始路径对调整后路径

第 2 节命题 4 说，原始批均值等于状态加上一个名册项。图 3 给出指数和关键失败率的结果。灰线是全部评审员的原始批均值。蓝点是阶段 1 按评审员调整的批次效应，带 95% 区间。橙线是平滑后的潜在路径。两者恰好在名册变化处分岔。分岔是算术：每个原始批均值等于调整后的批次效应，加上一个构成项，即每位评审员所评份额乘以其偏移。从 5 月 9 日到 8 月 10 日，原始均值上升 0.13 个标准差，调整后效应上升 0.48，构成项下降 0.34。智能体的改善和名册变化大小相同、同时到来，所以在原始序列里相互抵消。表 4 给出数字：生产指数的原始趋势是每月 0.002 个标准差（p = 0.93）。按评审员调整的趋势是 0.102（标准误 0.021，p < 0.001，野生聚类自助 p = 0.002）。加上部署阶段固定效应是 0.125（p = 0.002）。

图 3：生产稳定性指数（上）和关键失败率（中）的原始批均值、按评审员调整的批次效应和平滑潜在路径，以及按批的评审员名册（下）。绿色虚线标三次生产部署。紫色点线标供应商模型发布，生产中什么都没变。8 月 24 日一批不完整（35 段录音）。原图入库。

表 4：生产可靠性的月趋势，2026 年 3 月到 8 月。

注：生产个案（2,576；最右列加上不完整的 8 月 24 日批）。系数是以月计的时间。标准误按批次日聚类（13 个簇）。野生自助 p 是评审员固定效应趋势的受限野生聚类自助 p 值（Webb 权重，999 次抽取）。“仅评审员 A”用每一位批次都在场的那一位评审员的分数，不需要评审员调整，是对可加性的检查。部署阶段在三次生产部署（4 月 12 日、7 月 16 日、7 月 29 日）处切开窗口，因此“评审员 + 部署阶段固定效应”这一列只从阶段内的变动识别趋势。* p < 0.10， p < 0.05， p < 0.01

平滑路径给出标题数字。潜在指数从 3 月 29 日的 0.05 个标准差升到最后一个完整批次、8 月 10 日的 0.58，变化为 0.53（标准误 0.07）。潜在关键失败率做了指数没有做的事：从 2.8% 开始，在 2026-05-09 前后升到 6.3% 的峰值，再稳定降到 8 月 10 日的 2.5%。不完整的 8 月批次里原始比率是 0.0%，基于 35 段录音，这是公司自己的摘要所显示的数字。平滑路径把它当作十四个读数里的一个有噪声读数。关键失败序列是一个驼峰，趋势这种一个数字的摘要会错过形状。印象分是训练师 1 到 10 的总体判断，在窗口里于评审员 A 的尺度上向下漂，即便指数在上升。它是表格上邀请整体判断的那一项。要找智能体，看的是家族层面的证据，工程工作应当在那里显现。

这里有一项限定。调整后的路径捕捉的是智能体加上面试人群（A1），而录音里没有关于人群的信息。职位记录显示它在两个维度上移动：面试里软件岗位的份额在 3 月到 5 月从 17% 升到 27%，然后保持；获客渠道从 6 月起离开推荐，转向直接、搜索和付费流量。第一次变化与春季关键失败的上升重叠，是其中一部分的候选解释。第二次与夏季指数的改善重叠。候选人的获客渠道是否影响一次通话的技术行为，这些数据说不了。证据的两个特征使“整条路径都是人群”的解释更不可能，但并不排除它：移动集中在变更日志里对应具体工程工作的家族（第 4.4 节），并且方向上与一条不经过评审员或录音的市场信号一致（第 6.4 节，见下篇）。

4.4 哪些家族移动了

图 4 给出按评审员调整的扣分率，即至少丢掉一个子项的面试份额，九个家族各一条，并在面板标题里给出每个家族的月趋势及其对九个家族做过多重性调整后的 p 值。完整回归在附录表 10，本篇不展开该表。轮廓在大小上的差别大于在符号上。对话结构从 63% 的面试有扣分降到 23%（趋势为每月 −9.3 个百分点，p < 0.001），下降大部分在 5 月 9 日到 6 月 1 日之间。音画同步从 16% 降到接近 0（每月 −3.6 个百分点，p = 0.02），下降从 4 月开始。延迟从 28% 降到 11%（每月 −3.0，p = 0.03），几乎全在 6 月之前。音频质量是另一种形状：5 月下旬和 6 月上旬冲到 4.8% 的面试，然后到 7 月降到 0（每月 −2.1，p = 0.02）。面试结果在百分之几的面试里被扣，也下降（每月 −0.8 个百分点，p = 0.02）。打断处理、语速、连贯性和卡顿没有移动。五个家族的未调整 p < 0.05（对话结构、延迟、音画同步、音频质量、面试结果）。九个家族上的 Benjamini-Hochberg 调整后剩下 4 个（对话结构、音画同步、音频质量、面试结果；延迟的调整后 q 为 0.06）。Holm 调整后只剩对话结构。保守的说法是：对话结构下降的幅度大且不含糊；音画同步、延迟、音频和结果下降的幅度较小，九路校正使它们各自不确定；四个家族没有移动。凡是下游需要摘要的地方，作者使用事先固定的综合指数和关键失败率，个别家族只作描述。

图 4：每个量规家族里、生产面试出现问题的份额（该家族清单上丢掉一个子项），已按评审员调整。越低表示智能体质量越高，因此负趋势是改善。点是阶段 1 批次效应，带 95% 区间。线和带是平滑潜在路径。绿色虚线标生产部署。每个面板标题给出扣分率趋势，单位为每月百分点，来自扣分指示对时间的回归，带评审员固定效应（标准误按批次日聚类，排除不完整的 8 月 24 日批），以及九路多重性校正的判定。“Holm”表示趋势在 5% 上通过 Holm 逐步下降（只有对话结构，加粗）。“仅 BH”表示在 5% 上通过 Benjamini-Hochberg、但不通过 Holm（音画同步、音频质量、面试结果）。“仅未调整”表示校正前 p < 0.05、校正后高于此（延迟）。“无趋势”表示 p ≥ 0.05（打断处理、语速、连贯性、卡顿）。每个面板一角报告未调整 p、Holm p、BH q，以及天花板上的录音份额，后者限制一个家族的扣分率还能降多远。附录表 10 也报告标准化分数的趋势。原图入库。

扣分率下降的家族，就是变更日志说被做过的家族。4 月 12 日的部署重写了文字转语音选择器，并删掉几百行提示词。对话结构和音画同步在 4 月和 5 月改善。6 月开发分支的提交是关于重连和卡住会话的修复。7 月 29 日的部署发出重连超时和问题跟踪器，结构和音频在 7 月底再走一步。没有移动的家族，是没有提交去处理的那些。对应是描述性的，也是候选人人群的一次变化自己不太可能产生的那种。

有两项限定。音画同步占关键失败的 73%。录音系统有一个与此相关的缺陷：8 月 9 日开发分支的一次提交注明，候选人在面试中途重连时开始了第二段录音，并覆盖了第一段。重连处理从 3 月就有，因此缺陷可能在窗口的大部分时间里起作用，但变更日志没有给出它开始的日期。看着一段中途被覆盖的录音的评审员，会合理地把音画同步或数据丢失打成失败。因此有些关键失败可能是这条路径上的录音失败，份额是记录定不下来的。（第二个录音缺陷在屏幕共享流，属于 8 月在开发分支引入的一种结构，到窗口结束还没有到达生产。）另外几个家族在超过 95% 的录音上处于天花板，所以它们的平坦部分是扣分率的地板，而不是什么都没发生的证据。

报告规则跟着来。报告家族，而不是指数。九个弱相关家族上的综合指数，看不出哪些家族动了、哪些没动，也看不出一次部署改善了结构、同时恶化了一票否决项。工程按家族行动。指数服务的是另一类读者。

4.5 部署前后的变化，以及供应商发布

表 5 和图 5 比较每个事件之后的两批生产与之前的两批，带评审员固定效应。每个反差只有四批，没有好的推断基础。对 4 月的指数反差，稳健标准误下 p = 0.008，按四批聚类则 p = 0.29。因此作者把反差彼此当作幅度来读，并当作时间上的重合，而不是已识别的部署效应。在 4 月 12 日的部署，指数上升 0.20 个标准差，对话结构上升 0.37，同时关键失败率上升 4.7 个百分点，印象下降 0.43。一次部署同时改善了结构化行为、恶化了一票否决项，这就是图 3 里的驼峰。一种读法是：一次大部署（新的实时别名和重写的音频部件）在修好旧问题的同时引入了新的失败模式。上面说的录音缺陷是另一个候选，分数无法把它们分开。在 7 月 29 日的部署，指数上升 0.12，由结构（+0.32）和音频（+0.11）带动，关键失败率没有可察觉的移动。7 月 16 日的部署在指数上什么都没有（−0.001）。

表 5：按评审员调整的分数，在内部生产部署和供应商模型发布前后的变化。

注：每一行比较事件后的两批生产与事件前的两批，带评审员固定效应（后减前）。括号里的标准误对异方差稳健，并把一批内的录音当作独立。两次部署之间每一批的模型和代码相同，但第 5 节表明智能体的状态在没有部署的批次之间也移动。无论移动它的是未入账的变更、固定版本名后面的供应商更新，还是那两周被面试的人变了，都会一起打到一批里的每段录音上。因此每个反差靠的是四次批次层面的抽取，标准误低估了不确定性，四批上的检验都不可靠。作者不标显著性，把反差彼此当作幅度来读：4 月和 7 月下旬大，7 月中旬和供应商发布接近零。生产模型跑在固定版本名下，因此 4 月 23 日的供应商发布没有改变生产中的任何东西，用作安慰剂日期。

图 5：按评审员调整的指数和关键失败率，在三次内部部署（绿）和 4 月 23 日供应商发布（紫）前后的变化。日期后两批生产的均值减去前两批，带评审员固定效应。区间是 95%，对异方差稳健，并且按构造偏窄（表 5）。反差彼此当作幅度来读。原图入库。

安慰剂检验一件事：分数是否在一个新供应商版本公开发布的那一天移动。在固定版本名下，这一天应当是惰性的。同一名称背后、在别的时间提供的供应商更新，会在第 5 节表现为未入账的移动。只有 4 月 23 日的发布能用，因为 7 月 7 日和 9 日的发布与 7 月 16 日的部署共享窗口里的每一批。它的指数变化是 0.02，印象变化是 −0.05，对照 11 天前那次部署的 0.20 和 −0.43。它的关键失败反差是 4.0 个百分点，并不干净，因为 4 月 13 日和 4 月 27 日两批同时坐在两个窗口里。在两个窗口分开的地方，供应商日期什么都没有，部署日期有移动。

把按评审员调整的指数里最大的一次水平移动定位出来（图 6，Andrews（1993）的 sup-F 统计量，只作描述使用，因为它的渐近临界值不适用于十四个估计点），落在 2026-06-01，跳跃 0.34 个标准差，在 5 月 21 日和 6 月 1 日两批之间，距上一次生产部署七周，正处在开发分支上一连串重连工作的中段。要么 4 月的部署用了好几批才充分显现，要么一个变化到达了生产却没有生产分支上的提交，要么面试人群变了。变更日志无法区分这些。关键失败率没有可比的单次移动。它的路径是一个逐渐的驼峰。

图 6：按评审员调整的批次效应上，每个候选日期一次水平移动的 sup-F 统计量（修剪 15%），用来定位最大的移动。十四个估计点上渐近临界值不适用，因此没有画出。原图入库。

第 5 节起见同题下篇：证据还能有用多久，评测何时改善公司的决定，以及结论。

Liu Zhang，Mark Esposito，Reliability of AI Agents: Rater Effects, Drift, and the Return to an Evaluation Program，2026-10-04，https://arxiv.org/abs/2610.07003 ，CC BY 4.0。上篇至第 4 节。