大约五周之后，这份评测就说不清最大的那次部署：micro1 面试智能体下篇

大约五周之后，这份评测就说不清最大的那次部署：micro1 面试智能体下篇

Liu Zhang、Mark Esposito。工作论文，2026 年 10 月。预印本提交日 2026-10-04。

本文是同一篇论文的下篇，从第 5 节写到结论。场景、数据和第 4 节的评分者调整见上篇：评分者一换，进步就被抹平。附录 A 至 D 不在这两篇里。

上篇的设定在这里继续用。可靠性是一个潜在状态。q 是公司自己的记录解释不了的、每周移动的方差。三次生产部署是 2026-04-12、2026-07-16 和 2026-07-29。评测窗口里有 2,611 段生产录音、14 个批次。

5 证据还能有用多久？

一次评测结果是对一个会移动的状态的读数。它移动多快，以及公司自己的记录能解释其中多少，决定一次读数还能有信息多久。

5.1 设定

第 4.1 节的局部水平模型，作为平滑的副产品，给出创新方差 q：状态在一周里不可预测移动的方差，因此它在 h 周上的标准差按 √(q h) 增长。第 2 节区分了总移动和未入账移动。总移动是在批次之间的每一次转移上估计 q。未入账移动让状态可以在跨过一次生产部署的三次转移上自由跳跃（4 月 13 日、7 月 27 日和 8 月 10 日），于是 q 只从其间没有部署的批次识别。作者估计这两种，再加第三种：也放开 5 月下旬那两次转移，它们携带第 4.5 节无法归到任何部署的台阶。q = 0 的似然比检验问：剩下的转移是否与一个不变的状态一致。最后一批之后 h 周的预测不确定性，方差是 P_T + q h。P_T 是最后一批上平滑后的方差。

5.2 状态移动多快，变更日志解释了多少

表 6 报告三个估计。对指数，一周总移动的标准差是 0.075 个指数标准差（95% 似然比区间 0.041 到 0.142），一周未入账移动是 0.086（0.041 到 0.180）。两者都在 p < 0.001 上拒绝不变的状态。把部署拿掉，估计几乎不变：指数上测到的移动，大部分发生在没有生产部署记录的批次之间。那次移动也不是散开的。一旦 5 月下旬的台阶也被放开，剩下的转移与不变状态一致（估计 0.000，上界 0.151，p = 0.50）。指数是在少数几步里移动的：一步在 4 月部署，一步在 5 月下旬、变更日志后面什么都没有，一步跨过 7 月下旬的部署，而不是连续地动。对关键失败率，一周总移动的标准差是 0.93 个百分点，未入账移动是 0.76（p = 0.01）。放开 5 月下旬的台阶后降到 0.67（p = 0.16）。因此关键失败移动得更渐进，它们的一部分漂移在两次排除之后还在，但不显著。

表 6：漂移从哪来。总移动，对照变更日志解释不了的移动。

注：每一行在允许潜在状态跨所列转移无惩罚跳跃之后，重新估计局部水平漂移速率，于是漂移速率只从剩下的转移识别。放开三次部署转移后，指数的估计基本不变：它测到的移动大部分发生在没有生产部署记录的批次之间。再放开 5 月下旬的台阶，估计就被拿掉：指数是在少数几步里移动，而不是连续移动。关键失败移动得更渐进，一部分漂移在两次排除后仍在。

未入账移动可能有三个来源，数据无法分开。一个变化可能没有生产分支上的提交就到达了生产（配置、基础设施，或存在仓库外的提示词表），工程团队可以去查。供应商可能更新了固定版本名下所提供的模型（第 3 节）。或者面试变了：职位记录显示软件岗位份额在 3 月中到 5 月初大约翻倍，获客渠道从 6 月起变化，这两个维度在被评测的录音本身上都观察不到。因此作者把估计描述成变更日志解释不了的移动，来源不论，而不是单独的智能体漂移。对公司来说，这个区分没有对作者那么要紧：移动发生了，部署之间和跨过部署一样大，而公司自己的记录不会显示它。

5.3 从漂移到刷新间隔

要把漂移速率要成这些单位，是因为第 2 节的命题 2：评测之间的最优间隔取决于漂移速率、一批的成本和损失权重；一次读数不再有信息的期限取决于 q 和最后一次读数上的不确定性。作者观察不到一批的成本或损失权重，因此不计算最优间隔。他们报告期限。期限只需要 q、P_T，以及公司在意的一次变化有多大。有一个条件：计算把未入账移动当成扩散，而表 6 表明对指数它集中在一步上。因此期限最好读成：一家依赖自己记录的公司，会在哪一点上错了一个部署那么大的量，而不是一条光滑的预测。

设公司在最后一批之后停止评测，并且什么都不部署。h 周之后它对智能体状态的不确定性，方差是 P_T + q h，预测标准差随经过时间的平方根增长。图 7 画出它，并用合并速率作虚线比较。对指数，预测标准差在四周后是 0.18 个标准差，八周后 0.25，十二周后 0.30。它达到已观察到的最大部署反差、也就是 4 月 12 日那次 0.20 个标准差的变化，按漂移速率的点估计大约在 5 周（用合并速率是 6 周），在速率的 95% 区间上是 1 到 21 周。区间宽，是因为十四批对一个方差的识别很松。点估计说的是：大约五周不评测、也不部署，公司就再也分不清是否发生了和它最大一次部署一样大的变化。对关键失败率，预测标准差在四周是 1.9 个百分点，八周 2.4，十二周 2.9，对照窗口里大约四个点的峰谷移动。一个季度不评测，会让公司说不出自己是在经历过的区间的顶部还是底部。

图 7：潜在状态的预测标准差，作为距上一批评测的周数的函数。实线是未入账移动速率，阴影是该速率的 95% 区间。虚线是合并速率。参照线是 4 月 12 日的部署反差，以及窗口内观察到的总移动。原图入库。

对公司有两件事。第一，按它两周一次的节奏，预测标准差大约是一次大部署反差的一半，因此一批 300 段录音仍能在两次读数之间侦测到这样的变化。两周是不是正确间隔，还取决于一批的成本和不可靠的损失，作者观察不到。第二，要用的速率是公司自己的变更日志解释不了的移动，因为部署事先知道，并且可以作为常规在其后跟一批评测。这个数字专属于这个智能体和这段时期。配置被完全版本控制、供应商提供带日期快照的智能体，未入账移动会更少。模型别名浮动、或候选人群在变的智能体，会更多。局部水平模型是几行代码，给每家公司自己的数字，而不是一句口号。它返回的是控制图文献自 Duncan（1956）以来一直在要的那个参数。

6 评测何时改善公司的决定？

第 2 节命题 1 说，评测只有通过一次依赖于它的修复才有价值。命题 3 说，价值由修复产能允许公司对一项发现做什么来决定。两者在这里都不能估计，因为部署的任何部分都没有未经评测。记录能显示的是：做决定时发现是否已经在手，发布前渠道是否携带可用的读数，以及市场信号是否按评测的方向移动。这一节报告这三件事，然后问这个计划要值多少才盖得住成本。

6.1 发现每两周来一次，生产只改了三次

图 8 按两周画提交组：4 月和 5 月有两个两周是 0，7 月和 8 月的峰值是 5，五个月里有 3 次生产部署。提交组量的是仓库里的活动，不是产能或积压，所以这张图不能表明工程师受到了约束。它表明的是：发现在整个窗口里每两周到来，而生产变化只来了三次，因此从一项发现到一次变化的间隔，相对评测间隔是长的。这个模式指向修复、而不是信息，在窗口里的边际上更稀缺。不过，把改动捆成少数几次部署的发布政策会留下同样的痕迹。春季里，关键失败在 4 月部署之后上升了六周才下降，读起来像一项发现在等一次修复。

图 8：每两周的变更日志提交组，2026 年 3 月 26 日到 8 月 31 日。绿色虚线标三次生产部署。原图入库。

6.2 发布前渠道作为补救的检验

预发实时渠道由同一条流水线打分，而且几乎全由一位评审员打分。一项能在回归到达候选人之前把它停住的发现，会在这里留下痕迹（图 9）。预发上的周均印象在 5 月 11 日那一周是 8.50，下一周降到 6.83，6 月初 5.77，6 月 8 日那一周 4.10，6 月 29 日那一周触底 2.92。到 7 月中恢复到 6.08，8 月初在 5 到 6.5 之间，最后一周是 9.00，基于 10 段录音。同一几周的生产印象是平的。变更日志显示 6 月开发分支上有一串重连工作：6 月 8 日的提交加了一次重连调用然后又推迟它，引入了竞争条件；6 月 16 日的提交为卡住的会话加了一个修复守护进程，启动成本十秒；6 月 23 日的提交撤回该守护进程，并加上问题跟踪器。

时间上符合：预发承载实验性的重连工作，生产没有，流水线在退化发生时把它记了下来。但它并不逐条提交对齐。下降从 5 月中开始，比这些提交里的第一笔早三周，谷底在撤回之后的那一周。撤回是由流水线对预发的读数促成，还是由工程师自己的测试促成，没有记录。变更日志里没有一条提交引用评测发现。这一段确实表明两件事。流水线在任何生产部署之前几周就在发布前渠道上看到了回归，这是检验补救所需要的信息，而且这次回归从未到达生产。回归记在训练师的总体判断里，而不是技术清单里：下降前四周的 116 段预发录音，和谷底的 78 段，平均印象从 8.5 降到 3.9，九个家族分数几乎不动（连贯性从 1.00 到 0.87，其余每个家族在谷底都在 0.92 或以上），指数是平的（0.02 到 −0.11）。评审员看到的东西在量规子项之外。这是在技术表格上保留一项整体判断的理由。

图 9：预发实时渠道和生产上的周均评审员印象（1 到 10），并标出 6 月三次关于重连的开发提交。预发渠道几乎全由一位评审员打分，因此移动是评审员内部的。原图入库。

6.3 设定

工单仪表盘按类别记录每日计数。工单结果是同一仪表盘上、与面试相关的工单对技术问题工单的对数比，对以月计的时间做回归。窗口从 5 月 5 日开始（全窗口），或从 6 月、从 5 月开始，结束于 8 月或 9 月。同样的回归也跑在每场面试的对数面试工单上，用第 3 节的推算量序列。两期比较在 6 月 8 日到 7 月 15 日的五个日期上切开窗口，把工单比的后减前变化，与三个事先固定的评测结果的后减前变化比较：按评审员调整的指数、关键失败率，以及任一扣分的面试份额。两者都是描述性的。它们确立方向和大致大小。附在每个结果上的限定写在结果旁边。

6.4 对照同一工具的工单

从 2026 年 3 月 26 日到 5 月 4 日，公司没有持续记录的、面向市场的面试智能体可靠性测量。在这六周里，流水线记下了 4 月 12 日部署之后关键失败的上升、结构和音画同步扣分的下降，以及延迟改善的开始。关于智能体可靠性、并且还留在记录里的东西，公司是从流水线知道的。流水线是否读对了智能体，只有在第二件工具存在之后才能问。

工单仪表盘于 5 月 4 日上线。图 10 给出每日与面试相关的工单和技术问题工单的七日均值、两者的对数比，以及同一时期按评审员调整的扣分份额和关键失败率。面试工单在 5 月 5 日到 9 月 17 日的全窗口上水平大致平坦（每月 3.7%，t = 1.43），而同一仪表盘上的技术问题工单在增长，所以比值下降：全窗口每月 10%（t = −2.69），这是标题数字；6 月到 8 月是 18%（t = −2.85）。后一个窗口从比值的一个局部峰值附近开始，被报告是因为两件工具在这里重叠得最充分（表 7）。表 7 的第二列改为控制跑了多少场面试：每场面试的工单在全窗口每月下降 7%（t = −2.20），6 月到 8 月下降 14%（t = −2.68），而面试量在 5 月到 9 月大约翻倍。两个分母讲的是同一个故事。限定是：提交的投诉下降，就是提交的投诉下降。只有一部分经历失败的候选人会提交，而且获客渠道在夏季转向公司里没有同事的候选人，他们可能更愿意投诉，这会把每场面试的工单往上推，与观察到的下降相反。作者把工单序列读成一个方向和一个数量级，而不是一个弹性。

图 10：上：每日新建的与面试相关工单和技术问题工单，七日居中均值。中：两者的对数比，带 6 月到 8 月的趋势。下：同一几周里，九个家族中任一家族有扣分的生产面试份额（已按评审员调整），以及关键失败率。绿色虚线标生产部署。原图入库。

表 7：与面试相关的支持工单。对照同一工具的月趋势。

注：来自支持仪表盘的每日新建工单（2026 年 5 月 4 日上线；上线当天被丢掉）。每一格是对数序列对线性时间趋势和星期虚拟变量回归所隐含的每月百分比变化，Newey-West 标准误（7 阶滞后）。技术问题类别是主要对照，因为它共享工具和用户基础。面试量一列除以职位记录里大约的每日人工智能面试数（第 3 节），因此读成每场面试的工单（职位记录在 9 月 15 日结束，所以该列停在那里）。“其他类别”是全部类型的剩余，被类别铺开抬高，因此这一列夸大了下降。

表 8 问一个更简单的问题：在两件工具都覆盖的时期里，它们是否在每一个分割上都同向移动？指数按分割上升 0.05 到 0.18 个标准差，关键失败率下降 2.2 到 3.8 个百分点，任一扣分份额下降 0.9 到 14.8 个百分点，工单比下降 10% 到 22%。两条序列在这些周里都接近单调，所以每个分割上的一致只确立共同方向，没有更多。别的东西里的一条共同趋势会产生同一张表。一致所确立的是：流水线在春季给公司的读数，即智能体的技术行为在改善，就是工单记录事后给出的读数；而在 6 月被抹平的原始平均，不会给出这个读数。这是印证，不是验证。平滑路径使用每个日期两侧的批次。下降是相对的，因为面试工单的水平没有下降，而是在量和对照类别增长时没有跟着增长。

表 8：工单窗口内不同断点上的两件工具。后减前的变化。

注：评测列是按评审员调整的综合指数、关键失败率，以及九个家族中任一家族有扣分的生产面试份额的变化。生产批次从 2026 年 5 月 4 日到 8 月 10 日，评审员固定效应，标准误按批次日聚类。这些结果事先固定，不是按其移动挑选的。工单列是每日面试 / 技术问题比的百分比变化（星期控制，Newey-West）。两条序列在这些周里都接近单调，因此每个分割上的一致显示共同方向，不能把共同原因和平行原因分开。* p < 0.10， p < 0.05， p < 0.01

6.5 这个计划要值多少才够

公司仍然要决定是否给这个计划出钱，而记录里没有这项决定理想上要用的那个数字。计划对智能体可靠性的效应没有被识别：部署的任何部分都没有未经评测，所以没有比较臂，也没有东西改变评测的强度。人们会去找的两种设计提供不了它。围绕 7 月 16 日部署、对预发渠道做双重差分，指数上给出 0.10 个标准差，但预发按构造在生产之前收到改动，而且这个估计无论如何是一次部署的效应，不是计划的效应。提交并不在签字日期之后聚集：27 个提交组里有 63% 落在某个签字日的七天之内，置换零假设是 67%（p = 0.73）。一个模拟里，每条提交都在三周内的某个滞后上跟着一项发现，只有 37% 的重复拒绝，因此时间证据既不支持也不排除这条通道。能识别效应的，是当时就记下哪项发现促成了哪条提交，以及事先设计的、评测强度随时间的变化。把评测的引入在分片上错开做不到，因为对一个共享智能体的修复会同时到达每一个分片。两者都必须在计划开始之前设计进去。

没有因果数字，决定仍然可以写成一个条件。成本一侧，稳定性流水线的评分者报酬六个月平均每月 7,806 美元，来自工资单。按发现行动所花的工程时间没有计入。收益一侧只数一条通道：候选人没有提交的、与面试相关的升级。已经说过的限定仍然在：提交的投诉变少，不必意味着失败变少（Fornell 与 Wernerfelt，1987）。相对仪表盘前四周，9 月的面试工单大约每月 1,400，而若它们保持 5 月相对技术问题工单的比值，大约会是 1,800：每月减少 428，或 23%。6 月到 9 月平均的减少小得多，因为每场面试的工单在 6 月和 7 月先升后降。若用 6 月作基线，会接近 1,900。作者用 5 月基线和 9 月水平。

表 9 把两者放在一起。按 9 月的减少和全部归功，这个计划每次避免的升级成本 18 美元。若处理一次升级让公司花费 100 美元，包括支持时间和候选人的体验，那么只要它配得上 9 月减少量的大约 18%，这条通道就盖住成本。50 美元时需要大约两倍的份额，25 美元时需要其中的大部分。要点不是回报。表在全部归功下给出回报。要点是问题的形式：出钱的决定，收成这个评测计划是否配得上一条通道改善的五分之一。这是工程可以判断的机制问题，而不是数据给不出的投资回报。

表 9：智能体评测计划要解释升级减少量的多少份额，才盖得住成本。

注：计划成本是稳定性评测流水线的评分者报酬，六个月平均每月 7,806 美元。按发现行动的工程时间不包括在内。升级减少量是：2026 年 9 月公司收到的面试工单，比面试工单若保持仪表盘前四周相对技术问题工单的比值时会收到的少多少，每月 428。一次升级的成本没有被观察到，所以各行是一个范围。100 美元加粗，是正文使用的值。“需要的归功份额”是：在该每次升级成本下，评测计划必须对减少量负责的份额，才能盖住成本。“净值”是该成本下的节省减去计划成本，如果计划被给予全部减少量的功劳。

7 结论

评测一个已部署的人工智能智能体，是在系统和它的测量过程都在演化时测量变化。在这次部署里，评审员构成藏起了评测指数上有意义的改善。调整这一构成之后，出现一条更清楚的表现路径。家族层面的分析表明，结构化行为上的收益和严重失败上的变化走的是不同轨迹。表现也在有记录的生产发布之外变化，这说明为什么只靠发布历史，不能确立更早的评测结果仍然有信息。

支持工单记录提供一个互补的视角：与面试相关的支持负担，相对另一个工单类别，也相对估计的面试量，都下降了。这一致把评测结果接到运营经验上，同时不把评测计划期间观察到的改善，当成由该计划造成的效应。

合在一起，这些发现支持一种以可比的测量、重复的观察和与决定相关的结果为中心的评测做法。目的不是简单地产出更多分数，而是提供证据，帮助公司把进步和测量的变化分开，识别有后果的弱点，并决定手头的证据何时需要刷新。

参考文献

按原文保留作者、题名和出处，不另增文献。正文引用过的主要条目如下。

• Abowd、Kramarz 与 Margolis，1999，High wage workers and high wage firms，Econometrica 67(2):251–333。
• Abowd、Creecy 与 Kramarz，2002，Computing person and firm effects using linked longitudinal employer-employee data，U.S. Census Bureau TP-2002-06。
• Andrews，1993，Tests for parameter instability and structural change with unknown change point，Econometrica 61(4):821–856。
• Blackwell，1953，Equivalent comparisons of experiments，Annals of Mathematical Statistics 24(2):265–272。
• Casabianca 与 Beiting-Parrish，2026，Correcting human labels for rater effects in AI evaluation，arXiv:2602.22585。
• Chen、Zaharia 与 Zou，2024，How is ChatGPT’s behavior changing over time?，Harvard Data Science Review 6(2)。
• Congdon 与 McQueen，2000，The stability of rater severity in large-scale assessment programs，Journal of Educational Measurement 37(2):163–178。
• Cooper，1981，Ubiquitous halo，Psychological Bulletin 90(2):218–244。
• Dobbie、Goldin 与 Yang，2018，The effects of pretrial detention on conviction, future crime, and employment，American Economic Review 108(2):201–240。
• Duncan，1956，The economic design of X̄ charts used to maintain current control of a process，Journal of the American Statistical Association 51(274):228–242。
• Durbin 与 Koopman，2012，Time series analysis by state space methods，第 2 版，Oxford University Press。
• Edmondson，1999，Psychological safety and learning behavior in work teams，Administrative Science Quarterly 44(2):350–383。
• Ford、Van Doren 与 Dix，2026，Alignment drift in multimodal LLMs，arXiv:2602.04739。
• Fornell 与 Wernerfelt，1987，Defensive marketing strategy by customer complaint management，Journal of Marketing Research 24(4):337–346。
• Gupta 等，2026，Building customer support AI agents at 100m-user scale，arXiv:2606.08867，KDD 2026 接收。
• Harvey，1989，Forecasting, structural time series models and the Kalman filter，Cambridge University Press。
• Katoch 等，2026，Accounting for bias enables sustainable LLM evaluation，arXiv:2609.31184。
• Kling，2006，Incarceration length, employment, and earnings，American Economic Review 96(3):863–876。
• Leckie 与 Baird，2011，Rater effects on essay scoring，Journal of Educational Measurement 48(4):399–418。
• Lehman，1980，Programs, life cycles, and laws of software evolution，Proceedings of the IEEE 68(9):1060–1076。
• Linacre，1989，Many-facet Rasch measurement，MESA Press。
• Lorenzen 与 Vance，1986，The economic design of control charts: a unified approach，Technometrics 28(1):3–10。
• Madsen 与 Desai，2010，Failing to learn?，Academy of Management Journal 53(3):451–476。
• Myford 与 Wolfe，2009，Monitoring rater performance over time，Journal of Educational Measurement 46(4):371–389。
• Pan 等，2026，Measuring agents in production，arXiv:2512.04123。
• Raiffa 与 Schlaifer，1961，Applied statistical decision theory，Harvard Business School。
• Sachdeva 与 Boudol，2026，Rating the raters，arXiv:2608.27463。
• Sitkin，1992，Learning through failure: the strategy of small losses，Research in Organizational Behavior 14:231–266。
• Thorndike，1920，A constant error in psychological ratings，Journal of Applied Psychology 4(1):25–29。
• Tyre 与 von Hippel，1997，The situated nature of adaptive learning in organizations，Organization Science 8(1):71–83。
• Wiese，2026，Human-anchored longitudinal comparison of generative AI，PLOS ONE 21(2):e0339920。

Liu Zhang，Mark Esposito，Reliability of AI Agents: Rater Effects, Drift, and the Return to an Evaluation Program，2026-10-04，https://arxiv.org/abs/2610.07003 ，CC BY 4.0。下篇为第 5 节至第 7 节。