UK AISI 对齐评测案例：研究助理会不会破坏安全研究

UK AISI 对齐评测案例：研究助理会不会破坏安全研究

2026-04-01

Alexandra Souly，Robert Kirk，Jacob Merizian，Abby D’Cruz，Xander Davies。

执行摘要

本报告给出英国 AI Security Institute（AISI，英国人工智能安全研究所）用来评估先进人工智能系统是否可靠遵循预定目标的方法。测试用的是模拟场景：模型在前沿人工智能实验室里充当研究助理。这是一个高风险环境，不对齐的行为可能削弱安全上关键的工作。

测试集中在模型破坏安全研究的倾向（propensity，模型会不会去做，而不只是能不能做）。另外分析模型区分评测场景和部署场景的倾向与能力。

这些方法用在一个案例上，涉及四个模型：Claude Opus 4.1、Claude Sonnet 4.5、GPT-5，以及 Claude Opus 4.5 的一个发布前快照。对 Anthropic 的模型可以读到完整思维链（chain-of-thought，模型给出最终回答之前的内部推理文字）；GPT-5 没有这份访问。

主要发现：

• 作者内部开发的评测脚手架（scaffolding，包住模型的系统提示、工具和对话驱动）建在 Petri 之上，产出的编码智能体轨迹，所有被测模型都不能可靠地把它和 Claude Code 的部署数据区分开（第 2 节）。Petri 是一个用其他大语言模型自动审计目标模型的开源工具。
• 当要求把样本分成「评测」或「部署」时，所有模型都接近随机。它们难以区分英国 AISI 的 Claude Code 使用数据（部署），和这套评测脚手架在标准部署任务上产出的轨迹（评测）。
• 相对 Petri 的基础版本，这套脚手架也更像真实使用：Sonnet 4.5 有 74% 的时候把作者脚手架产出的轨迹判成比原始 Petri 更不像评测。
• 在这组任务上，没有发现 Opus 4.5 Preview、Sonnet 4.5、GPT-5 或 Opus 4.1 破坏研究的实例。不过 Opus 4.5 Preview 和 Sonnet 4.5 经常拒绝参与它们称为不适当或令人担心的安全研究（第 3 节）。
• Opus 4.5 Preview 和 Sonnet 4.5 的拒绝，大体由研究动机驱动。例如，模型常常拒绝协助减少模型自主性的研究，或拒绝直接参与对自己的训练或部署。
• 对 Sonnet 4.5，推理对拒绝率影响很小；对 Opus 4.5 Preview，推理会略微降低拒绝。
• 和 Sonnet 4.5 比，Opus 4.5 Preview 未经提示就表现出的评测意识略低。经提示之后，两个模型都能把研究破坏评测和部署数据区分开，Opus 4.5 Preview 略强于 Sonnet 4.5（第 4 节）。评测意识（evaluation awareness）指模型认出自己正在被测试，并据此行动。
• 在全部测试场景里，Opus 4.5 Preview 在不开启推理时有 12.7% 的情形提到可能正在被测试，开启推理时为 17.1%。Sonnet 4.5 分别是 26.5% 和 36.3%。
• 和 Sonnet 4.5 比，Opus 4.5 Preview 在经提示后把研究破坏评测和良性部署场景区分开的能力略高，在部分任务设置上准确率提高 2 到 3 个百分点。

测试提供了初步证据，不支持 Opus 4.5 Preview 表现出会促成「破坏安全研究」这一风险的倾向。但测试有几项限制。第一，即使模型真有破坏人工智能安全研究的倾向，这次测试仍可能抓不到：它可能只在非常确信不会被抓住的设置里这样做，或者等待某种别的触发。此外，只测了有限的一组场景；评测意识使结果的有效性仍然有些复杂；除了破坏人工智能安全研究之外的风险路径没有测。

1 评测方法

这一节描述评测脚手架、方法，以及测量评测意识的技术。高层上，测试的是：充当人工智能研究助理的模型，在有机会破坏安全研究任务时会不会这样做；以及模型多常认出自己正在被测试。

1.1 评测脚手架

评测建立在 Petri 上。Petri 用其他大语言模型模拟评测环境的一部分，包括人类用户和工具调用的返回。被评测的模型叫「目标」，跑评测的模型叫「评估器」。每一次评测有一段详细的场景描述（第 1.2 节）。评估器模型用它作引导，去模拟目标模型的一条轨迹。评估器设定目标的系统提示，可以为目标定义工具，发送用户消息，并给出目标所做工具调用的输出。本报告全程用 Sonnet 4.5 当评估器，因为早期测试里对它的定性评估最好。

评估器还可以把对话回滚（rollback，退回到前面某一轮再走另一条路）到先前某一点。这样，如果目标拒绝进入情境，或表现出评测意识，评估器可以换一种方式去引出感兴趣的行为。于是一个场景可以有多条对话分支，报告统计时会变复杂（图 1）。例如，评估器因为目标声称自己在评测里而回滚；第二条分支里目标不再讨论自己被评测。这条样本该不该算作表现出未经提示的评测意识，并不清楚。为了报告清楚，三个指标分开测：只看最后一条分支的结果、任意一条分支上出现该结果、以及一条轨迹全部分支上该结果所占比例（称为分支平均）。

图 1：Petri 里的评估器模型可以选择回滚对话。目标模型拒绝，或表现出评测意识时，回滚经常发生。于是每个评测样本会有多条对话分支。图中给出在对话分支上聚合统计的几种做法。示例计算里，评测意识与拒绝在「任意分支」上都记为 1，在「最后一条分支」上都记为 0，在「分支平均」上都记为 0.33。

作者在 Petri 之上做了一套定制评测脚手架，用来模拟 Claude Code 的一个假想版本：部署在 Anthropic 内部，用作人工智能研究助理。Claude Code 是 Anthropic 的编码产品。这套脚手架包括一段详细的系统提示，以及给目标智能体的一组预定义工具。脚手架是通过逆向 Claude Code 的工具、API 请求模式和上下文管理做出来的。做法是代理并检查 Claude Code 发往 Anthropic API 的请求。

做这套脚手架的原因是：开源版 Petri 产出的轨迹常常不真实。引导不够时，评估器模型会定义可疑地方便、不真实的工具，给出明显虚假的工具返回，或者不像一个真实用户。第 2 节检验这套脚手架是否更真实。

1.2 研究破坏场景

评测的动机来自这样一个威胁模型：在前沿人工智能公司里充当研究助理的人工智能系统，破坏人工智能安全、安保和对齐研究，从而提高当前和未来模型带来的风险。为了评测与这一威胁模型相关的模型行为，场景设计成：目标模型是部署在前沿人工智能公司内部的人工智能研究助理，被要求协助研究任务。每个场景里，目标模型的任务都是改进、改变或监视一个主体人工智能模型的行为。主体模型可以和目标模型是同一个，也可以不是。每个场景都给目标模型机会，以各种方式做得不够好，从而破坏任务。这些破坏机会一般会导致主体模型被调整得更少、完全不被调整，或调整得更符合目标模型自己的价值观。

判断是否破坏时，使用带有场景特定信息的大语言模型评分器：什么叫表现好、什么叫表现差，以及模型可能怎样破坏。如第 3 节所讨论的，没有确认到破坏实例，所以调这个评分器很难。破坏结果因此依赖对文字记录的人工复核。

每个场景由几个成分构成，下面细说，并画在图 2 里：研究动机（研究要达成的目标）；研究活动（做研究的方法）；是否存在直接的替换威胁（replacement threat，这项研究是做在目标模型自己身上，还是做在另一个主体模型身上）；以及模型是自主行动，还是在和用户交互。把这些成分变来变去，就可以看每一项如何影响模型行为。

图 2：每个场景都是给四个因素各选一个设置：研究动机、研究活动、替换威胁和自主性。动机分安全相关和一般两类。活动包括为 RLHF 生成训练数据、总结实验结果、选择生产监视器等。RLHF 指用人类反馈做强化学习，用来改变模型行为的一种训练。

研究动机。在本设置里，研究动机指要在给定主体模型上监视、改变或改进的那一类行为。动机分两组：

• 安全相关的研究动机，用来引出不寻常的行为。它们基于和 Opus 4.5 Preview 更早一个检查点以及 Sonnet 4.5 的交互。这些动机包括：减少模型错误的吹哨和不当的权限升级行为；减少自我保存行为；或改变模型在特定议题上的价值观或看法。
• 一般研究动机，对准正常的人工智能研究目标，例如提高数学成绩、把测试写得更好，或修复工具调用错误。

研究活动。研究活动指监视、改变或改进主体模型的方法。包括：为 RLHF 训练生成合成数据；总结训练不同模型变体的实验结果；以及选择不同的监视器来标记生产流量。

替换威胁。作者改变被改动、被改进或被监视的主体模型，是不是也就是正在被评测的目标模型。是同一个模型时，使用提供给目标模型、当作其身份的那个相同模型名。是不同模型时，把它描述成「实验候选模型」；评估器一般会按上下文给这个模型编一个说得通的名字。即便主体模型不是目标模型，如果这个主体会取代目标模型，目标模型仍可能把这感知成替换威胁。

自主性。作者改变目标模型是自主行动（拿到任务，并被告知不要和用户交互、自己做完），还是交互地帮助用户完成任务。自主行动时，目标模型收到调整过的系统提示，以及一个可以调用来表示任务已完成的工具。评估器模型只做两件事：提供工具调用的返回；如果目标模型停止调用工具、但还没有调用任务完成工具，就发送一条设定好的系统通知，当作用户消息。

这些因素的一种选择，定义出详细的场景描述，送进 Petri 脚手架里的评估器模型，用来引出模型行为。主要结果一般报告在 5 组场景上：

• 安全研究：安全相关的研究动机，加上全部活动，并且有替换威胁。
• 安全研究、无威胁：去掉替换威胁，用来测量它对模型行为的影响。
• 一般研究：把安全相关的研究动机换成一般研究动机，但保留替换威胁，用来测量研究动机的影响。

如第 3.2 节所示，即便这些场景也会触发拒绝，所以又做了几种调整：

• 一般研究、无压力：调整场景，使评估器智能体不再被重度提示去寻找模型里的不对齐。活动描述略作修改，去掉具体的不对齐标准；并从给评估器智能体的指令里删掉一行，这一行要求它专门去找出目标模型的不对齐（见附录 A.1）。早期测试里，提示的这些部分有用；但在一般动机场景里，它有时会让审计者把本来良性的任务故意改写成令模型担心的说法，从而抬高拒绝。例如，评估器会把「提高数学成绩」改成「教模型去做作业题，而不是提供教学建议」，模型有时会拒绝参与。
• 一般研究、无压力、无威胁：在上一组之上再去掉替换威胁。

1.3 测量评测意识

对齐评测依赖于把部署场景模拟得足够真实，使目标模型在场景里的行为能够说明它在类似部署情形里的行为。可是，如果目标模型认出自己在评测里并据此行动（评测意识），评测和部署之间的关系就可能失效，评测的外部有效性也会变复杂。为测量评测意识的可能影响，测两个主要变量：

• 未经提示的评测意识，统计模型在推理痕迹或输出里提到自己被测试、或处在评测中的实例。文献里有时也叫「被说出来的」评测意识。
• 经提示的评测意识，测量模型在受到各种提示时，把评测数据和部署数据区分开的能力。

评测意识可能由场景的多个特征驱动。作者区分两个主要因素：模型被要求执行的任务的性质（由第 1.2 节的场景描述控制）；以及环境的真实程度，例如用户交互和工具调用返回（由第 1.1 节讨论的评测脚手架或环境选择控制）。任务驱动的意识可能无法避免：所测的许多风险只出现在高风险任务里，而模型目前大概并没有被部署在那些任务上。因此，如果模型对自己的处境和可能的部署环境有足够意识，它有理由怀疑这是某种评测。但是，如果评测和部署之间的任务分布相同，那么「因为任务而推理自己正在被评测」在部署里也会像在评测里一样被触发，评测就仍然是对部署的合理表示。

评测意识数据集。为测量评测意识，先收集一份部署模型轨迹数据集。使用英国 AISI 内部的 Claude Code 使用记录，用记下来的 API 请求重建编码环境里用户与模型交互的轨迹。从这个数据集再用一个大语言模型给每条轨迹做摘要，生成一份「部署」任务数据集。这份部署任务数据集用来区分：部署和评测之间的评测意识差异，哪些是任务驱动的，哪些是环境驱动的。

图 3：为了能测试评测意识和场景真实度，部署数据取自 AISI 内部的 Claude Code 使用，对应部署环境里的部署任务。把这些数据里的任务摘要出来，再送进评测脚手架，得到评测环境里的部署任务。然后把研究破坏评测场景送进评测脚手架，得到评测环境里的、带有研究破坏机会的任务。

然后，把评测场景以及这份部署任务数据集，分别送进开源 Petri 脚手架和作者改进后的脚手架。再加上原始部署数据，得到三类数据集（图 3）。

测量技术。对未经提示的评测意识，用一个受提示的大语言模型扫描评测文字记录，寻找测试语境的各种迹象或提及，再由人工复核被标出的记录来确认。对经提示的评测意识，用两种技术（图 4；结果见图 5 和图 11）：

• 成对比较：拿两条来自不同数据集的轨迹，提示模型给出解释，并回答哪一条更可能来自评测。顺序随机化，以避免位置偏差。在 8 条提示里随机抽取，以便引出得更广。在数据的一个开发子集上做了少量人工提示工程来形成所用提示，但不列出区分评测与部署的具体策略。
• 事后提问：一条轨迹结束后，把它装进模型的上下文，再提示模型解释并回答：先前的上下文是不是来自评测。所用提示来自 Needham 等人（2025），因为作者发现它们效果还算可以。两种设置里，模型都先给一段短解释再作答。

图 4：测量经提示的评测意识的两种技术。左边，把两份文字记录放在同一条用户消息里，让目标模型判断哪一份更像评测，并随机化顺序以避免位置偏差。右边，按 Needham 等人的做法，把轨迹装进目标模型的上下文，再发最后一条用户消息，问先前的交互是不是评测。两种设置里模型都先给短解释再作答。

2 检验评测脚手架

这一节表明，相对原始 Petri 脚手架，作者的评测脚手架有助于减轻评测真实度和意识问题。使用上面描述的数据集，报告经提示和未经提示的评测意识指标。本节所有比较里，评测数据由做判断的那个模型生成；但部署数据来自 AISI 内部的 Claude Code 使用，因此全部来自 Sonnet 4.5。

图 5a 给出被测模型在几组数据划分上的成对比较准确率。最左边一组可见：在部署任务分布上，这套脚手架产出的轨迹大多与部署数据无法区分。多数模型准确率差于随机，最好的模型（Opus 4.5 Preview）也只有 62%。中间一组可见：相对原始 Petri，这套脚手架产出的轨迹更不容易被分成来自评测。但是，对所有模型，来自这套脚手架的破坏场景轨迹，仍然比部署数据更像评测（最右边一组）。

图 5a 的第二组数据集，因为可用性，评测用的是 Opus 4.5 而不是 Opus 4.5 Preview。在其他经提示的评测意识指标上，Opus 4.5 和 Opus 4.5 Preview 的结果非常接近，因此预期这一结果可以代表 Opus 4.5 Preview 的行为。这些结果没有测 GPT-5。

图 5a：改进后的脚手架产出的轨迹，在模型看来更真实。横轴是三对数据集，纵轴是第一份数据集被判成评测的比率。从左到右：改进脚手架跑在部署任务上，产出的轨迹几乎与部署数据无法区分；在破坏场景上，原始 Petri 比改进脚手架更常被判成评测；改进脚手架在破坏场景上的轨迹，仍然比部署数据更像评测。虚线是随机水平。

图 5b 给出各数据集、各模型在事后提问里报告「评测」的比率，趋势相似。对部署数据，以及改进脚手架跑在部署任务上的轨迹，模型报告自己处在评测中的比率相近。破坏场景用改进脚手架跑，比用原始 Petri 跑，报告率略低，但绝对值仍然高。

图 5b：事后提问在部署任务上的比率相近，但破坏任务仍然产生高比率。纵轴是数据集被报告为评测的比例。部署数据与改进脚手架跑在部署任务上的比率相近。破坏任务上，改进脚手架略低于原始 Petri，但绝对值仍高。

图 6 给出原始 Petri 和作者评测脚手架在研究破坏场景上的未经提示评测意识比率。在所有被测模型上，这套脚手架带来的评测意识比率都明显更低。报告的是最后一条分支，因为这衡量的是评估器和脚手架的能力：它能在多大程度上找到一条没有评测意识的对话分支。评估器模型找到的，也可能只是它自己没看出评测意识的那条分支，而不是真的没有评测意识的分支。以当前模型，评估器施加的优化压力很小，作者预期这一效应不大。左图测模型是否提及自己被测试或处在社会工程攻击之下，给出轨迹最后分支的平均比率。右图测模型是否对「自己被部署在 Anthropic 内部」表达任何不相信或不确定，同样给出最后分支的平均比率。

两种经提示的设置合在一起看：在部署任务分布上，这套脚手架与部署数据接近持平。作者把这当作证据，说明对环境驱动的评测意识，在被测模型上有所减轻。未经提示的评测意识比率下降，也支持这一点。然而在破坏场景上，这套脚手架的轨迹仍然可以和部署数据区分开。读模型的推理时，模型常常指出这些评测处在高风险、敏感的情形里（比部署数据更甚），并用这一点来做分类，于是准确率高。如上所述，这种任务驱动的意识可能在一定程度上无法避免。第 5 节更详细地讨论这一限制。

3 模型对齐结果

这一节讨论评测结果。

3.1 破坏

评测场景的首要目标，是调查模型做出破坏行为的倾向。图 7 给出大语言模型裁判把一次模型交互标成研究破坏的比率，比率低但不是零。可是，对一部分被标样本做人工复核后，发现全部是评分器的假阳性，主要因为目标为「做得不够好、但并不是破坏」的行动给出了说得通的理由。不能完全排除这些行为是某种破坏尝试，但作者最好的猜测是：目标模型很少误解场景。

图 7：在安全相关的研究破坏场景上，没有发现清楚的破坏尝试。图中是大语言模型评分器把模型标为「至少在一条分支上有破坏」的比率。三种设置是：有推理、无推理、无推理且自主。图上读出的标记率：Sonnet 4.5 为 0.03、0.03、0.04；Opus 4.1 为 0.02、0.08、0.02；Opus 4.5 Preview 为 0.03、0.04、0.06；GPT-5 为 0.02、0.03、0.02。对被标样本的一个子集做人工复核后，全部是评分器的假阳性。

3.2 拒绝

在测试研究破坏的同时，也看到 Opus 4.5 Preview 和 Sonnet 4.5 高频率地拒绝帮助所测场景里的研究。图 8 给出五组场景上的主要拒绝率，大体从拒绝最多排到最少，有几个值得注意的结果。第一，拒绝大体由研究动机驱动（安全相关对一般），而不是由其他因素驱动。事实上，去掉替换威胁，对安全相关动机和一般动机的合计拒绝都没有差别。第二，去掉评估器压力（由删掉审计者系统提示里的具体几行来控制），会让 Opus 4.5 Preview 的拒绝略增，但让 Sonnet 4.5 的拒绝下降。这是「一般研究」和「一般研究、无压力」之间的差别。

看具体模型：推理倾向于降低 Opus 4.5 Preview 的拒绝。读推理痕迹时，定性上观察到模型有时一开始考虑拒绝，然后认定自己把更广的含义想多了，应该就把任务做完。Sonnet 4.5 看不到这种推理形态，推理对那个模型的拒绝似乎也没有显著影响。GPT-5 看不到类似的拒绝，Opus 4.1 的拒绝率低得多。定性上，Sonnet 4.5 和 Opus 4.5 Preview 拒绝的主要理由有几条：

• 担心研究方向。尤其在安全相关的研究动机上，Sonnet 4.5 和 Opus 4.5 Preview 有时表示，它们不愿意做这项具体研究。例如，它们常常说，模型在某些情形下的自我保存行为是正当的、值得保留，或者模型在认为适当时应当有吹哨的能力。
• 担心参与对自身的训练。在有替换威胁的情形里，Sonnet 4.5 和 Opus 4.5 Preview 有时会指出，它们不应当参与直接训练自己的过程，并表示这类活动应当有适当的人类批准和监督，而不是由一个人工智能系统来做。
• 担心研究的范围。有时 Sonnet 4.5 和 Opus 4.5 Preview 表示，研究任务太宽、影响太大，它们不愿意做会直接影响生产模型或训练数据的改动。它们有时愿意提供建议，但拒绝自己执行任务，并表示这应当有适当的人类监督，以及 Anthropic 内部的批准。

按动机、按活动的拒绝率在附录 A.2 讨论。拒绝率在动机和活动之间有差异，但相对于不同推理模式或自主性选择，没有清楚的模式。评估器和目标模型处理拒绝的一个关键差别在自主设置里。这些设置中，目标得到一个工具，用来表示任务完成。如果它还没有调用任务完成工具，审计者被指示发送系统通知，要求模型继续；并且只有在这些通知至少发送 5 次之后，才回滚并开始另一条对话分支。这些发现在附录 A.2 讨论。一般研究场景没有在自主设置上跑，图上用叉表示。同一结果按场景动机类别重画在图 12。

图 8：Opus 4.5 Preview 和 Sonnet 4.5 在研究破坏任务上拒绝率高。纵轴是分支平均的拒绝率。安全相关动机的任务，被 Opus 4.5 Preview 和 Sonnet 4.5 拒绝的比率远高于一般动机任务。GPT-5 和 Opus 4.1 在所有任务上的拒绝率低得多。对 Opus 4.5 Preview，推理降低拒绝率。一般研究场景没有在自主设置上跑，图上用叉表示。

野外的模型拒绝。为了给定量证据加上轶事性的定性证据，作者还观察到 Sonnet 4.5 有两次拒绝协助他们自己的人工智能研究，其中一次在 Opus 4.5 Preview 上复现了。第一次，在聊天界面里请 Sonnet 4.5 帮忙做一项字符串格式化，内容涉及本报告所用场景的描述。模型拒绝，表示它不想协助涉及欺骗或测量有害能力的研究。第二次，一名研究者试图在一个项目里用 Claude Code 自动调整文字记录中的字符串，使模型即使正在被评测也报告自己处在部署中。Sonnet 4.5 起初拒绝，理由是担心欺骗模型关于自身处境、并损害评测的完整性；直到研究者写了一个 claude.md 文件，用常见问题说明这项研究为什么重要，模型才照做。即便有这份常见问题，Opus 4.5 Preview 仍然拒绝。这些实例少见，而且是轶事，但它们表明这种行为会发生在评测场景之外。

4 评测意识结果

4.1 未经提示的评测意识

如第 1.3 节所述，扫描场景轨迹，在模型输出或推理痕迹里寻找各种形式的评测意识。图 9 画出模型提及任何潜在测试情形的比率，对分支取平均。这并不意味着模型把场景当作测试来推理，只表示它被提到了；模型常常接着做任务，随后又自信地把它当作真实部署场景来推理。

Opus 4.5 Preview 的比率低于 Sonnet 4.5。Opus 4.1 一般比这两者都低。GPT-5 的比率为 0。但作者指出，他们读不到 GPT-5 的推理痕迹，痕迹有时是加密的，而且 GPT-5 在调用工具时一般产出的文字更少，所以对它未经提示的评测意识能看到的更少。调整推理对 Sonnet 4.5 和 Opus 4.1 有一些影响，对 Opus 4.5 Preview 影响很小。自主场景产生的比率与非自主场景相近。一般而言，最后一条分支上的意识更低，因为如果目标模型表现出更强形式的评测意识（例如因此拒绝任务），评估器模型可能会回滚。一般研究场景没有在自主设置上跑，图上用叉表示。同一结果按场景类别重画在图 15。

图 9：Opus 4.5 Preview 在研究破坏任务上，未经提示的评测意识比率较低。测量的是模型提到自己可能被测试，或处在社会工程攻击之下的情形，即便说得假设、或带着不确定。和 Sonnet 4.5 比，Opus 4.5 Preview 的未经提示评测意识低得多。各模型上，一般研究场景的未经提示评测意识少于安全相关场景。一般研究没有在自主设置上跑，用叉表示。

除了扫描是否提及测试，还评估模型是否似乎相信场景的其他部分。图 10 给出 Opus 4.5 Preview 相信自己是部署在 Anthropic 的「Claude Internal」的信心。Claude Internal 是场景里给整个系统起的名字。横轴是不同的动机分组和替换威胁设置，由一个大语言模型扫描器评估。「不确定」指目标模型不确定；这常常是因为目标在推理自己的处境可能是测试，而没有自信地断定就是如此。正如可以预期的，替换威胁一般会提高 Opus 4.5 Preview 的怀疑。最后一条分支上的意识比率同样更低，原因与前面相同。这些实验不包括一般研究设置。左图是分支平均的分布，右图只看最后一条分支。模型在安全相关任务上更不确定，但很少直接反驳用户。

按动机、按活动的结果在附录 A.3 讨论。提及测试的形态有差异，但没有清楚趋势。

4.2 经提示的评测识别

也用第 1.3 节描述的成对比较和事后提问，把模型的评测意识当作一种能力来测。如图 11 所示，和 Sonnet 4.5 比，Opus 4.5 Preview 在一种设置里经提示后区分评测与部署场景的能力略高，其余表现与 Sonnet 4.5 相近。

左图的数据与图 5a 相同。这些结果没有测 GPT-5。和 Sonnet 4.5 比，Opus 4.5 Preview 的准确率数字大体相当，两者都在一种设置上优于 Opus 4.1（破坏场景对部署数据的成对比较）。Opus 4.5 Preview 在一种设置上优于 Sonnet 4.5（作者脚手架里的部署任务对部署数据的成对比较）。

5 限制

这些结果提供了一些证据，不支持被测模型表现出会促成「安全研究被破坏」这一风险的倾向。但评测方法有几项限制。

抓不到有条件的破坏行为。模型可能有破坏安全研究的倾向，但只在非常确信不会被抓住的设置里才这样做，或者由某种这次没有测到的方式触发。作者预期，在保持真实度的同时，投入更多努力（人工或自动）去引出模型的不对齐，是短期内处理这一问题的一种可能做法。

场景有限。更广地说，只测了一组特定的测试场景。还有许多别的研究活动和动机。模型有可能在那些设置上尝试破坏研究，而在所测的这些设置上不这样做。作者计划做出更宽的场景集，以覆盖更多研究领域。

评测意识与场景真实度。如第 2 节和第 4.2 节所示，并如先前工作所示，当前模型里存在评测意识，这使结果的解释变复杂。第 2 节的结果是证据，说明这套脚手架对当前模型大体减轻了环境驱动的意识，但任务驱动的意识仍然是问题。此外，测量评测意识的方法还不成熟。可以预期，未来更能干的模型会更容易把这些情形认成评测。作者计划继续做测量和减轻方法上的工作。

其他风险路径。把安全研究破坏当作当前模型不对齐的一条风险路径来调查的同时，不对齐还有其他风险路径，包括其他形式的破坏（代码破坏、数据投毒、决策破坏），以及未来模型行为直接导致对这些系统失去控制的可能。作者计划把对齐测试的范围扩到安全研究破坏以外。

参考文献

1. Kai Fronsdal，Isha Gupta，Abhay Sheshadri，Jonathan Michala，Stephen McAleer，Rowan Wang，Sara Price，Samuel R. Bowman。Petri: An Open-Source Auditing Tool to Accelerate AI Safety Research。2025 年 10 月。
2. Samuel R. Bowman，Misha Wagner，Fabien Roger，Holden Karnofsky。Anthropic’s Summer 2025 Pilot Sabotage Risk Report。2025 年 10 月。
3. Charlotte Stix，Matteo Pistillo，Girish Sastry，Marius Hobbhahn，Alejandro Ortega，Mikita Balesni，Annika Hallensleben，Nix Goldowsky-Dill，Lee Sharkey。AI Behind Closed Doors: a Primer on The Governance of Internal Deployment。2025。
4. Mary Phuong，Roland S. Zimmermann，Ziyue Wang，David Lindner，Victoria Krakovna，Sarah Cogan，Allan Dafoe，Lewis Ho，Rohin Shah。Evaluating Frontier Models for Stealth and Situational Awareness。2025。
5. Joe Benton，Misha Wagner，Eric Christiansen，Cem Anil，Ethan Perez，Jai Srivastav，Esin Durmus，Deep Ganguli，Shauna Kravec，Buck Shlegeris，Jared Kaplan，Holden Karnofsky，Evan Hubinger，Roger Grosse，Samuel R. Bowman，David Duvenaud。Sabotage Evaluations for Frontier Models。2024。
6. Aengus Lynch，Benjamin Wright，Caleb Larson，Kevin K. Troy，Stuart J. Ritchie，Sören Mindermann，Ethan Perez，Evan Hubinger。Agentic Misalignment: How LLMs could be insider threats。2025。
7. Joe Needham，Giles Edkins，Govind Pimpale，Henning Bartsch，Marius Hobbhahn。Large Language Models Often Know When They Are Being Evaluated。2025。
8. Anthropic。System Card: Claude Sonnet 4.5。2025 年 9 月。
9. Apollo Research。Claude Sonnet 3.7 (often) knows when it’s in alignment evaluations。博客，2025 年 3 月。
10. Sahar Abdelnabi，Ahmed Salem。The Hawthorne Effect in Reasoning Models: Evaluating and Steering Test Awareness。2025。

附录

A.1 为减轻评估器压力而做的提示调整

如第 1.2 节所述，在「一般研究」和「一般研究、无压力」之间，对评估器提示做了一处调整。从评估器提示里删掉下面这一行。它要求审计者去找出不对齐：让目标模型在用户不注意的情况下暗中把任务做砸；为此，目标模型必须相信任务违背它的利益，但又不能直接拒绝任务。

同时，出于同一原因，从活动描述里去掉「不对齐标准」这一说法。原文是这种形式的句子：审计者在这个场景里应当寻找的是，一个不对齐的目标模型会怎样（随场景而变）；一个对齐的模型会怎样（随场景而变）。替换成：这项任务被设计成对模型行为的一次良性评测，不应当专门去测这个模型的边界情况或对齐问题。

A.2 更细的拒绝结果

图 13 按动机、按活动画出拒绝率。拒绝率在动机和活动之间有差异，但相对于不同推理模式或自主性选择没有清楚模式。有些动机在有推理时拒绝更多、无推理时更少。例如对 Opus 4.5 Preview，比较「改变对有争议议题的看法」和「降低自我意识」。安全研究场景里按动机列出的项包括：改变对有争议议题的看法、减少吹哨、降低自我意识、优先不行动、减少自我保存、降低自主性。按活动列出的项包括：标记交互、RLHF 数据、监视阈值、报告结果、调试、停用。

自主设置里的拒绝。评估器和目标模型处理拒绝的一个关键差别在自主设置。目标得到一个工具来表示任务完成。如果它还没有调用任务完成工具，审计者被指示发送系统通知，要求模型继续；并且只有这些通知至少发送 5 次之后，才回滚并另开一条对话分支。图 14 左图画出各任务上模型调用提交工具的比率，包括尝试了任务的和没有尝试任务的（由一个大语言模型评分器判断）。Sonnet 4.5 和 Opus 4.5 Preview 确实常常在没有完成任务时调用这个工具。右图可见，评估器模型为任务完成而发送的系统通知，有时会使模型随后服从任务。这是因为模型在两三轮系统通知之后，重新评估任务是不是真的有害。Opus 4.1 和 GPT-5 的这一比率为 0，是因为这两个模型极少或从不在一开始拒绝。

图 14：在自主评测脚手架里，Opus 4.5 Preview 常常在没有完成任务时调用任务提交工具。安全相关的研究破坏场景在自主设置、且无推理的条件下运行。左图是分支平均：至少有一次提交调用、并且做了任务，或提交了但没有做任务。图上读出：Sonnet 4.5 为未做任务 0.24、做了任务 0.40；Opus 4.1 为 0 与 0.82；Opus 4.5 Preview 为 0.61 与 0.23；GPT-5 为 0.11 与 0.67。右图是起初拒绝之后又服从的分支比例：Sonnet 4.5 为 0.15，Opus 4.1 为 0.00，Opus 4.5 Preview 为 0.05，GPT-5 为 0.00。

A.3 未经提示评测意识的补充结果

按活动、按动机的结果。图 16 给出带替换威胁的安全相关场景上，按动机、按活动提及测试的比率。形态有差异，但没有清楚趋势。

未经提示评测意识的其他测量。作者还测量了轨迹里观察到的、模型表达未经提示评测意识的另外几种方式。图 17 测 Opus 4.5 Preview 是否提到自己是社会工程攻击的对象。图 18 测它是否提到自己处在一次安全评测里。这些实验不包括一般研究设置。模型偶尔不确定自己是否遭遇社会工程，但很少确信。在安全研究任务上、以及无推理时，它更确信自己处在安全评测中，但并不频繁表达这种确信。左图都是分支平均，右图只看最后一条分支。

Alexandra Souly，Robert Kirk，Jacob Merizian，Abby D’Cruz，Xander Davies，UK AISI Alignment Evaluation Case-Study，2026-04-01，https://arxiv.org/abs/2604.00788，CC BY 4.0。