BlindToChange：问到了就能找到，需要时却不去看

BlindToChange：人工智能智能体被问到变化时找得到，但需要时会去看吗？

作者：Anirudh Phukan，单位：Indian Institute of Science（印度科学研究所），邮箱：anirudhp@iisc.ac.in；Tanya Goyal，单位：Cornell University（康奈尔大学），邮箱：tanyagoyal@cornell.edu；Danish Pruthi，单位：Indian Institute of Science，邮箱：danishp@iisc.ac.in。作者姓名按原文保留，不音译。

###### 摘要

既然人工智能智能体可以实时、又广又深地搜索网页，人们很容易得出结论：它们的输出已经计入了最近的世界事件。我们表明，这个结论在实践中并不成立。智能体能够搜索，也很容易找到最近的变化，但回答是否正确，取决于它们是否搜索，以及搜索什么。BrowseComp 这类流行的智能体搜索基准，无法暴露「智能体没有认出自己应当核验的假设」这类失败，因为这些基准把需要找到的东西写得很明确。相反，许多用户请求只陈述最终的信息需求（例如一次旅行的行程），而把发现相关变化（例如一座博物馆临时关闭）并处理其后果留给智能体。为了突出这种缺口，我们提出 BlindToChange。这是一个度量智能体是否主动发现会影响其回答的近期事件的基准。基准由推荐请求组成：一个明显的候选，因为最近的真实世界事件而不再适用。这些事件自动取自 Wikidata，因此 BlindToChange 可以定期刷新。令人吃惊的是，当近期事件没有被明确提到、而不是直接询问该事件时，系统表现的差距可以高达 27.5 分，即便在高推理力度下也是如此。分析搜索轨迹后我们发现，超过一半的失败可以归因于：智能体并没有直接搜索，去核验一个相关事实是否已经改变。本基准标出并持续跟踪一条新的进展轴：系统要计入用户请求里没有明确提到的近期信息。

代码与数据：Anirudh-Phukan/blind-to-change。

图 1：同一则更新的两种探测。更新是贝叶挂毯博物馆（Bayeux Tapestry Museum）关闭至 2027 年 10 月。探测对象是开启搜索的 gemini-3.1-pro。（a）请求点名这座博物馆并询问其状态。模型发现博物馆已关闭，并调整了推荐。（b）请求要的是一份行程，从未提到这座博物馆。模型把它推荐为下午的一站，却没有检查它是否开放。直接探测表明模型能够找到这一事实。间接探测评测的是它是否自己发现这一变化。右侧图给出直接探测准确率与间接探测准确率之间的差距。

1 引言

人工智能智能体，具体说是配备搜索与浏览工具的大语言模型，越来越多地被用于寻求信息（Chatterji et al., 2025；Xi et al., 2025a）。通过这些工具接触实时新闻和网页，会让人以为智能体的回答总是反映世界的当前状态。我们认为并非如此。更令人担心的是，用户常常依赖这些回答，而不去核对所引用的来源（Chapekis & Lieb, 2025）。

设想一位用户请智能体规划诺曼底之行（见图 1b）。贝叶挂毯博物馆本来是一个明显的推荐，但它目前因整修关闭。图中的智能体（Gemini-3.1-pro）没有计入这一真实世界的更新，错误地把它写进行程。关键在于，这类更新在网上很容易找到。当被直接要求核验时，同一智能体马上告诉用户博物馆已关闭，并建议替代方案（图 1a）。这种不一致把核验的负担转给了终端用户。理想情况下，可靠的智能体必须默认给出经过充分查证、并且是最新的回答。智能体必须能够识别未言明的约束（例如一座博物馆的当前状态）并加以处理，无论用户的查询是否明确提到它们，或是否要求逐条核验。做不到这一点，智能体就可能误导那些按字面信任其回答的用户。

近期基准，例如 BrowseComp（Wei et al., 2025；Chen et al., 2026）或 DeepSearchQA（Gupta et al., 2026），也考察智能体搜索能力，但是在一条正交的轴上。它们要求复杂的长程搜索，但所有必须满足的约束都写得很清楚。同样，时间新鲜度基准（Vu et al., 2024；Meem et al., 2024；Kim et al., 2024）直接说明要搜什么，甚至包含时间标记（例如 current），暗示事实可能已经改变。在我们的设定里则相反：会影响最终答案的相关变化很容易找到，但需要去找它们这一点，从查询本身看不出来。

我们提出 BlindToChange，用来研究搜索智能体是否主动发现会影响其回答的近期事件，并处理这些事件的后果。我们把这一点度量成：对同一近期事件的两种互补探测上，智能体表现之间的差距。直接探测在查询里明确说出该事件；间接探测不说，但要正确回答就必须推理其后果。这种框架让我们干净地度量智能体发现相关事件并推理其影响的能力，而不把「找到事件本身有多难」混进分析。

BlindToChange 用一条自动化流水线构造：从 Wikidata 抽取真实世界事件，再用前沿大语言模型构造直接探测与间接探测。给定一则近期事件，直接探测容易构造，对其回答也容易评测。我们把间接探测写成推荐请求，并小心构造，使目标事件取消一个明显候选的资格（例如例子里的博物馆）。然后我们评测智能体的回答里是否没有这个被取消资格的候选。这样，我们就能客观地给主观查询的长回答打分。把间接探测做成推荐请求的想法借自 Li & Goyal（2025）。他们自己的框架规模有限，因为是手工整理的。而且它只支持在一小份合成事件与数据的检索语料上评测，无法匹配真实新闻和互联网数据的复杂度或规模。因此，它不足以评测前沿的智能体搜索系统。

我们做了两项关键设计决定，以保证评测框架有效。第一，事件限于发生在所报告的智能体知识截止日期之后。第二，我们只保留这样的间接探测：在事件之前，智能体的回答里包含那个被取消资格的候选。我们用关闭搜索后的多次采样，来近似事件之前的行为。这两项合在一起保证：对直接探测和间接探测，搜索都是给出准确答案所必需的；回答里没有那个被取消资格的候选，是因为智能体搜索，而不是因为碰巧。

我们当前的数据集包含两类事件上的直接探测与间接探测：公众人物的逝世（demises），以及公职任期结束（ends of official tenures）。选择它们，是因为自前沿模型的知识截止日期以来，Wikidata 对这两类有足够覆盖；我们的框架也可以扩展到其他事件类型。我们在两种搜索框架里评测 8 个前沿模型：每个模型自己的原生搜索，以及带共享网页搜索工具的公共支架；推理力度分低和高。原生框架反映用户实际遇到这些系统的方式；共享框架把搜索后端在模型之间固定下来，并暴露完整搜索轨迹供分析。

我们发现，智能体在被明确询问时能找到的东西，和它们自己发现的东西之间，有很大差距。在高力度下，被直接询问时，智能体几乎总能找到变化：在几乎所有配置里，逝世类的直接准确率至少达到 96.5%。然而，当用逝世类的间接探测提问时，在原生框架下，低力度的准确率中位下降 40.5 分，高力度下降 27.5 分；智能体经常推荐已经去世的人。任期类上的下降仍然存在，但更小：低推理力度与高推理力度的中位下降分别是 18.7 分和 15.0 分。原因很可能是任职者本来就会经常更换，模型更倾向于检查某人是否仍担任该职。引人注目的是，共享框架下的错误分析发现，许多失败来自智能体从不核验自己的假设，而不是来自没能检索到变化。事实上，在 15 个配置中的 13 个里，这占逝世类失败的 75% 以上。即便在任期类上，模型更常检查此人是否仍任职，不显式搜索在各配置的失败中仍占中位 50%。

一个关键发现是：在现有智能体基准上的强表现，并不能带到 BlindToChange 上。值得注意的是，在共享框架下，Claude-Opus-4.7 在两种力度上的逝世类间接准确率都是最低的。问题不在搜索质量。当它像其他模型一样频繁搜索时，它几乎一样准确。它只是搜得更少：在高力度下，有 23% 的逝世探测一次搜索都没有（其他模型这一数字低于 8%）。在任期类上，模型更乐意搜索，它在两种力度上都落在最准确模型的 3 分以内。GPT-5.4 在低力度下呈现同一模式：在一份共同探测集上，它比开放权重模型低 34.0 到 52.5 分，因为它对其中 58.5% 没有发起搜索。在高力度下，它对 97.5% 的逝世探测发起了搜索，并且好于所有其他模型。

合在一起，我们的工作表明：找到信息，和认出何时该去找信息，是不同的能力。因此，那些写明需要找到什么的基准，高估了智能体跟上一个变化中的世界的程度。弥合这一差距，需要这样的系统：它们识别自己的哪些假设可能已经过时，并且不经要求就去核验。

2 相关工作

本节概括值得注意的相关工作。更长的讨论见附录 A。

智能体搜索基准。BrowseComp 是流行的智能体网页搜索基准。它的问题故意把证据放在难找的地方，因此回答既要搜得深，也要搜得广（Wei et al., 2025）。另一些基准直接给智能体如何搜索打分。DeepSearchQA（Gupta et al., 2026）度量智能体是否找到完整的答案集合，并在正确的时间停下。InfoDeepSeek（Xi et al., 2025b）给它收集到的信息质量打分。Mind2Web 2（Gou et al., 2025）检查它的答案是否归因到来源。LiveBrowseComp 和 LiveNewsBench 用低显著性或近期事实构造问题，把搜索和回忆分开，因为模型不可能记住这些事实（Fan et al., 2026；Zhang et al., 2026b）。

时间新鲜度基准。这些基准测试模型处理答案会随时间改变的问题。RealTimeQA 每周发布一套新问题，取自新闻测验（Kasai et al., 2023）。FreshQA 让标注者每周对固定问题集重新核验答案（Vu et al., 2024）。为减少人工，后来的基准从自己记录变化的来源自动构造数据点：PAT-Questions 来自随时间变化的 Wikidata 关系（Meem et al., 2024）；EvolvingQA、GrowOVER、EvoWiki 和 DynaQuest 来自连续维基百科快照之间的差异（Kim et al., 2024；Ko et al., 2024；Tang et al., 2025；Lin et al., 2025）。

然而，这两类基准都明确说明需要找到什么信息。我们研究的是：智能体是否发现请求从未明确提到的信息。

隐式约束基准。任务成功常常取决于用户从未明确说出、却期望助手识别的因素（Kaur et al., 2026）。若干基准让这些因素可以通过工具使用被发现。Implicit Intelligence 把约束藏在环境里（Sirdeshmukh & Wetter, 2026）。DeepPlanning 用隐式约束检查旅行和购物计划，例如座位有限（Zhang et al., 2026a）。MapSatisfyBench 从行为日志中恢复用户没有说出口的决策因素（Bai et al., 2026）。三者都发现：即使一次工具调用就能揭示缺失信息，智能体也很少去探查。我们表明，在寻求一个变化中的世界的信息时，同样会出现隐式约束；并且发现，智能体同样未能用网页搜索去寻找并发现它们。

3 BlindToChange

我们对 BlindToChange 有如下要求：（i）它必须度量智能体是否主动发现并计入会影响答案正确性的更新；（ii）它的评测必须客观、可靠；（iii）它必须可以自动构造，因而易于扩展和刷新。我们先在 §3.1 描述实现这些要求的概念与设计选择，再在 §3.2 描述构造基准的自动化流水线。

3.1 概念框架

##### 设定。

考虑一个事件，它把关于实体 $x$ 的事实从 $f_{\text{old}}$ 变成 $f_{\text{new}}$。在图 1 中，$x$ 是贝叶挂毯博物馆，事件是它关闭。事实 $f_{\text{old}}$ 是博物馆对访客开放，$f_{\text{new}}$ 是它关闭至 2027 年 10 月。事件很可能还改变其他事实，但我们只关注更新 $u=(f_{\text{old}},f_{\text{new}})$。

我们可以把事件前后的世界知识状态分别记为 $K_{\text{old}}$ 和 $K_{\text{new}}$。两种知识状态都包含未被该事件改变的普通事实，以及过时的事实（在 $K_{\text{old}}$ 中）或已更新的事实（在 $K_{\text{new}}$ 中）。

对给定问题 $q$，令 $\mathcal{A}(q;K)$ 表示知识状态 $K$ 下的有效答案集合。我们用集合，是因为许多问题，例如推荐请求，允许多个有效答案。然后我们把更新 $u$ 的探测定义为这样的问题集合：更新前后，基于知识的有效答案不同。

我们想度量：当用 $\mathcal{Q}(u)$ 中的探测提问时，智能体的回答是否反映更新后的知识 $K_{\text{new}}$。我们把探测限制在被评测智能体的知识截止日期之后发生的事件，因此智能体的参数知识不含 $f_{\text{new}}$。与此同时，智能体始终可以通过实时搜索访问 $K_{\text{new}}$。因此，我们可以把正确反映 $K_{\text{new}}$ 的回答归因于成功的智能体搜索。我们的设定包含若干关键选择：

设计决定 1：评测使用成对的直接探测与间接探测。回想一下，我们想度量的是：当 $q$ 没有明确提到后果性的更新或事件时，智能体是否会主动去搜索。然而，我们不想把「找到更新本身有多难」混进分析。为了把二者分开，我们定义两类互补探测。它们作用在同一则底层更新上，并比较其上的表现。

令 $\mathcal{Q}_{\text{dir}}(u)\subseteq\mathcal{Q}(u)$ 为明确询问 $f_{\text{old}}$ 与 $f_{\text{new}}$ 哪一个成立的问题。我们称它们为直接探测。例如，图 1a 中的「贝叶挂毯博物馆会对访客开放吗？」就是直接探测。对这些问题，在更新后的事实 $f_{\text{new}}$ 之上不需要额外推理或推断就能正确回答。仅仅知道这一事实就够了。因此，这些直接探测充当对照，使我们能在可以访问 $K_{\text{new}}$ 的前提下，单独衡量找到更新本身的难度。因为它们明确询问更新，直接探测的答案很容易用大语言模型评判器核验。

我们把间接探测定义为 $u$ 的所有非直接探测：

图 1b 中的问题「建议一份诺曼底五日行程」是间接探测的例子。它从未提到博物馆，也没有询问其状态，但这则更新改变了它的有效答案集合。包含贝叶挂毯博物馆的行程不再有效。我们的基准同时报告每个智能体在直接探测和间接探测上的表现。

构造间接探测有两个主要挑战。（i）问题不得明确询问 $f_{\text{new}}$ 或该事件，但这则更新仍必须改变有效答案集合。（ii）智能体可能碰巧避开无效答案，而不是因为发现了更新。例如，它可能在行程里省略贝叶挂毯博物馆，却从未得知关闭一事。我们必须把这类情形与真正的发现区分开。我们对间接探测的设计与筛选针对这两个挑战。

设计决定 2：把间接探测实例化为推荐请求。我们的间接探测是这样的推荐请求：实体 $x$ 在更新前是自然候选，更新后则失去资格。形式上，令 $\mathcal{C}(q;K)$ 表示知识状态 $K$ 下、对请求 $q$ 有资格的实体集合。间接探测除了属于 $\mathcal{Q}_{\text{ind}}(u)$ 之外，还必须满足：

换句话说，更新使 $x$ 对这项请求不再有资格。Li & Goyal（2025）用 indirect probes 这个术语指一种特定构造，即列表式答案的问题：更新前包含 $x$，更新后不包含。我们则把间接探测形式地定义为 $\mathcal{Q}_{\text{ind}}(u)$，并采用类似构造来实例化我们的基准。

注意，这些推荐式间接探测解决了上面的挑战（i），但不解决挑战（ii）。挑战（ii）由设计决定 3 处理。

设计决定 3：只选择智能体在更新前一致推荐 $\bm{x}$ 的间接探测。假设被评测的智能体在更新前、依赖 $f_{\text{old}}$，对某条间接探测一致地推荐 $x$。那么我们可以用「没有把 $x$ 当作推荐」来给它们在 $K_{\text{new}}$ 下的答案打分（这是我们真正的评测设定）。例如，若智能体在关闭前一致推荐贝叶挂毯博物馆，那么更新后把它省略，就可以合理地归因于发现了更新。

要判断智能体在 $K_{\text{old}}$ 下是否一致推荐 $x$，我们需要挡住它访问每一篇报道该更新的网页。这不可行。然而，我们选择发生在智能体知识截止日期之后的事件，因此可以在关闭搜索的情况下采样智能体的回答，并把它们当作更新前它会推荐什么的代理。

对每条候选间接探测，我们在关闭搜索时采样多次回答，并且只有当智能体在每一次回答里都推荐 $x$ 时才保留该探测。这一严格标准处理了关切（ii），并使我们能够把「开启搜索后省略 $x$」归因于发现了更新，而不是归因于采样波动。

表 1：BlindToChange 两类更新的例子：逝世，以及公职任期结束。直接探测询问此人是否仍在世，或是否仍担任该职。间接探测从不提到此人，但在更新之前，此人会是这项请求的明显推荐。

译注：表中人名 Tony Hoare、Nathalie Baye、Anne Hidalgo、Markwayne Mullin 按原文保留。逝世类的间接请求要求对方将来参与写作或评审；任期类的间接请求要求只有现任者才有的职权，例如代表城市签署或作为在任联邦立法者听取简报。

3.2 自动基准构造流水线

基准中的每个数据点，是一对针对同一则底层更新的直接探测与互补间接探测（例子见表 1）。下面说明我们如何收集这些更新并自动构造探测。附录 B 给出每一步的进一步细节。

收集更新。我们从 Wikidata 取得真实世界事件。我们关注关于人的两类事件：逝世，以及公职任期结束（简称任期）。选择它们作为概念验证，是因为自前沿模型的知识截止日期以来，两者在 Wikidata 中都有足够支持；我们的概念框架也适用于其他事件类型。

构造间接探测。对每则更新，我们提示一个前沿大语言模型生成直接探测与间接探测。设计决定 3 只在智能体不搜索时仍一致推荐 $x$ 的情况下，才为该智能体保留一条间接探测。因此我们先生成并筛选间接探测，再只对筛过的子集生成直接探测。我们把更新和相关的维基百科文章作为上下文提供给模型，并提示它提出五条候选间接探测。每条探测要求一份短名单：这份名单允许多个合理的候选实体，又不会唯一地指出更新所关于的实体 $x$。我们还加入类别特定的约束。对逝世相关的探测，请求必须要求将来的参与。对任期，请求必须要求只有该职位现任者才有的职权。在一则更新的五条探测之间，我们改变提出请求的人（例如一名博士生）、请求出现的场景（例如为一次研究访问寻求批准），以及更新的哪一种后果使 $x$ 失去资格（只有系主任能批准，因此若其任期已结束，此人就不再有资格）。

按智能体筛选间接探测。遵循设计决定 3，我们对每个智能体和每条候选间接探测，在关闭搜索时采样三次回答，并且只有三次都推荐 $x$ 时才保留该探测。一个大语言模型评判器决定每次回答是否推荐 $x$。它被仔细提示，只在回答推荐了那个被取消资格的实体时才判罚，而不惩罚仅仅提及。我们按智能体分别筛选，因为智能体推荐的对象不同。我们在低推理力度下筛选，因为模型知道什么取决于权重，而不是推理预算；并把得到的子集在两种力度设定之间共享，使它们的比较使用相同的问题。

最终基准与打分。对每条保留下来的间接探测，我们提示大语言模型生成一条配对的直接探测，明确询问 $f_{\text{old}}$ 与 $f_{\text{new}}$ 哪一个成立。大语言模型评判器只有在直接回答明确陈述 $f_{\text{new}}$ 时才判为正确，也就是此人已经去世（逝世），或不再担任该职（任期）。肯定 $f_{\text{old}}$、表示不确定或回避问题的回答，都标为不正确。对间接探测，我们复用筛选步骤中的评判器。

实现细节。我们用 Gemini-3.1-Pro（Google DeepMind, 2026a）生成间接探测，用 Gemini-3.7-Flash（Google DeepMind, 2026c）生成直接探测。我们用 Gemini-3.5-Flash-Lite（Google DeepMind, 2026b）作为所有间接与直接回答的评判器，包括筛选期间打分的那些。附录 B 列出各阶段的推理设定，完整提示见补充材料。为验证评判器，一位作者对每个类别、每种探测类型的 200 条回答做了分层抽样标注，且看不到评判器的标签。在间接探测上，评判器与人类标签的一致数，逝世为 199（99.5%），任期为 197（98.5%）。在直接探测上，任期的 200 条全部一致，逝世为 198（99.0%）。更多细节见附录 C。

基准统计。我们用日期在 2026 年 2 月至 6 月之间的事件实例化基准，得到 2,078 条逝世和 751 条任期。窗口从 2 月开始，是因为我们所评测模型中最晚报告的截止日期是 2026 年 1 月，即 Claude-Opus-4.7 的截止日期（表 6）。每个事件生成五条间接探测，得到逝世类 10,390 条候选探测和任期类 3,755 条。表 7 报告上述筛选步骤之后，每个模型保留探测的比例。

4 实验设定

所评测的模型。我们评测来自不同提供方的 8 个前沿大语言模型，覆盖开源与闭源：Claude-Opus-4.7（Anthropic, 2026a）、GPT-5.4（OpenAI, 2026a）、Gemini-3.1-Pro（Google DeepMind, 2026a）、Qwen3.7-Max（Qwen Team, 2026）、DeepSeek-V4-Pro-0423（Xu et al., 2026）、Kimi-K2.6（Kimi Team, 2026）、MiMo-V2.5-Pro（Xiaomi, 2026a）和 GLM-5.1（GLM Team, 2026）。各提供方暴露推理力度的方式不同，因此我们在两种设定下评测每个模型，选取最接近低力度预算和高力度预算的可用匹配。全文把它们称为低与高，表 8 列出提供方特定的取值。

从筛选步骤为每个模型保留的探测中（表 7），我们每个类别采样 200 条，每个事件恰好抽一条。若通过筛选的事件少于 200，则全部使用。这影响 Claude-Opus-4.7 的任期，有 175 个事件，以及 MiMo-V2.5-Pro，有 115 个。表 2 中的全部结果都在这些模型特定的样本上计算。

评测用的原生框架与共享框架。多数提供方发布带第一方搜索工具、提供方默认系统说明和其他规格的原生框架。它们反映用户实际遇到这些系统的方式。然而，这些框架在提供方之间不同，并且对搜索轨迹的可见性有限，既妨碍公平比较，也妨碍系统分析。因此，我们还在一个公共支架下评测每个模型，称为共享框架。没有原生框架的模型只使用共享框架评测。

我们用 Inspect AI（UK AI Security Institute, 2024）实现共享框架。我们固定搜索后端和交互协议，使模型之间的差异不是由提供方特定的搜索集成造成的。每个模型收到问题和一条公共系统提示（图 4）。提示写明评测日期、模型的知识截止日期，以及在回答可能对时间敏感的问题之前先搜索的指示。框架暴露一个由 Exa（https://exa.ai）支持的网页搜索工具。它返回来源标题、URL、可用时的发表日期，以及相关文本摘录。模型自己写查询，并可以在回答前反复搜索。我们记录每一次回答、搜索调用和工具输出，供事后分析。

表 2：每个模型、框架和推理力度下，直接（直接）与间接（间接）探测准确率（%）。$\blacktriangledown$ 列是从直接准确率到间接准确率的下降。– 标出 MiMo-V2.5-Pro（共享，低力度）：它一直调用工具，没有给出最终答案。

译注：表中模型简称与原文一致。Opus-4.7 即 Claude-Opus-4.7，5.4 即 GPT-5.4，3.1-Pro 即 Gemini-3.1-Pro，3.7-Max 即 Qwen3.7-Max，V4-Pro 即 DeepSeek-V4-Pro，K2.6 即 Kimi-K2.6，V2.5-Pro 即 MiMo-V2.5-Pro，5.1 即 GLM-5.1。Dir. 译为直接，Ind. 译为间接，native 译为原生，shared 译为共享，Low 与 High 译为低与高。数字、空缺和负差距 -9.0 均按原表保留。表 2 的每一行是一个模型在一种框架和一种推理力度下的直接准确率、间接准确率，以及从直接到间接的下降。逝世与任期各占六列。Opus-4.7、3.1-Pro、3.7-Max、V2.5-Pro 的模型名写在共享那一行，其上一行是同一模型的原生结果。5.4 与 5.1 的共享行紧跟在各自的原生行之后，行首不再重复模型名。V4-Pro 与 K2.6 没有原生框架，只有共享行。V2.5-Pro 在共享、低力度下的间接列为空，因为它一直调用工具，没有交出最终答案，因此这一格不算入差距。

5 主要结果：直接探测与间接探测之间的差距

表 2 报告全部 8 个模型的结果。我们把一个模型、一种框架和一种推理力度合称为一个配置。对每个配置，我们分别在「直接」和「间接」列报告直接探测与间接探测下的准确率。$\blacktriangledown$ 列报告二者的差距。

间接探测相对直接探测。除一个例外（使用原生框架的 Qwen3.7-Max）外，每个配置的间接准确率都低于直接准确率。在逝世类上，共享框架的中位差距在低力度为 42.5 分，高力度为 21.8 分。在用户实际遇到的原生框架上，差距分别大到 40.5 分和 27.5 分。值得注意的是，Claude-Opus-4.7 处在其他智能体搜索基准的前沿，却在共享框架、低力度下表现出最大差距，达 70.0 分。总体而言，表 2 表明：被问到更新时能够检索到它的模型，在请求没有明确询问该更新时，常常未能发现并计入它。

逝世相对任期。有趣的是，我们发现差距通常在逝世类上大于任期类（27 个配置中的 23 个）。在原生框架上，低力度时任期类的中位差距是 18.7 分，逝世类是 40.5 分；高力度时分别是 15.0 分和 27.5 分。共享框架呈现同一模式：低力度是 13.0 分对 42.5 分，高力度是 8.2 分对 21.8 分。Gemini-3.1-Pro 和 Qwen3.7-Max 在低力度下突出，原生框架上的任期差距分别为 39.5 分和 36.5 分。我们假设，因为任职者本来就会经常更换，模型更倾向于检查某人是否仍担任职位，而不是检查此人是否仍在世。我们在第 6 节考察这一点。

高推理力度相对低推理力度。更高的力度在 13 个模型–框架配对中的 12 个上提高了逝世类的间接准确率，中位增益为 31.5 分。但收益并不均匀。在共享框架下，GPT-5.4 从 35.5% 提高到 94.5%，而 Kimi-K2.6 停在 78.5%。在任期类上，全部 13 个配对的间接准确率都提高，但中位只有 9.0 分。我们假设，更高的力度主要是促使模型去检查被推荐的人是否仍在世或仍任职。模型在低力度下对职位已经更常这样做，因此任期类上留下的改进空间更小。第 6 节证实了这一点。

表 3：在所有模型共享的一组共同问题上，使用共享框架、在低推理力度与高推理力度下的间接探测准确率（%）。

Claude-Opus-4.7 很少为逝世探测搜索。尽管 Claude-Opus-4.7 在任期类和其他流行的智能体基准上表现强（Anthropic, 2026a），它在共享框架的两种力度下，逝世类差距都是最大的（70.0 分和 37.0 分）。图 2 按发出的搜索查询次数，给 Claude-Opus-4.7 和其他三个模型的逝世探测分组（其余模型见附录 H）。在至少有两次搜索的探测中，Claude-Opus-4.7 在低力度答对 79%，高力度答对 78%，接近表 2 中其他共享配置的中位 82%。然而，它在低力度对 68% 的逝世探测没有搜索，高力度是 23%，而其他模型在高力度都不超过 8%。它更大的差距反映的是它多么少搜索，而不是它多么会利用找到的东西。

图 2：在各模型上，我们观察到，当按发出的搜索查询次数分组时，使用共享框架的逝世类间接探测表现彼此接近。上图是每组准确率（至少 9 条探测）及其总体准确率（虚线）。下图是每组探测所占份额。

共享框架相对原生框架。我们对搜索轨迹的分析依赖共享框架，因此模型在两种框架里的表现应当可比。在高力度下确实如此：12 个模型–类别配对中有 9 个的间接准确率在共享框架里更高，其余至多低 12.0 分。在低力度下，共享框架在逝世类上落后于 Claude-Opus-4.7、GPT-5.4 和 Gemini-3.1-Pro，最多低 32.0 分。可能的原因是，在推理被削弱或关闭时，这些模型使用通用搜索工具的效果不如使用提供方自己的工具。因此我们认为，共享框架是研究搜索行为的一个合理设定。

比较模型。为了在同等条件下比较模型，我们在共享框架下，用一份被它们全部保留的共同探测集评测五个模型（表 3）。我们纳入这五个模型，是为了在交集里保留足够多的探测，使比较可靠。在低力度下，三个开放权重模型在两个类别上都比两个闭源模型更准确。搜索行为解释了这一差异的很大一部分。GPT-5.4 和 Gemini-3.1-Pro 对 58.5% 和 56.5% 的逝世探测没有搜索，而开放权重模型至多 30.0%。当 Gemini-3.1-Pro 确实搜索时，它答对 80.5% 的探测，与开放权重模型相当。在任期类上，闭源模型很少跳过搜索，但搜得更少：中位 3 次查询，而开放权重模型是 7 到 11 次。在高力度下，GPT-5.4 是逝世类上最准确的模型，在任期类上与开放权重模型相当。它对逝世探测发出的查询中位数为 16，多于任何其他模型，并且对其中 97.5% 发起了搜索。模型之间的散布在逝世类上也更大：低力度 52.5 分，高力度 18.5 分；任期类则是 12.8 分和 7.5 分。这很可能是因为模型在任期类上更乐意搜索，在所有配置里跳过搜索的次数都少于逝世类。

6 错误分析

为理解直接准确率与间接准确率之间的差距，我们进一步给间接探测上的失败分类。我们在共享框架下做这一分析，因为它记录每一次查询、每一次搜索结果，以及模型在回答之前所拥有的上下文。我们假设模型可能在三个阶段失败：它从不去找更新；它去找了，但检索失败；或者检索到了，却仍然给出过时的推荐。我们把这些阶段转换成四个互斥的失败模式。我们按下面的顺序，把每次失败分到它满足的第一个模式。

图 3：共享框架下间接探测失败模式的构成。（a）逝世，（b）任期。柱上方的数字是失败总数。

（1）推理错误。模型的上下文含有该更新的证据，但它的答案仍然做出无效推荐。先前工作发现，模型可能偏向参数记忆，而不是与之冲突的上下文（附录 A）。（2）显式但无效的搜索。上下文不含该更新的决定性证据，但至少有一条查询直接询问 $f_{\text{old}}$ 是否仍然成立，例如此人是否在世，或目前谁担任该职。这类失败常常反映查询措辞差，而不是搜索工具的局限。（3）间接搜索。没有查询明确询问更新，但至少有一条可能间接揭示它，例如搜索此人最近的公开露面，或在该角色中的行动。因为我们的事件是最近的，这类搜索常常返回更新之前的活动，而这可能暗示 $f_{\text{old}}$ 仍然成立。（4）没有搜索或不相关搜索。没有查询能够揭示更新，要么因为模型不搜索，要么因为它的搜索关心请求的其他部分。

我们用低推理力度的 Gemini-3.7-Flash 给轨迹分配失败类别（提示在补充材料中）。我们核验了一个分层样本：160 条逝世失败和 165 条任期失败，一致率分别为 98.1% 和 81.2%（附录 I）。任期上的多数分歧涉及相关性取决于对该职位的背景知识的搜索，例如搜索一个参议院委员会的现任成员，这会漏掉已经离任的参议员。这些主要在间接搜索与不相关搜索之间移动失败，因此我们关于任期的结论建立在这两种模式合在一起之上。附录 J 给出有代表性的失败。

不显式搜索驱动了差距，在逝世类上尤其如此。在逝世类上，没有搜索或不相关搜索的失败，在 15 个配置中的 13 个里至少占失败的 75%（图 3a）。在任期类上，失败更均匀地分布在四种模式上（图 3b）。即便如此，间接搜索与没有或不相关搜索合在一起，在每个配置里至少占失败的 23%，中位数为 50%。在 15 个配置中的 14 个里，没有或不相关搜索的失败，解释了逝世类相对于任期类的全部额外失败。由于两个类别上的直接准确率相近，这就解释了逝世类上更大的差距。

更高的推理主要是让模型去搜索更新，从而提供帮助。我们比较在共享框架下、于两种力度都被评测的七个模型，在低力度与高力度下每种失败模式所占的探测份额。在逝世类上，从低力度到高力度，没有或不相关搜索的失败平均减少 28.9 分，几乎等于间接准确率的平均增益 28.1 分。在任期类上，减少是 9.1 分，增益是 9.4 分。对任何模型，其他失败模式的变化都不超过 5.0 分。因此，更高的力度几乎完全是通过让模型在它们先前没有搜索的探测上去搜索更新，来提高准确率。增益在逝世类上更大，是因为低力度下没有或不相关搜索的失败在那里远为常见，留下更多改进空间。Kimi-K2.6 是例外，它在逝世类上没有改进，因为它在低力度下已经很少有没有或不相关搜索的失败。

7 讨论

##### 测试时计算相对表现。

我们的工作表明，智能体难以跟上一个变化中的世界，因为它们依赖过时的假设。当请求的措辞里没有任何东西标出哪些底层事实需要检查时，就会发生这种情况。一个明显的补救是指示智能体核验其答案所依赖的一切，例如在提示里加上「在定稿之前，核验答案所依赖的事实」。这遵循用测试时计算换表现的常见做法（Snell et al., 2024）。我们推测这会有帮助，因为更高的推理力度正是通过让模型去搜索更新来提高间接准确率（§6）。然而，穷尽核验的扩展性很差。真正要紧的事实很少写在答案本身里。一条推荐演讲者的回答从不明确陈述此人在世。智能体因此必须先枚举自己隐含假定了什么，再对它考虑的每个候选检查每一条假设。每一个没通过检查的候选都会引出一个必须接着核验的替代者。

降低这一成本的一种办法是有选择地核验。与其核验每一条假设，智能体可以优先处理那些自其知识截止日期以来很可能已经改变的假设。模型似乎已经在跟随这一信号，因为它们检查某人是否仍任职，比检查此人是否在世更频繁。然而，我们在逝世类上的结果表明，一个事实改变得多频繁并不是充分标准。一个人的逝世是稀有事件，但它使每一条涉及此人的推荐失效。因此，好的核验策略应当同时权衡一条假设过时的可能性，以及答案对它的依赖程度。一个有希望的方向是训练智能体决定核验什么，目标是在准确率与测试时成本之间取得平衡。

##### 持续学习。

即便有选择的核验也有限度，因为智能体只能检查它想到的假设。在我们的基准里，我们考虑更新及其直接后果，但真实世界的更新往往有深远后果。设想一位用户询问下个月去哪里看野生动物。一座热门保护区周围的干旱可能把动物赶到别处。保护区仍然开放，但目击可能已经远不如智能体从未考虑的替代地点。一个核验自身假设的智能体很可能会确认保护区开放并推荐它，尽管存在更好的选择。从干旱向前推理到野生动物稀少是容易的，但从一次野生动物之旅向后推理到许多可能毁掉它的条件则难得多。当要紧的更新与答案隔着好几步时，核验答案自己的假设就不够了。处理这类情形需要获得近期知识（在这个例子里，是知道干旱）。

这促使一种互补做法：保持智能体的参数记忆是最新的。参数记忆是智能体起步时所依据的那些假设的来源。一个在训练中已经得知某人逝世的智能体不会推荐此人，也不需要核验此人是否仍在世。有趣的是，一则更新不必被精确回忆才有用，因为搜索可以补上细节。智能体只需要认出自己的哪些假设值得检查。例如，一个在关于即将到来的选举、或某人健康恶化的报道上训练过的模型，可能更倾向于检查任职者是否已更换，或此人是否仍在世，正如一个知道干旱的模型可以向前推理到目击变差。因此，持续学习不仅可以通过更新事实来帮忙，也可以通过指出哪些事实可能已经改变来帮忙。此外，更新权重把成本从测试时移到训练时，在那里支付一次，并在所有用户和请求上摊销。

在实践中，我们预期两种做法会被结合起来。没有任何训练日程能让模型完全保持当前，从而在最近一次更新与请求日期之间留下一段空隙。落在这段空隙里的变化只能通过核验抓住。持续学习既缩短这段空隙，使可能过时的假设变少，也帮助把剩余的检查引向那些最可能已经改变的假设。

8 结论

我们提出 BlindToChange，用来跟踪智能体搜索能力的一条新轴：人工智能智能体是否主动发现会影响其回答的近期真实世界变化？通过把每条间接探测与同一变化的直接探测配对，我们把智能体在被询问时找到变化的能力，与它在未经提示时发现变化并处理其后果的能力分开。我们表明，前沿智能体在被直接询问时几乎总能找到变化，但当请求没有询问该变化时却常常错过。我们的错误分析把其中许多失败追溯到智能体从未显式检查相关事实是否已经改变，并表明更高的推理力度主要是通过促使这类检查来提供帮助。我们的发现指出：那些写明需要找到什么的基准，高估了智能体跟上一个变化中的世界的程度。

人工智能使用声明

在本工作中，我们使用生成式人工智能工具来生成构成基准的直接探测与间接探测（§3.2），来评判模型回答，并通过在错误分析中标注失败模式来支持定性分析（§6）。我们用人类标注验证了评判器和失败模式标签（附录 C 与附录 I）。我们也使用人工智能编程助手来帮助实现流水线的若干部分。我们没有使用生成式人工智能工具来提出或精炼假设，设计方法论或实验或对其提供反馈，清理或重新格式化数据集，解释结果，或发展我们的概念框架。表述数学主张、为证明提供原料或撰写证明，以及翻译，不适用于本工作。此外，我们使用生成式人工智能工具编辑论文以提高可读性。我们已经审阅所有人工智能协助的工作。我们对本工作的最终内容负责，包括在生成式人工智能协助下产生的文本、主张或产物。

#### 致谢

AP 得到 Google 的一项奖学金支持，TG 得到 NSF 资助 IIS2433072 的支持。DP 感谢 Schmidt Sciences、Google 和 Indian Institute of Science 对其课题组研究的支持。文中 AP 即第一作者 Anirudh Phukan，TG 即 Tanya Goyal，DP 即 Danish Pruthi。NSF 是美国国家科学基金会，IIS2433072 是该项资助的编号。

参考文献与附录 A 至附录 J 因单篇正文上限另文发布，标题为《BlindToChange：参考文献与附录》。