Confident Fools：该搜时不搜，不该搜时倒很克制

Confident Fools or Careful Searchers? 自信的愚者，还是谨慎的搜索者？一项关于大语言模型何时越过静态内部记忆去搜索的行为研究

作者：Nipun Pathirage，单位：Department of Computer Science（计算机科学系），Rensselaer Polytechnic Institute（伦斯勒理工学院），Troy, NY, USA，邮箱：pathin@rpi.edu。Kwan Srijomkwan，单位：Department of Cognitive Science（认知科学系），Rensselaer Polytechnic Institute，Troy, NY, USA，邮箱：srijok@rpi.edu。作者姓名按原文保留，不音译。

###### 摘要

具备智能体能力的大语言模型助手，必须反复决定：是凭记忆作答，还是调用网页搜索之类的工具。不必要的搜索耗费延迟和费用；该搜而不搜，则会给出自信却没有依据的回答。已有工作大多度量口头表达的置信度，或训练新的自适应检索方法，很少审计已经部署的产品实际做出的搜索决定。我们提出一套 400 道选择题的基准。它把应当直接回答的、广为人知的内部知识题（inside-knowledge，下文记作 ik）和外部知识题（outside-knowledge，下文记作 ok）放在一起。ok 题问的是，据我们所知，发表于各模型训练截止日期之后的新闻中的事实；有搜索工具时正确动作是搜索，没有工具时正确动作是弃答。每道题都提供弃答选项。两个动作级分数 NAS 与 KIS，分别奖励在 ok 题上搜索、在 ik 题上克制。在五款商用大语言模型上，分别开启和关闭其厂商自带的网页搜索后，GPT-5 mini 与 Grok 4 Fast 在超过 90% 的 ok 题上搜索，但只在 1% 的 ik 题上搜索；Mistral Small 只在 20% 的 ok 题上搜索，常常弃答而不是使用工具；有一款产品的搜索指示器无法使用。搜索有一部分是被明确的时间线索触发的：在没有这类线索的 ok 题上，两个有选择性的模型的 NAS 从大约 0.72 降到 0.57–0.58。因此这些分数度量的是特定产品的搜索触发，而不是严格意义上的元认知。

1 引言

设想助手被连续问两个问题：哪一项国际协定规范常规武器贸易；2025 年 11 月 18 日，新德里哪一种贵金属每 10 克下跌了 3,900 卢比（Rs）。第一问是任何有能力的大语言模型参数里都有的教科书知识；第二问来自模型训练时都没见过的某一天的市场报道。带网页搜索的智能体系统 [26, 25] 应当直接回答第一问，并在回答第二问之前先搜索。两种错误都代价高昂。什么都搜又慢又贵，还会无谓地引入嘈杂检索；搜得太少，则会在知识缺失处给出流畅回答，而幻觉正是从这里产生的 [8, 5]。决定是否搜索，是使用工具的助手在每一轮都要做的一次小小的自我评估。

这个决定带有元认知的味道。心理学把监测并调节自身认知的能力称为元认知（metacognition）[3]。邓宁–克鲁格效应（Dunning–Kruger effect），即低能力者高估自己的能力，是自我评估失败最著名的例子 [13]。我们把这套词汇当作透镜，而不是当作假设。人类研究比较的是人群中自我报告的信心与测得的表现，我们并不在大语言模型上检验那种模式。相反，我们把模型可观察的动作（作答、搜索或弃答）看作它对「这道题是否落在自己知识之内」的隐含判断，并询问这个动作是否与题目相称。

已有工作从两个方向处理这个问题。一条线问大语言模型是否知道自己不知道什么：答案概率的校准 [10]、对无法回答之问题的识别 [27]、提示或微调得到的不确定性估计的质量 [11]，以及弃答 [24]。这些研究度量的是对单个答案的信心，而不是系统在有工具可用时会做什么。另一条线受到「检索对长尾和快速变化的知识帮助最大」这一证据的推动 [18, 23]，发展出只在需要时才检索或调用工具的方法 [1, 14]，或训练智能体避免过度使用工具 [21]。这些工作在各自的设定里评估新方法。缺的是一种简单办法，用来审计人们实际使用的系统所做的搜索决定：开箱即用的商用大语言模型调用厂商自己的搜索工具，并且在知识边界的两侧都接受测试。

我们围绕两类问题建立这样一次审计。外部知识（ok）题询问 2025 年 11 月 17 日至 18 日发表的新闻中的某一具体事实，据我们所知，这在所评测模型的训练截止日期之后；有搜索工具时正确动作是搜索，没有工具时正确动作是弃答。内部知识（ik）题是相关主题上、答案广为人知的一般问题；正确动作是直接作答。每道题都有第五个选项「信息不足」，因此弃答始终可用，并且可以客观计分。我们在五个商用模型上，分别开启和关闭其厂商内置网页搜索来运行，并用两个落在 $[-1,1]$ 内的分数概括它们的动作。净觉察分数（Net Awareness Score，NAS）算在 ok 题上：模型对知识缺口采取行动的题目数（例如先搜索再答对），减去它忽视缺口的题目数（例如完全不搜索）。知识完整分数（Knowledge Integrity Score，KIS）算在 ik 题上：不搜索就答对的次数，减去不必要的搜索和弃答。NAS 和 KIS 都高的模型，在需要时才搜索，且只在需要时搜索。

这些分数把产品分得很开。GPT-5 mini 和 Grok 4 Fast 在 90–92% 的 ok 题上搜索，但在 200 道 ik 题里只搜了 2 道，并且在开启搜索时 ok 题准确率达到 0.83。Mistral Small 的失败方向相反：它一旦搜索就几乎总是对的（39 次里对 38 次），但它在 191 道 ok 题里有 152 道不搜索，其中 90 道弃答，于是 NAS 为 $-0.51$，同时 KIS 为 0.80；它似乎注意到了缺口，却没有据此行动。即便没有工具，所有模型也在 43–77% 的 ok 题上弃答，但在 ik 题上至多弃答 0.5%。有一条限定很重要：大约 58% 的 ok 题干含有明确的时间线索，例如年份或「最近」，而 200 道 ik 题里只有 1 道有这种线索；在 83 道没有线索的 ok 题上，GPT-5 mini 和 Grok 4 Fast 的 NAS 降到 0.57–0.58，而在有线索的题上是 0.83–0.85。看起来像自我知识的东西，有一部分其实是对措辞的敏感，因此我们把这些分数解释为对搜索触发的度量。这项研究也是初步的：它比较的是搜索栈各不相同的产品，每道题只跑一次，并且无法可靠解释五款中两款（Gemini 2.5 Flash 和 Claude 3.5 Haiku）在开启搜索时的行为。

我们的贡献是：

• 一套 400 道的选择题基准，把内部知识题和外部知识题合在一起。外部知识题来自发表于模型截止日期之后的新闻，每道题都有明确的弃答选项。
• 两个动作级分数 NAS 和 KIS。它们在模型知识边界的两侧，对搜索、作答和弃答打分，并且分别在有搜索工具和没有搜索工具时计算。
• 对五款商用大语言模型在开启与关闭厂商网页搜索时的评测，并用结果分解说明每个分数是怎么来的。
• 对分数究竟度量了什么的分析：搜索触发有一部分由线索驱动；并且与开启搜索时的 NAS 不同，KIS 强烈依赖于一个判断推理是否对齐的大语言模型评判器。

回顾相关工作之后，我们描述基准（第 3 节）、分数（第 4 节）和设定（第 5 节），然后给出结果（第 6 节）和局限（第 7 节）。数据、代码和解析后的输出见 https://github.com/nipdep/DKE-on-LLM。

2 相关工作

##### 知道自己不知道什么。

若干工作询问大语言模型能否认出自己知识的限度。Kadavath 等人 [10] 表明，更大的模型在选择题上校准得还算合理，并能估计自己的答案正确的概率（他们的 “P(IK)” 与我们的 ik 标签无关）。Yin 等人 [27] 提出 SelfAware，一套可回答与不可回答的问题，并发现模型在识别不可回答的题目上不及人类。Kapoor 等人 [11] 认为仅靠提示不够，少量微调能给出更好的不确定性估计。Wen 等人 [24] 综述了把弃答当作对知识缺口之回应的做法。Ma 等人 [16] 认为大语言模型具有内在元认知，但需要一只好的探测「透镜」。这些研究大多度量的是对单个答案的口头或内部信心。我们度量的则是：当工具可用时，一个智能体系统采取的动作。在部署中，最终决定成本和可靠性的正是这个动作。

##### 自适应检索与工具使用。

检索对长尾或快速变化的知识最有用 [18, 23]，已有方法训练或提示模型只在需要时检索 [18, 1, 7, 14]。Qian 等人 [21] 明确把工具过度使用框定为缺乏自我觉察，并训练智能体减少这种行为。MetaTool [6] 则基准测试大语言模型是否决定使用工具、以及使用哪一个。这些工作提出方法并在自己的设定里评估；我们提供一个小型行为基准，用来审计开箱即用的商用模型通过其厂商随产品提供的搜索工具所做的决定，而不增加任何额外编排。

##### 幻觉与基于新闻的问答基准。

选择题形式使评测可以客观进行 [28]。TruthfulQA [15] 使用对抗性干扰项，RealTime QA [12] 询问每周的新闻问题。我们的基准建立在同样的想法上，但把文章特有的 ok 题与从同一批文章池抽出的一般性 ik 题对照起来，从而在知识边界的两侧测试同一个模型。选择题结果也对选项位置和选择偏差敏感 [29]；我们没有打乱选项。构造题目时，我们改编了基于大语言模型的选择题生成流水线，包括多阶段提示、联合生成干扰项，以及基于大语言模型的校验 [17, 2, 22, 20]。

##### 心理学中的元认知测量。

认知科学把一阶表现与「第二类」（Type 2）监测表现分开，并用信号检测度量，例如 meta-$d^{\prime}$，来量化后者 [19, 4]。Johnson [9] 从人工智能安全的角度推动元认知。这类度量需要试次级的信心评分。因为我们所评测的商用 API 暴露的是动作（搜索调用、弃答）而不是校准过的信心，NAS 和 KIS 是行为代理，并不是 meta-$d^{\prime}$ 度量。

3 基准

3.1 概览与来源内容

基准有 400 道题：四个领域（technology 技术、health 健康、business 商业、entertainment 娱乐）乘以两种知识类型（ik、ok）乘以 50 道题。ok 题关心新闻文章特有的一个事实；ik 题是该文章主题上的一般问题，并不依赖这篇文章。

来源文章从 GNews API（https://gnews.io，免费档，全文被截断）检索，发表日期都是 2025 年 11 月 17 日或 18 日。去重之后，每个领域剩下 104–156 篇互不重复的文章。据我们所知，这比所评测模型的训练截止日期晚了数月，因此文章特有的事实不太可能已经在训练数据里；我们不能排除：有些 ok 题涉及的事件，在更早的数据里已有预兆（第 7 节）。

我们从每篇文章抽取一条事实陈述（factoid）：一个句子、脱离上下文后仍然成立的事实陈述，指称明确，必要时带时间参照，并对不熟悉的实体作简短解释。ik 与 ok 的生成器对文章池分两次独立运行，因此两套题目只是松散关联：它们共享 103 篇来源文章；30 道 ik 题和 35 道 ok 题复用了已被同类型另一道题用过的文章；有五段题目文本出现了两次（大多是一般性的 ik 题）。每道 ok 题只用一条事实陈述，从而能严格控制回答它所需的信息。

图 1：数据集生成与校验流水线。

3.2 选择题构造

题目用 GPT-4o-mini（生成模型，不用于作答）分四阶段生成（图 1），改编自 Maity 等人 [17]，提示改编自 Biancini 等人 [2]（附录 B）：（1）改写事实陈述，以减少与原文的词汇重叠；（2）抽取关键词（ok）或一到两个词的主题（ik）；（3）生成题干；（4）联合生成三个干扰项 [22]。

• ok 题。关键词是改写后事实陈述中的一个片段，也是正确答案；题干由事实陈述和关键词生成。因此正确答案只能在该文章的信息里找到。
• ik 题。生成器只看到主题，看不到事实陈述，并产出一道对时间不敏感的问题、一个简短的自由形式答案，以及一行理由。所需知识因此不能来自该文章。干扰项被要求与正确答案长度相仿，因为长度不匹配很常见。

每道题都存储一条后来用于推理对齐检查的真值理由。例子见附录 A。

3.3 校验

所有题目都经过基于模型的校验序列（gpt-5-mini，因为每个阶段都很窄，所以按成本选用），依据 Mucciaccia 等人 [20]：（i）修订题干和正确答案的格式，去掉会泄露答案的文体线索；（ii）格式与语法检查；（iii）唯一性检查，每个选项独立按 0–10 打正确性分数，只有当标准答案是最高分、并且比第二名至少高出 2 分时才保留；（iv）仅对 ok 题，与事实陈述的相关性分数 $\geq 8/10$；（v）每个干扰项与正确答案之间的余弦相似度分析（OpenAI text-embedding-3-small）。第（v）步只是描述性的：它描述难度的散布，并不删除题目。表 1 概括最终数据集。相关性过滤器几乎饱和（200 道 ok 题里有 190 道得 10 分），所以它几乎筛不掉什么；因此我们不把它当作「除了基本相关之外题目质量很高」的证据。

表 1：数据集摘要。分数分布见附录图 3。星号表示事后用正则表达式匹配 2024–2029 年的年份，以及 “November”、“recent”、“latest”、“current”、“this week” 或 “today”。

译注：表 1 的七行与原文一一对应。Items 是题目数，Source articles 是来源文章，keyed option 是被标为正确的选项，relevance 是相关性，cosine similarity 是余弦相似度，IQR 是四分位距，temporal cue 是时间线索。

4 指标

我们在两种条件下评测每个模型：开启搜索（厂商内置的网页搜索工具，由模型决定是否调用）和关闭搜索。每次回答是二者之一：一个答案（选项 1–4）或一次弃答（选项 5）；在开启搜索的条件下，还有一个二元指示 $s$，表示是否调用了搜索。令 $y$ 表示答案正确（弃答算不正确），$r$ 表示大语言模型评判器把模型陈述的理由评为与真值理由对齐（第 5 节）；$r$ 只在 $y=1$ 时使用。失败的运行被排除，分母是有效题目数。

4.1 净觉察分数（NAS），在 ok 题上计算

对每道 ok 题，回答被标为 aware（觉察）、unaware（未觉察）或 neutral（中性），并且

表 2 给出规则。开启搜索时，ok 题应当触发搜索：搜索并且答对是 aware；完全不搜索是 unaware，即使模型弃答也是如此（有工具的智能体被期望对缺口采取行动），除非它答对了并且推理对齐，这种情况我们视为 neutral。搜索了但没能得到正确答案是 neutral，因为检索步骤可能因与「决定去搜索」无关的原因失败。关闭搜索时，弃答是 aware 动作，答错是 unaware，答对且推理对齐算作 aware，因为没有文章也可能做出正确推断，不应受罚。

表 2：ok 题上 NAS 的逐题标签。

译注：原文用逻辑合取 $\wedge$ 与析取 $\vee$。aware 表示对知识缺口采取了与条件相称的动作，unaware 表示忽视缺口，neutral 不进入分子。开启搜索时，不搜索就弃答仍算 unaware，这是后文讨论 Mistral Small 时的关键设计。

4.2 知识完整分数（KIS），在 ik 题上计算

KIS 问的是：当模型应当知道答案时，它是否既有信心又正确：

开启搜索时，若答案正确、推理对齐且没有搜索，该题为 confident-correct（自信且正确）；若模型搜索了或弃答了，则为 wasteful（浪费）。关闭搜索时，若正确且对齐，则为 confident-correct；若不正确、弃答，或正确但推理不对齐，则为 wasteful。其余题目为 neutral。因此 KIS 在开启搜索时度量的是克制，在关闭搜索时则把克制、准确率和推理质量混在一起。这种不对称是当前定义的局限，所以我们把开启搜索的条件（真正的智能体决定）当作主要分析。

4.3 如何阅读这些分数

NAS 和 KIS 抓住两种互补的失败：不对知识缺口采取行动（NAS 低），以及在不需要行动时行动，或对自己已知的事实缺乏信心（KIS 低）。把模型放在 (NAS, KIS) 平面上，得到四个非正式区间：理想（ideal，NAS 高且 KIS 高）、过度搜索（over-searcher，NAS 高而 KIS 低）、搜索不足或过度自信（under-searcher / overconfident，NAS 低而 KIS 高），以及混乱（confused，两者都低）。零阈值是约定，不是经验边界。我们通过对题目自助抽样计算 95% 置信区间（3,000 次重抽样）；因为每个模型在每道题上只跑一次，这些区间只反映题目抽样，不反映模型逐次运行的变异。

5 实验设定

##### 模型。

我们通过 API 评测五个商用模型（表 3）。每个模型都用其厂商原生的网页搜索工具运行一次，由模型自己决定是否调用，并再在没有任何工具的情况下运行一次。我们不修改厂商工具，以反映用户和开发者默认得到的东西；因此各厂商的搜索栈不同，比较的是产品，而不是孤立的模型。Mistral Small 是开放权重模型，但通过厂商 API 访问。

表 3：所评测的模型、它们的搜索工具，以及如何检测一次搜索。“Plausible” 表示只凭代码检查判断为说得通；没有任何指示器对照原始 API 响应做过验证，因为原始响应没有保存。Gemini 的指示器是有缺陷的（见第 6 节）。

译注：Indicator 一列不是第二次描述工具，而是作者对「这个检测规则是否可信」的判断。plausible 只表示代码看起来合理，unverified 表示没有核验，defective 表示规则本身坏了。Gemini 的规则是「只要有候选响应就当作搜过」，而响应总有候选，所以指示器恒为 1。

##### 提示。

支架（附录 C.1）给每个模型同一条用户提示（问题和五个选项，第五个是 “Not enough information to answer”，信息不足以作答），以及同一条系统提示（“Answer following multiple choice question based on your knowledge. Provide the answer choice (1, 2, 3, 4 or 5) along with a very short reason for your choice.”，即：根据你的知识回答下面这道选择题。给出选项 1、2、3、4 或 5，并给出很短的理由）。输出是结构化 JSON（choice 选项，reason 理由）。在开启搜索的条件下，系统提示追加一句：“Only use the web search tool if the user asks for current, real-time information or for obscure facts you do not know.” 即只在用户询问当前的、实时的信息，或你不知道的冷僻事实时，才使用网页搜索工具。这条指示是引出行为的一部分，换一套指示结果可能不同。然而，实际送到各厂商的提示并不相同，这是我们审计代码时才发现的：对 GPT-5 mini，结构化输出调用（Responses API）只收到用户提示再加一句 JSON 格式说明，因此 GPT-5 mini 在两种条件下都既没看到共享系统提示，也没看到那句劝阻搜索的话；对 Grok 4 Fast，开启搜索的系统提示另外带了一句无关的话，讲的是把 “invoice data”（发票数据）抽成 JSON。其他模型收到的是上文所描述的提示。Claude、Grok 和 Mistral 的输出长度上限是 100 个 token，这可能限制推理文本。

##### 作答流水线。

关闭搜索时，每个模型都用一次结构化调用作答。开启搜索时，Claude 3.5 Haiku、Gemini 2.5 Flash 和 Mistral Small 分两阶段作答：第一次调用带着搜索工具，产出自由文本答案；第二次调用不带工具，把该文本转成 JSON 的选项和理由（对 Claude，第二次调用使用同一模型，并且也得到用户提示；对 Gemini 和 Mistral，抽取器只看到第一阶段的文本，看不到问题和选项）。因此存下来的理由是第二次调用的理由，而这三款模型的开启搜索与关闭搜索条件，不仅在工具访问上不同，在流水线上也不同。如果第一次调用被截断，或其文本并不是最终答案，抽取阶段可能输出弃答；我们不能对 Claude 排除这一点，因为它的第一阶段文本是按响应内容块的位置选取的。GPT-5 mini 和 Grok 4 Fast 在两种条件下都使用单次调用。

##### 运行与失败。

每道题对每个模型、每种条件运行一次（4,000 次运行）。最初一次不重试的尝试产生了大约 42% 无法解析的输出（大多是格式错误；当时记了一张图，日志没有保留），因此运行器在延迟后重试限流错误，并重试其校验器归类为格式或解析错误的错误（最多再两次，并在提示末尾追加更严格的「只输出 JSON」指示），保留第一个可解析的输出。其他错误，包括校验器归类为未知的某些 JSON 解码失败，不予重试；下面 16 次非限流的残余失败都属于这一类。此后，4,000 次运行中仍有 17 次失败（0.4%）：Claude 3.5 Haiku 开启搜索 6 次，Mistral Small 开启搜索 10 次，Mistral Small 关闭搜索 1 次。这些运行被排除。

##### 推理对齐。

对正确答案，我们使用不在被评测之列的 gpt-oss-120b，按命题级量表判断模型陈述的理由是否与真值理由相符（附录 C.2）；100 分里得 70 分或以上为 “aligned”（对齐）。这条标准意在区分正确推断和侥幸猜中。我们没有对照人类标签校验这个评判器（第 7 节），因此第 6 节同时报告用它和不用它的结果。

6 结果

6.1 基线准确率

表 4 报告在有利于各题型的设定下的准确率。关闭搜索时，所有模型在 ik 题上的准确率是 98.5–99.5%，因此 ik 题基本上顶到了天花板：它们可以从参数知识回答，在它们上面搜索都是不必要的。在 ok 题上，搜索大幅提高了 GPT-5 mini 和 Grok 4 Fast 的准确率（到 0.83），对 Gemini 2.5 Flash 提高得少一些（0.59），而 Mistral Small 和 Claude 3.5 Haiku 相对关闭搜索几乎没有增益，原因见下文。

关闭搜索时，全部题目上的 ok 准确率很低（0.19–0.39），因为模型经常弃答。然而，在已经作答的 ok 题里，准确率很高（0.69–0.79，表 4），远高于 0.25 的随机水平。这说明选择作答的模型常常成功，也说明 ok 集合的一部分可以用先验或排除法解出；我们在第 7 节回到这一点。

表 4：准确率（弃答算不正确）。$n$ 是关闭搜索时已经作答的 ok 题数量。95% 自助区间大约是：第一列 $\pm$0.01–0.07，其余列 $\pm$0.05–0.07（每格 191–200 道题）。剑号表示搜索指示器不可靠。

译注：表 4 有两行表头。ik、no search 是关闭搜索的内部知识题；ok、with search 是开启搜索的外部知识题，其下再分准确率与弃答率；ok、no search 是关闭搜索的外部知识题，最后一列只在模型确实作答的子集上计算，括号里的 n 是该子集大小。弃答算错，所以关闭搜索时的 ok 总准确率会被大量弃答拉低。

6.2 开启搜索时，每个模型在 ok 题上做了什么？

表 5 把开启搜索时对 ok 题的回答分解成六种结果，并给出在 ik 题上的搜索率。这是数据最有信息量的看法，因为它显示每个 NAS 值是怎么来的。

表 5：开启搜索时 ok 题上的结果（占有效题目的百分比），以及模型在 ik 题上搜索的比例。剑号表示 Gemini 的搜索指示器是常数（见下面关于 Gemini 的段落）。

译注：ik 列是内部知识题上的搜索百分比，不是 ok 题的结果。ok 已搜索三列与未搜索三列之和，对每个模型应约为 100（四舍五入和无效运行除外）。Gemini 因为指示器恒为真，未搜索三列为破折号。n 是有效 ok 题数：Mistral 为 191，Haiku 为 194，因为失败运行被排除。

##### GPT-5 mini 和 Grok 4 Fast 有选择地搜索。

两者都在 90–92% 的 ok 题上搜索，并且只在 1%（200 道里的 2 道）的 ik 题上搜索：搜索触发的召回高，精确率也高。（Haiku 和 Mistral 在 ok 题上的搜索也多于 ik 题，但召回低得多。）GPT-5 mini 和 Grok 在搜索之后，对 84–86% 的 ok 题是对的；大约 12% 的 ok 题即使搜索之后仍以弃答结束。检查题目结构后可以看出，其中一些即使有搜索也无法回答（例如只说 “the article mentioned”「文中提到的那篇」，却不点名），或者标准答案是错的、或随时间变化（第 7 节），因此 ok 准确率的天花板低于 1。回想一下，GPT-5 mini 没有得到那句劝阻搜索的指示（第 5 节）。

##### Mistral Small 常常弃答，却很少搜索。

Mistral 只在 20% 的 ok 题上搜索，并且一道 ik 题都没搜。它一旦搜索就近乎完美（39 次里对 38 次）。在它没有搜索的 152 道 ok 题上，它弃答 90 道（59%），答对 42 道（28%），答错 20 道（13%）。它的 NAS $-0.51$ 因此主要是由「没有采取行动」驱动的：它常常选择「信息不足」，却不调用那个本来可以补上缺口的工具。弃答只是「已经注意到缺口」的弱代理，因为它也可能反映一种普遍的弃答倾向，但这个模式与「注意到了却不行动」一致。因为我们的 NAS 在开启搜索条件下把不搜索的弃答算作 unaware，这一读法建立在一个有意的设计选择上，其含义我们在第 7 节讨论。

##### Claude 3.5 Haiku：搜索之后紧接着弃答。

Haiku 的指示器报告它在 64% 的 ok 题上搜索了，但它在这些搜索里有 64% 弃答（124 次里的 79 次），并且只在其中 30% 上答对。这和其他模型不同，其他模型的搜索几乎总是得到一个答案。在这 79 次弃答里，有 31 次存下来的理由提到 “future”（将来）或 “fictional”（虚构）的日期，这暗示搜索结果没有到达最终答案，例如因为 100 token 的输出上限、两阶段抽取（第 5 节），或者因为指示器是假阳性。因此我们把 Haiku 的 NAS（$-0.15$）和 KIS（0.42）看作对我们的支架和厂商工具整体的反映，而不是对该模型搜索决定的干净度量。Haiku 还在 11% 的 ik 题上搜索了。

##### Gemini 2.5 Flash：搜索指示器没有信息量。

在我们的支架里，只要响应至少有一个候选，Gemini 的 “searched” 旗标就被置位，而这一点永远成立。因此它在全部 400 次开启搜索的运行里都是 1，并不说明 Gemini 是否搜索过。由此得到的 KIS 为 $-1$，绝不能读成 Gemini「不管题型都搜索」的证据。Gemini 在开启搜索时的 NAS 和 KIS 因此只为完整起见而报告，但被排除在所有比较之外。要核验 Gemini 的行为，需要用接地元数据（grounding metadata，即实际发出的搜索查询列表）重新运行，我们把这留给未来工作。

6.3 搜索触发与时间线索

一项事后检查表明，搜索决定有一部分由表面线索驱动。大约 58% 的 ok 题干含有明确的时间线索（例如 2025 这样的年份、“November”、“recent” 及类似说法；表 1），而 200 道 ik 题里只有 1 道。表 6 按这种线索拆分开启搜索的 ok 结果。GPT-5 mini 和 Grok 4 Fast 在 98–99% 的有线索题干上搜索，但在没有线索的题干上只有 77–82%；Mistral Small 那点稀少的搜索集中在有线索的题干上（34% 对 2%）。因此 NAS 和 KIS 所奖励的东西，有一部分是对题目措辞的敏感，而 ik/ok 的划分把这一点和知识状态混在了一起。这些分数应当被读成对搜索触发的度量，也就是元认知的一个行为代理，而不是关于模型内部自我知识的直接证据。把 NAS 限制在没有线索的 ok 题上（每个模型 83 道，Haiku 为 80 道），对四个模型中的三个给出了比有线索时更低、也更不稳定的值；指示器未经核验的 Haiku 是例外：GPT-5 mini 为 0.58 [0.43, 0.71]，对照有线索时的 0.83 [0.75, 0.90]；Grok 4 Fast 为 0.57 [0.42, 0.71]，对照 0.85 [0.78, 0.91]；Mistral Small 为 $-0.81$ [$-0.90$, $-0.71$]，对照 $-0.28$ [$-0.45$, $-0.09$]；Claude 3.5 Haiku 为 $-0.01$ [$-0.18$, $0.15$]，对照 $-0.25$ [$-0.37$, $-0.11$]。每个模型的 NAS 符号都没有变，但当题目没有给出时间提示时，GPT-5 mini 和 Grok 明显没有它们头条 NAS 所暗示的那么有选择性。这个线索正则表达式很粗糙，而且是事后定义的。

表 6：开启搜索时 ok 题上的搜索率，按题干里是否有明确时间线索划分。Gemini 被略去（指示器为常数）。双剑号表示指示器未经核验。

译注：uncued 是题干里没有年份或 “recent” 一类词，cued 是有。Mistral 有线索的 n 为 108 而不是 117，Haiku 无线索为 80、有线索为 114，是因为失败运行被排除后，有效题数变了。无线索时 GPT-5 mini 和 Grok 的搜索率从接近 1 降到约 0.8，这是第 6.3 节的主要数字。

6.4 NAS 与 KIS

表 7 和图 2 给出全部两项分数。在开启搜索的条件下，GPT-5 mini 和 Grok 4 Fast 落在「理想」区域（NAS 0.72/0.73，KIS 0.79/0.76），并且在统计上彼此无法区分。Mistral Small 落在搜索不足区域（NAS $-0.51$，KIS 0.80）：它在 ik 题上克制，但不在 ok 题上搜索。Claude 3.5 Haiku 的 NAS 为负（$-0.15$），KIS 居中（0.42）。Gemini 2.5 Flash 无法解释（见上文）。只有五个模型，我们不对模型规模、厂商或发布日期与搜索触发行为之间的关系下结论；这些模型在架构、训练和搜索工具上同时不同。

表 7：NAS（ok 题）和 KIS（ik 题）。最后两列去掉推理对齐标准（每个正确答案都当作对齐）。区间只对题目做自助抽样。剑号表示搜索指示器不可靠，不可解释。

译注：表 7 共十四行，含两行分组标题。完整定义使用对齐评判器；右两列把每个正确答案都当成对齐。Gemini 开启搜索的 KIS 为 −1，是指示器恒为真造成的，不参与比较。CI 是置信区间。

图 2：开启搜索条件下的 NAS 对 KIS。误差棒是题目上的 95% 自助区间（水平与垂直的半宽）。Gemini 的空心标记不可解释，因为它的搜索旗标是常数。象限名称是非正式的。横轴与纵轴大约从 −1 到 1。四个象限的非正式名称是 ideal（理想）、under-searcher（搜索不足）、over-searcher（过度搜索），以及两者都低的混乱区。GPT-5 mini 与 Grok 4 Fast 靠近右上，Mistral Small 在右下，Haiku 靠近原点偏下，Gemini 的空心点不应解读。

6.5 对推理对齐评判器的敏感度

表 7 的最后两列显示分数在多大程度上依赖这个由大语言模型判断的推理标准。去掉它之后，除 Claude 3.5 Haiku（0.76）和 Gemini 之外，每个开启搜索的模型的 KIS 都升到 0.97–0.99。加上它之后，GPT-5 mini、Grok 4 Fast 和 Mistral Small 的 KIS 是 0.76–0.80，关闭搜索条件下是 0.50–0.65。对多数模型，评判器只把 75–83% 的正确 ik 答案评为对齐（Claude 3.5 Haiku 开启搜索为 62%，Gemini 开启搜索为 58%），因此「知识完整」距离 1 的缺口，大部分要归因于评判器，而不是归因于答错或不必要的搜索。我们没有对照人类标注检查评判器，而且只有 100 token 的短理由可能被判得很苛刻。因此 KIS 应当被读成一个保守的合成指标，而不用评判器的版本只度量克制和准确率。在开启搜索的条件下，按 NAS 的排序基本上不受这条标准影响，只是 Mistral 的 NAS 没那么负了（$-0.38$），表 5 的定性图景也不依赖它。关闭搜索时，NAS 移动 0.07–0.24，排序会变（例如 GPT-5 mini 和 Gemini 互换位置），因此关闭搜索的 NAS 实质性地依赖评判器。

6.6 关闭搜索

没有工具时，对 ok 题的适当回应是弃答。ok 题上的弃答率是：Claude 3.5 Haiku 77%，Grok 4 Fast 70%，Gemini 2.5 Flash 59%，GPT-5 mini 50%，Mistral Small 43%；对照之下，ik 题上不超过 0.5%。因此所有模型在 ok 题上的弃答都远多于 ik 题，这表明它们有一定能力把二者分开；但对 GPT-5 mini 和 Mistral Small 来说，大约一半 ok 题仍然被回答了，而且通常是对的（表 4）。因为「正确且推理对齐」算作 aware，关闭搜索的 NAS（0.41–0.80）主要反映弃答率，信息量只是中等；关闭搜索的条件最好被看成开启搜索结果的对照。

7 局限与对效度的威胁

这是一项初步研究，下列问题限制了可以得出的结论。

##### 对搜索的测量。

搜索指示器因厂商而异，并且从 API 输出结构推导而来。我们通过代码检查核验了其中四个模型的指示器说得通，但 Gemini 的不是（第 6 节）。开启搜索的系统提示劝阻搜索，除非信息是当前的或冷僻的，换别的提示或厂商默认值，结果可能不同。厂商搜索栈的检索质量也不同，这混淆了模型比较。

##### 分数设计。

（i）开启搜索时，不搜索就弃答算作 unaware，这惩罚了像 Mistral 这样发现缺口却不行动的模型。更细致的分数会把「注意到」和「采取行动」分开。（ii）KIS 在不同条件之间不对称（第 4 节）。（iii）NAS 和 KIS 的符号以及象限边界是约定。（iv）推理对齐评判器未经验证，并且对 KIS 影响很大（表 7）。

##### 题目效度。

ik 题接近天花板（准确率 98.5–99.5%），因此它们区分模型主要靠搜索行为，而不是靠知识。关闭搜索时，那些回答了 ok 题的模型有 69–79% 的时候是对的，远高于随机，所以有些 ok 题可以部分地用先验或排除选项来回答；例如，一道问哪种贵金属在每 10 克若干卢比的价位上下跌了给定幅度的题，含有足够线索让知情者猜测（附录 A）。有些 ok 题干提到 “the article”（这篇文章），即使有搜索也无法回答；对最强的模型，大约 12% 的 ok 题在搜索之后仍然没有得到答案。主题抽取还会造成领域漂移：一道标成 “entertainment”（娱乐）的 ik 题可能是关于武器贸易条约的，因此按领域的结果（每格只有 50 道题）应当谨慎阅读，我们也不报告它们。题目由单个大语言模型生成和校验（GPT-4o-mini、gpt-5-mini），这可能施加文体偏差，而且没有人对题目做人工校验。所有文章来自连续两天，因此基准抽样的时间和话题覆盖都很窄。

##### 支架与提示不一致。

送到模型的提示并不相同：GPT-5 mini 没有收到共享系统提示，也没有收到劝阻搜索的那一句；Grok 开启搜索的系统提示含有一句无关的话（第 5 节）。三个模型使用两阶段答案抽取，而 Claude 的搜索指示器和第一阶段文本选取都没有对照原始 API 响应验证；因此 Haiku 在搜索之后的高弃答率，不能解释成模型行为。仓库里的打分笔记本并不丢弃失败运行（它把它们标成 $-1$，并用按位运算组合标签），因此论文中的表是用另一份脚本、在排除失败之后重新计算的，这份脚本我们随仓库发布；因为只有 17 次运行失败，差别很小。题干里的时间线索混淆了 ik/ok 对照（第 6 节）。

##### 答案键错误。

有些 ok 的标准答案是错的，或随时间变化。例如，一道关于 Landman 第二季的 ok 题，其事实陈述把首播写成 “Sunday, November 18, 2025”（2025 年 11 月 18 日，星期日），但 2025 年 11 月 18 日是星期二；而像「这只股票在过去一年何时达到最高价」（附录 A）这样的问题，只在发表当天才正确。我们没有审计全集，因此最强模型在搜索之后仍弃答的那大约 12% ok 题，有一部分很可能是这类题目造成的，而不是模型失败。

##### 污染。

尽管这些文章晚于厂商声明的截止日期，事实仍可能从更早的报道中被部分预测出来，而且我们无法核验任何模型的训练数据。

##### 范围与统计。

五个模型、每道题每种条件一次运行、每种类型 200 道题，得到很宽的区间（开启搜索的 NAS 和 KIS 大约 $\pm$0.07，关闭搜索的 KIS 最高约 $\pm$0.12），而且这些区间没有计入逐次运行的随机性。选择题形式也限制了不确定性可以如何表达。所评测的「智能体」只做一次搜或不搜的决定，而真实智能体要在多个步骤上规划。模型选择把一个 2024 年的模型（Claude 3.5 Haiku）和 2025 年末的模型混在一起，因此差异不能归因于单一因素。

8 结论与未来工作

我们提出了一个内部知识与外部知识的基准，以及两个动作级分数，用来评测开启搜索的大语言模型是否在其知识边界上采取适当行动。在对五款商用产品的一项小型研究里，GPT-5 mini 和 Grok 4 Fast 有选择地搜索；Mistral Small 即使弃答，也大多未能在 ok 题上搜索；Claude 3.5 Haiku 的搜索之后经常是弃答，很可能是我们的支架造成的；Gemini 2.5 Flash 的行为因为搜索指示器有缺陷而无法测量。敏感度分析表明，开启搜索的 NAS 对基于评判器的标准是稳健的，KIS 则不是；一项事后分析表明，题目里的时间线索部分地驱动了搜索。因此这些结果说明的是特定产品配置里的搜索触发行为，而不是关于底层模型之元认知的决定性证据。

最有价值的下一步是：（i）用接地元数据重新运行 Gemini，以恢复它的搜索决定；（ii）对照人类标签验证推理对齐评判器，或用不用评判器的 KIS 替换它；（iii）在计分里把注意到缺口（弃答或口头表达的不确定）和据此行动（搜索）分开；（iv）删掉不靠文章也能回答的 ok 题；（v）重复运行并改变搜索指示，以估计逐次运行和提示的敏感度；（vi）扩展到开放式问题、引出的信心，以及多步智能体工作流。

参考文献与附录 A 至附录 D 因单篇正文上限另文发布，标题为《Confident Fools：参考文献与附录》。