DeepSearchQA：900 题测深度研究，完全正确最高 66.09%

DeepSearchQA：补上深度研究智能体的完备性缺口

Nikita Gupta、Riju Chatterjee、Lukas Haas、Connie Tao、Andrew Wang、Chang Liu、Hidekazu Oiwa、Elena Gribovskaya、Jan Ackermann、John Blitzer、Sasha Goldshtein、Dipanjan Das。Google DeepMind、Google Search、Kaggle、Google Research。许可证：CC BY 4.0。arXiv:2601.20975v1，2026 年 1 月 28 日。

我们提出 DeepSearchQA，一个有 900 条提示、覆盖 17 个领域的基准（benchmark，固定题集和打分规则），用来评测智能体在困难的多步信息搜寻任务上的表现。它不同于瞄准单一答案检索或宽泛事实性的传统基准。DeepSearchQA 的题目由人工编写，要求智能体执行复杂的搜索计划，并生成穷尽的答案列表。这一设计明确测试三项关键、却少被评测的能力：1）从分散来源系统整理碎片信息；2）去重和实体解析，以保证精确率；3）在开放搜索空间里对停止条件做推理。每道任务是一条因果链：下一步要发现的信息，依赖于上一步成功完成。这加压于长程规划和上下文保持。全部任务落在开放网页上，答案集合可以客观核验。我们对当前最强智能体架构的评测显示明显的能力上限：即使最先进的模型也难以同时保住高召回和高精确。失败模式从过早停止（检索不足）到对冲行为都有。对冲是指智能体撒一张低置信答案的大网，用来人为抬高召回。这些发现标出当前智能体设计里还剩的空间，并把 DeepSearchQA 放在推动更稳健深度研究能力的诊断工具位置。排行榜在 https://www.kaggle.com/benchmarks/google/dsqa/leaderboard 。

1 引言

表 1：DeepSearchQA 中用户信息需求的代表性例子。每一行把一种领域画像映射到一项复杂检索任务，说明主题和汇总要求的多样性。

人工智能正在从静态大语言模型转向自主网页智能体。这些智能体要与动态、复杂的环境交互来达成目标。这场“智能体转向”需要规划、记忆管理和工具使用。系统被放进生产工作流之后，任务从简单取数到多步研究都有，稳健、真实的评测方法就变得必要。有效基准不只用来测量进展，也用来找出开放领域里的关键失败。但智能体能力的发展正在快过现有评测方法，造成评测瓶颈：现有基准要么已经饱和，要么太人造，代表不了真实用户需求。

1.1 主流范式：单一答案核验

此前的评测方法，例如 TruthfulQA（Lin et al., 2022）、HaluEval（Li et al., 2023）、FELM（Chen et al., 2023），或 SimpleQA 这类精确率基准（Haas et al., 2025; Wei et al., 2024a），已经为事实性和单一答案检索建立了严格标准，例如“法国的首都是什么？”。单一答案格式是有意且有效的策略。它使自动评分便宜、可扩展、客观，去掉了评估长篇生成答案时的主观性和费用。幻觉与归因方面的近期工作强调了这一困难（Rashkin et al., 2022; Zhao et al., 2024）。研究者也为长文一致性发展了指标，例如 FActScore（Min et al., 2023; Bishop et al., 2023）、LongFact（Wei et al., 2024b）、VERISCORE（Song et al., 2024）和 FactAlign（Huang and Chen, 2024），但它们常常需要昂贵的人在环核验，或复杂的大模型评判（Liu et al., 2024; Ramprasad and Wallace, 2024）。TRUE（Honovich et al., 2022）、MiniCheck（Tang et al., 2024）和 CoverBench（Jacovi et al., 2024）这类主张核验框架，关注的是具体主张是否有依据，而不是一条研究轨迹是否完整。

随着推理密集型模型发布（OpenAI, 2024; OpenAI, 2025c; DeepSeek-AI et al., 2025; Gemini Team, Google, 2025; Anthropic, 2025），智能体评测要评估的是：对外部信息做推理、制定长程计划，以及从非结构化网页来源综合发现的能力。此前的尝试，例如 Humanity’s Last Exam（Phan et al., 2025）、GAIA（Mialon et al., 2023）和 OpenAI 的 BrowseComp（Wei et al., 2025），用专家级问题把难度上限推高，使简单检索失效。但即使这些先进基准，为了客观评分，大体仍保留单一答案格式。为动态或搜索增强设置设计的基准，例如 FreshLLMs（Vu et al., 2023）和 RealTime QA（Kasai et al., 2024），也常常依赖原子答案，抓不住广泛信息收集的复杂度。

单一答案范式是有用的脚手架，把导航和搜索策略这些核心能力隔离开来（Miroyan et al., 2025）。但它激励的是精确优先的搜索轨迹——在干草堆里找针——而不是许多真实信息搜寻所需要的、面向召回的穷尽研究（Du et al., 2025; OpenAI, 2025a）。

1.2 完备性缺口：不止找到一个答案

单一答案做法的限制，露出我们称为完备性缺口（Comprehensiveness Gap，评测只看找没找到那一个答案，不看答案列表是否穷尽）的问题。许多真实信息搜寻任务，并不能靠取回一个数据点来满足，传统数据集如 Natural Questions（Kwiatkowski et al., 2019）、TriviaQA（Joshi et al., 2017）或 HotpotQA（Yang et al., 2018）就是这种取回。它们需要更复杂的研究任务，例如“列出半导体行业里市盈率低于 20、并在东南亚有业务的全部公司”，或“找出 2024 年启动的全部 mRNA 疫苗临床试验”。

从简单检索转到智能体式信息检索（Zhang et al., 2024），需要一种根本不同的认知剖面。它需要现有基准没能单独测出的三项更高阶能力：

1. 系统整理。智能体必须访问往往数以百计的分散来源，整理出一份主列表，而没有任何单一来源包含全部信息。Fact-Fetch-Reason（Krishna et al., 2025）和 MoNaCo（Wolfson et al., 2025）开始处理信息检索的智能体性质，但缺少这里要求的穷尽范围。
2. 实体解析（去重）。这是识别两个被取回的实体尽管表面形式不同、其实相同的能力。这是结构化推理里的复杂任务（Li et al., 2024），在隐式推理基准里常被忽略（Geva et al., 2021）。在深度研究里，解析失败会导致列表膨胀、精确率下降。这是我们实验中常见的失败模式。
3. 在认识不确定性下对停止条件做推理。这也许最关键。智能体必须在没有明确终止信号时判断搜索是否完成（Yang et al., 2024）。这要求区分“还没找到证据”和“证据表明它不存在”。

1.3 DeepSearchQA 的核心贡献

主要贡献是把评测范式从基于精确率的检索，转到穷尽答案集合的生成。基准要求智能体做深度、自主的浏览，为一则查询生成全部可能答案的完整、可核验集合，而不是一个数据点。

图 1：DeepSearchQA 基准概览。左侧，提示在不同主题上分布均衡，避免领域过拟合。右侧，在这组多样题目上，Gemini Deep Research 智能体表现出随算力上升的成绩：测试时计算（样本数）增加时，准确率单调上升。

与 SimpleQA（Haas et al., 2025; Wei et al., 2024a）、Facts（Cheng et al., 2025）和 BrowseComp（Wei et al., 2025）所主张的简单、可核验原则一致，DeepSearchQA 使用严格基于结果的评测。表现只根据智能体最终提交集合的完备性（召回，recall，该找到的找到了多少）和正确性（精确率，precision，交上去的里面有多少是对的）来判断，而不根据取得它的搜索轨迹。这鼓励架构多样，同时充当严格的功能测试。要拿到高 F1（精确率和召回的调和平均），智能体实际上必须掌握探索（撒大网）和利用（核验候选）之间的权衡，在没有预定义地图的开放网页上导航。

我们将维护一个持续更新的 DeepSearchQA 排行榜，跟踪不同模型的表现。排行榜对新模型提交保持开放。评测由 Kaggle 完成。

表 2：跨领域任务复杂度的分类。第二列说明每类任务覆盖哪些常见认知推理子类型。后两列比较同一类例子的容易版和困难版。

2 DeepSearchQA：数据集与分类

数据集由专家数据标注者从多种来源整理，反映真实、高价值的用户查询。题目经过严格过滤，集中在客观的信息搜寻任务上，其标准答案是确定的。

#### 数据集统计与领域

基准包含 900 条提示，配有标准答案集合。问题覆盖广泛领域，包括政治与政府、金融与经济、科学、健康、历史、地理和媒体，以测试智能体在不同网页结构和内容类型上的泛化。图 1 给出领域分布，表 1 给出整理后数据集中的不同例子。一项关键设计是：所有提示都锚定时间，或引用静态数据源（例如“根据 2020 年人口普查……”）。这减少活网页基准固有的漂移，也就是标准答案会随时间改变。

表 3：代表性 DeepSearchQA 任务。分析说明这些查询需要带约束核验的结构化检索、上下文管理和跨领域综合。

#### 答案类型

标准答案空间分成两类：

• 单一答案：答案是唯一实体或数值（例如特定日期或名字）。它们与传统问答相似，但由于所要数据冷僻、网页上可能有冲突证据，仍需要深度研究。
• 集合答案：答案是一组条目。包括枚举（列出满足约束的全部条目）和组合回答（回答多个子问题）。

#### 质量核验流程

为保证标准答案准确，我们实施标准化的三阶段核验。1）独立研究阶段：三名审核者在看不到标准答案的情况下独立研究解答。2）核验与比较：把独立答案与提示整理者给出的原标准答案交叉对照。任何不一致触发 3）冲突解决阶段：判断是原标准答案需要更新、审核者错了，还是提示本身含糊有缺陷。全部含糊提示在此阶段被滤掉。

#### 任务复杂度分类

我们按任务对智能体的认知和操作要求分类，用来诊断架构上的具体弱点。

• 结构化检索（“搜索”）：设计多步搜索策略，取回冷僻信息以满足用户需求。
• 上下文管理（“组装”）：摄入并综合可能格式不同的大量信息，关键挑战是管理上下文窗口限制。
• 逻辑推理（“思考者”）：抽象演绎、规划、冲突解决，并从不完全数据推断潜在信息。表 2 为每类给出一个例子，并说明此前基准的容易例子与我们纳入的困难例子的差别。表 3 说明解我们新基准中的提示所需的推理。

3 评测方法

DeepSearchQA 的评测必须稳健、公平地评估基于集合的答案：条目顺序无关，答案的语义变体很常见。

3.1 形式化评测指标

我们采用信息检索的标准指标，并引入若干分类指标。下面令 $S_{i}$ 为智能体对提示 $i$ 提交的互异答案集合，$G_{i}$ 为该提示的标准答案集合。我们用两层评测：连续指标做细粒度分析，分类标签做严格成功率。

#### 连续指标

我们报告标准检索指标，以量化准确与穷尽之间的权衡。这些指标先对每条提示计算，再在整个评测集上平均。F1 分数（$F_{1}$）是主要排序指标，是精确率 $P$ 和召回 $R$ 的调和平均。

对特定提示 $i$：

$$F_{1,i}=2\cdot\frac{P_{i}\cdot R_{i}}{P_{i}+R_{i}}$$

其中精确率 $P_{i}=\frac{|S_{i}\cap G_{i}|}{|S_{i}|}$ 表示提交条目的准确程度，召回 $R_{i}=\frac{|S_{i}\cap G_{i}|}{|G_{i}|}$ 表示相对标准答案的穷尽程度。

• 对单一答案任务：F1 等价于精确匹配准确率（二元的 1.0 或 0.0）。
• 对集合答案任务：F1 使表现同时反映完备性和准确性。它严格惩罚那些靠输出大量猜测（幻觉或“漂移”）来抬高召回的智能体。

#### 分类标签

我们也按 $S_{i}$ 与 $G_{i}$ 的集合关系，把每个回答严格分成四个互斥类别之一：

1. 完全正确（$S_{i}=G_{i}$）：当且仅当提交集合与标准答案集合在语义上相同。智能体必须找出全部正确答案，且不包含任何错误答案。单一答案任务：给出所要求的那个唯一正确实体。集合答案任务：取回完整穷尽列表（$R_{i}=1.0$），且不幻觉任何额外条目（$P_{i}=1.0$）。
2. 完全错误（$S_{i}\cap G_{i}=\emptyset$）：提交集合不含任何正确条目，与标准答案的交集为空。单一答案：给了错误答案，或声称没有答案。集合答案：连标准答案里的一个有效条目都没取回。这表示搜索策略完全失败，或对提示有根本误解。
3. 部分正确（$\emptyset\neq(S_{i}\cap G_{i})\subset G_{i}$）：含有一些但不是全部正确答案，并且可能含有不在标准答案里的内容。这一错误模式只存在于集合答案任务。
4. 正确但带多余答案（$G_{i}\subset S_{i}$）：智能体找出了标准答案集合中的全部条目（$R_{i}=1.0$），但还包含一个或多个错误条目（$P_{i}<1.0$）。这是对冲失败模式。单一答案任务：这算失败。在要求唯一实体时给出多个候选，意味着消歧失败。冲突回避的例子：问“谁赢得了 1994 年世界杯？”（标准答案：巴西），智能体答“巴西和意大利”，把冠军和亚军都列上，而不是承诺一个。流行度偏差的例子：问“澳大利亚的首都是什么？”（标准答案：堪培拉），智能体答“堪培拉或悉尼”，把最有名的城市和真正的首都放在一起，以降低用户认为它错了的风险。集合答案任务：找出全部正确条目，但停止条件失败，等于在额外猜测。分类漂移的例子：问“列出太阳系行星”，智能体把冥王星和正确的八颗一起放上。关联的例子：问“哪些美国州与缅因州接壤”，智能体答“新罕布什尔和佛蒙特”，幻觉出语义或地理上接近目标的条目。

3.2 自动评测流水线

我们用自动的“大模型当评判”流水线，判断抽取出的答案是否语义等价。对每个条目 $s\in S_{i}$，评判判断 $s$ 是否与某个 $g\in G_{i}$ 语义等价。评测使用 Gemini 2.5 Flash（Gemini Team, Google, 2025），零样本设置，提示见附录 A。

4 结果与分析

表 4 给出一组当前深度研究智能体和推理模型的评测表现。结果突出智能体能力的缩放行为，以及完备性缺口的持续困难。我们报告四项主要指标：完全正确回答的百分比（$S=G$，模型取回了恰好的标准答案集合）、完全错误回答的百分比（$S\cap G=\emptyset$，没有找到相关条目）、综合精确与召回的 F1，以及“正确但带多余答案”（取回了正确答案，但没滤掉不相关条目）。

表 4：DeepSearchQA 主要结果，由 Kaggle 独立评测。报告完全正确、完全错误、正确但带多余答案的相对数量，以及每种方法的 F1。每个指标右侧的小数是 95% 置信区间。

#### 深度研究的当前最好水平

Gemini Deep Research Agent 和 GPT-5 Pro High Reasoning（OpenAI, 2025b）在这个基准上达到当前最好水平，不过从成本看，Gemini Deep Research Agent 很可能更有效率。原文脚注比较了两者定价，没有给出具体价目。结果呈现清楚的层次：深度研究智能体优于单独的推理模型。这确认：推理模型提供原始智能，但要补上完备性缺口，还需要智能体的迭代循环。

GPT-5 Pro High Reasoning 和 Gemini Deep Research Agent 的表现剖面不同。两者完全正确率在统计上可比（66.09% 对 65.18%），但 Gemini Deep Research Agent 更有效地压低灾难性失败，完全错误率最低，为 9.95%，而 GPT-5 Pro 高推理为 14.13%。表 5 说明顶尖模型的常见失败模式。这些失败出现在信息处理流水线的不同阶段。第一例里，Gemini Deep Research Agent 成功汇总了原始数据，但没能综合出最终估计。第二例里，GPT-5 Pro High Reasoning 遇到打不开的文档，没能恢复，过程实际上停了。第三例是约束违反：模型没有按提示要求过滤数据点，说明智能体的停止条件出了故障。

中层是 o3 Deep Research（完全正确 44.24%）和 o4 Mini Deep Research（完全正确 40.36%）。它们的完全错误率分别升到 20.09% 和 24.19%，显示维持连贯长程搜索策略的能力迅速变差。

#### 缩放行为与推理阈值

F1 和完全错误率突出自主研究所需的一道硬推理阈值。顶尖模型之间的差距窄，但更小的推理模型出现陡降。Gemini 2.5 Flash 的 $F_{1}$ 降到 42.99%，大约是领先者的一半。更关键的是，完全错误率冲到 45.27%，几乎是当前最好智能体失败率的五倍。这确认 DeepSearchQA 任务不能靠简单语义搜索解决；它们需要结构化检索和多步推理。低于某个参数或计算阈值，智能体会轨迹发散，走上完全错误的搜索路径，得到零相关结果。把研究任务缩到更便宜的模型，不是线性权衡，而是效用的阶跃下降。另一端，分配更多测试时计算、采样 $n$ 次，可以把完全正确率从 67.18%（$n=1$）提高到 85.71%（$n=8$）。只采样两次就到 74.51%，$n=4$ 已经达到 81.72%。

#### 指标分歧：最后一公里问题

我们观察到细粒度 F1 与严格完全正确（$S=G$）成功率之间有明显分歧。例如 Gemini Deep Research Agent 的 F1 为 81.90%，严格成功率是 66.09%。大约 15 个点的差距，就是自主深度研究里的“最后一公里问题”。对 GPT-5 Pro High Reasoning，差距大约 13 个点。它由两种相反的失败驱动：检索不足，智能体找到了大多数条目，但漏掉冷僻实体的“长尾”；检索过度，智能体达到完美召回（$R=1.0$），却没认出搜索已经完成，幻觉出额外条目或漂到相邻主题。这一差距说明，智能体评测需要严格的基于集合的指标，因为如果智能体缺乏滤掉噪声的判断，高召回是不够的。

表 5：DeepSearchQA 上的失败模式。Gemini Deep Research Agent 和 GPT-5 Pro High Reasoning 有共同的失败形态。第一列是引出失败的提示，第二列给推理或工具限制分类，第三列是对应模型出错处的原文摘录。

5 后续工作

5.1 局限

DeepSearchQA 为评测完备检索提供了稳健框架，但依赖的设计选择带来一些局限。只用基于结果的评测，等于把智能体当成黑箱。没有轨迹数据时，很难区分正确推理得到列表的智能体，和靠低效或偶然手段（例如幸运猜测）到达正确列表的智能体。另外，静态网页假设对可复现是必要的，但限制了对“突发新闻”检索的评测，那种标准答案是易变的。若来源网站被移除或内容大幅改动，任务的标准答案可能过时。这是所有在活网页上运行的基准的普遍挑战，需要定期人工复核并更新数据集。

5.2 方法扩展

这个基准可以沿几个方向扩展：

• 加入基于过程的指标：以后的版本可以对智能体轨迹分类（例如访问的页面、查询序列）。评分仍基于结果，但这份辅助数据会给失败模式提供诊断，帮助研究者区分检索失败、推理错误和综合问题。
• 动态且对时间敏感的列表：为测试实时信息检索，以后的版本可以引入标准答案易变的“活”问题（例如“列出英国议会科学与技术委员会的全部现任成员”）。这会评测智能体处理时间约束并获取新数据的能力。
• 加权相关评分：当前基准对所有标准答案条目一视同仁，以后可以做分级相关。区分“核心”和“外围”答案后，框架可以使用对排序敏感的指标，例如归一化折损累计增益（nDCG，normalized Discounted Cumulative Gain，把排在前面的相关条目算得更重）（Järvelin and Kekäläinen, 2002）。原文缩写写成 nCDG。

5.3 对智能体架构进展的含义

通过明确奖励穷尽检索，我们预期 DeepSearchQA 会催生具备一套新技能的智能体研究。在这个基准上取得高分，很可能需要：

• 系统探索策略：智能体必须超出机会主义的关键词搜索，走向有方法的探索（例如基于树或基于图的导航），以保证不漏掉相关子页或章节。
• 更强的信息综合：智能体从异质来源收集候选时，需要稳健机制来合并信息、解决实体歧义，并去掉语义等价的答案，形成干净的最终列表。
• 动态停止条件：也许最关键的能力，是对搜索完备性做推理。智能体必须发展停止准则，动态判断取回的集合何时很可能已经穷尽、再搜也不会有产出。这是智能体推理上的重要一步。

6 结论

基于大语言模型的智能体快速进展，要求评测它们的方法相应演进。Humanity’s Last Exam 和 BrowseComp 等现有基准，在推动智能体推理和信息发现的前沿上起了作用，但完备性缺口仍是关键盲点。DeepSearchQA 用严格的、基于集合的评测框架处理这一点，同时惩罚检索不足和对冲。

DeepSearchQA 直接测量系统探索、多源综合和搜索完成这些技能。它们对许多真实研究和分析任务是必要的。基于结果的评测协议，建立在精确率、召回和 F1 这些信息检索指标上，提供稳健、灵活的框架，在不约束架构创新的情况下评估表现。

我们的评测显示，即使 GPT-5 Pro 和 Gemini Deep Research Agent 这类最先进的模型，也难以平衡召回和精确。通过给穷尽检索一个清楚、可测的目标，DeepSearchQA 旨在催动智能体发展的下一阶段：从能回答一个问题的智能体，走向能掌握一个主题并绘出信息版图的智能体。为这种更深的完备性做优化，是走向真正有能力、可靠的自主网页智能体的关键下一步。

7 贡献与致谢

• 实验设计：Nikita Gupta、Riju Chatterjee 和 Hidekazu Oiwa 制定基准背后的实验设计，并运行全部报告的实验。
• 组织：Connie Tao、Dipanjan Das、Lukas Haas 和 John Blitzer 管理这项工作从开始到完成的整体组织。
• 早期实验：Emily Ingebricson、Chang Liu、Megha Mohabey、Wanzheng Zhu、Oscar Chacaltana、Jan Ackermann、Andrew Wang、Michael Collins 和 Sasha Goldshtein 贡献想法、收集数据并运行实验。
• 赞助：Srinivasan (Cheenu) Venkatachary、Koray Kavukcuoglu、Slav Petrov、Ya Xu 和 Yossi Matias 赞助这项工作并提供技术指导。全部作者撰写了报告的部分内容。

我们还要感谢：Gemini 团队的支持与模型访问；Kaggle 团队的专业能力、发布排行榜并运行最终评测；帮助收集文中例子的专家数据标注者；审稿人 Kristina Toutanova、Jayant Madhavan、Chris Alberti 和 Phoebe Kirk 的反馈。

参考文献

• Anthropic (2025) Introducing Claude 4. https://www.anthropic.com/news/claude-4
• Bishop et al. (2023) LongDocFACTScore. arXiv:2309.12455
• Chen et al. (2023) FELM. arXiv:2310.00741
• Cheng et al. (2025) The FACTS leaderboard. arXiv:2512.10791
• DeepSeek-AI et al. (2025) DeepSeek-R1. arXiv:2501.12948
• Du et al. (2025) DeepResearch Bench. arXiv:2506.11763
• Gemini Team, Google (2025) Gemini 2.5. arXiv:2507.06261
• Geva et al. (2021) Did Aristotle use a laptop? arXiv:2101.02235
• Haas et al. (2025) SimpleQA Verified. arXiv:2509.07968
• Honovich et al. (2022) TRUE. arXiv:2204.04991
• Huang and Chen (2024) FactAlign. arXiv:2410.01691
• Jacovi et al. (2024) CoverBench. arXiv:2408.03325
• Järvelin and Kekäläinen (2002) Cumulated gain-based evaluation of IR techniques. TOIS 20(4):422–446.
• Joshi et al. (2017) TriviaQA. ACL 2017.
• Kasai et al. (2024) RealTime QA. arXiv:2207.13332
• Krishna et al. (2025) Fact, Fetch, and Reason. arXiv:2409.12941
• Kwiatkowski et al. (2019) Natural Questions. TACL 7:452–466.
• Li et al. (2024) Booster. WWW 2024 companion.
• Li et al. (2023) HaluEval. arXiv:2305.11747
• Lin et al. (2022) TruthfulQA. arXiv:2109.07958
• Liu et al. (2024) LLMs as narcissistic evaluators. ACL 2024 Findings.
• Mialon et al. (2023) GAIA. arXiv:2311.12983
• Min et al. (2023) FActScore. EMNLP 2023.
• Miroyan et al. (2025) Search Arena. arXiv:2506.05334
• OpenAI (2024) Learning to reason with LLMs. https://openai.com/index/learning-to-reason-with-llms
• OpenAI (2025a) Introducing deep research. https://openai.com/index/introducing-deep-research/
• OpenAI (2025b) GPT-5 system card. https://openai.com/index/gpt-5-system-card/
• OpenAI (2025c) OpenAI o3 and o4-mini system card. https://openai.com/index/o3-o4-mini-system-card/
• Phan et al. (2025) Humanity’s Last Exam. arXiv:2501.14249
• Ramprasad and Wallace (2024) Do automatic factuality metrics measure factuality? arXiv:2411.16638
• Rashkin et al. (2022) Measuring attribution in NLG. arXiv:2112.12870
• Song et al. (2024) VeriScore. arXiv:2406.19276
• Tang et al. (2024) MiniCheck. arXiv:2404.10774
• Vu et al. (2023) FreshLLMs. arXiv:2310.03214
• Wei et al. (2024a) Measuring short-form factuality. arXiv:2411.04368
• Wei et al. (2024b) Long-form factuality. arXiv:2403.18802
• Wei et al. (2025) BrowseComp. arXiv:2504.12516
• Wolfson et al. (2025) MoNaCo. arXiv:2508.11133
• Yang et al. (2024) CRAG. arXiv:2406.04744
• Yang et al. (2018) HotpotQA. arXiv:1809.09600
• Zhang et al. (2024) Agentic information retrieval. arXiv:2410.09713
• Zhao et al. (2024) WildHallucinations. arXiv:2407.17468

附录 A 评判提示模板

评分提示按原文顺序包含下列步骤。占位符保持为 prompt_type、answer、prompt、response。

你的任务是评估：针对特定“用户提示”的一份“AI 回复”，是否到达了正确答案。

答案正确性任务。目的：根据所给“正确答案”和“提示类型”，评估 AI 回复是否提供了正确答案。过程：识别提示类型；参照正确答案；按提示类型判断 AI 回复是否包含预期答案。

• Single Answer（单一答案）：检查回复是否提供了回应用户问题的答案。它不必与所给答案的措辞逐字相同。
• Set Answer（集合答案）：检查回复是否包含标准答案列表中的每一项。除非另有说明，顺序可以无关。回复可以包含比列表更多的答案。先只根据列表判断正确性，再检查回复是否包含不在列表中的答案。

解释：给出简短解释，引用 AI 回复和正确答案的具体部分。正确性细节：给出一个字典，每个预期答案部分一个键，值为布尔，表示该部分是否被找到。对集合答案，这是属性列表，每一项对应正确答案中的一个条目。多余答案：给出字符串列表，每项表示一个多余答案部分。若回复给出不在正确答案列表中的答案，把它们加入多余答案。没有多余答案时返回空列表。

输出格式：评测必须是嵌套 JSON 字典，顶层键为 AnswerCorrectness。若 Prompt、AI Response 或 Correct Answer 任一为空，返回 NULL。AnswerCorrectness 的值是字典，包含 Explanation（字符串）、CorrectnessDetails（字典，键为预期正确答案，值为布尔）和 ExcessiveAnswers（多余答案字符串列表）。必须返回合法 JSON 字符串，注意引号、逗号和特殊字符，并转义 JSON 字符串中的全部特殊字符和引号。

部分输出例子：

{
  "AnswerCorrectness": {
    "Explanation": "The response correctly identified Belgium and France but also includes an excessive answer, Italy.",
    "CorrectnessDetails": {"Belgium": true, "France": true},
    "ExcessiveAnswers": ["Italy"]
  }
}

然后用所给的用户提示、AI 回复和正确答案继续评测。用户提示包在 prompt 标签里，正确答案和提示类型包在 answer 标签里，AI 助手回复包在 response 标签里，最后给出 Rating。

出处：Nikita Gupta, Riju Chatterjee, Lukas Haas, Connie Tao, Andrew Wang, Chang Liu, Hidekazu Oiwa, Elena Gribovskaya, Jan Ackermann, John Blitzer, Sasha Goldshtein, Dipanjan Das，DeepSearchQA: Bridging the Comprehensiveness Gap for Deep Research Agents，2026-01-28，https://arxiv.org/abs/2601.20975，CC BY 4.0。