FACTS 排行榜：四项子榜一起看，模型会不会说错事实

FACTS 排行榜：用四项子榜量模型会不会说错事实

Aileen Cheng、Alon Jacovi、Amir Globerson、Ben Golan 等同等贡献，其余作者见原文。Google Research、Google DeepMind、Google Cloud、Kaggle。许可证：CC BY 4.0。arXiv:2512.10791，2025 年 12 月 11 日。

FACTS 排行榜是一套在线排行榜和配套基准，用来全面评测语言模型生成事实准确文本的能力。总分是四个子榜的平均：多模态（Multimodal，看图回答是否符合事实）、参数（Parametric，不查外部工具、只靠模型内部参数回答封闭事实题）、搜索（Search，必须调用搜索接口后再回答）、依据 v2（Grounding v2，长回答是否只依据给定文档）。每个子榜用自动裁判打分。公开题和私有题都保留，方便外部参加，同时防止把题背下来。榜在 https://www.kaggle.com/benchmarks/google/facts 。评测由 Kaggle 执行。

1 引言

大语言模型（LLM，按提示生成文字的模型）这些年进步很快，仍会生成事实不准确的内容。事实性研究大致分两种场景。一种是相对给定上下文的事实性：回答必须完全依据提供的信息，例如一篇文档或一张图。另一种是相对一般世界知识的事实性：用内部参数回答事实题，或借助网页等外部来源。实际用法通常两者都要，例如分析财务报告。

此前的工作，包括作者自己的 FACTS Grounding，各自只盯一种能力。会摘要给定文档的模型，可能不擅长凭记忆回答事实题，反过来也一样。稳妥的事实性基准应覆盖多种情境：模态（文字、图像）、知识来源（给定上下文、内部参数、外部搜索）和回答形式。

FACTS 把四项专门子榜合成一套：

• 多模态：把看图和对世界知识结合起来，回答关于图像的问题。
• 参数：在事实问答里准确使用内部知识。
• 搜索：通过和搜索工具交互，生成符合事实的回答。这是越来越常见的用法。
• 依据 v2：是 FACTS Grounding 的更新版，检查回答是否依据给定文档，并换了更好的裁判。

后面先介绍四个支柱的做法，再说明怎样合成一个总分。

2 FACTS 排行榜

这套基准给多样化的事实性评测定了一套协议。四个榜会持续接受新模型提交。为减轻过拟合，只有一部分提示公开，其余保持私有。所有模型评测由 Kaggle 做。

每个任务的细指标发在各自的榜上。分开看才完整，因为每项量的侧面不同。主榜为了跨基准比较，用四项准确率的平均，称为 FACTS 分数。每项准确率再对公开集和私有集取平均。

表 1 是专有 API 模型在整套基准（公开加私有）上的结果。数字是准确率，带 95% 置信区间。FACTS 分数是四项平均。

下面分项说明数据怎么建、指标怎么定、各自看到什么。

3 FACTS 多模态

评测集大约 1,500 题，筛成公开 711 题、私有 811 题。题目来自多种来源，尽量像真实用户的提问，并滤成客观的信息寻求任务。能力覆盖细致的视觉描述、从图里读数据等。图 1 是图像和问题类别的分布。

指标有两个主分：覆盖（Coverage）和无矛盾（No-Contradiction）。自动裁判拿回答去对一份人工写的标准清单。清单是这套基准的核心，因为它可扩展，也比印象分更可核对。

每道题由人工标注者列出相关事实。完整、合格的回答必须覆盖的事实标成必要（Essential），其余相关背景标成非必要（Non-Essential）。这样既能看对不对，也能看答得够不够。

自动裁判像仔细的事实核对员，给出两个是否判断：

• 覆盖：回答是否包含清单里的必要事实。
• 无矛盾：回答是否没有与清单（必要和非必要）、常识或输入图像相矛盾的说法。

只有同时覆盖必要事实、且没有任何矛盾，才算准确。准确率是这类回答在集合里的百分比。表 2 用例子说明双重判断。例如一张机车图，回答认对了车型，却把引入年份说错，覆盖只算到必要事实的一半，并因年份与清单矛盾而被判不准确。另一张蝴蝶图把属认错，必要事实覆盖为 0。壁画签名的颜色和位置说错，也会在无矛盾这项上失败。

表 3 是多模态细项，公开集和私有集合在一起。Gemini 家族更偏召回，覆盖分高。GPT 更偏精确，无矛盾分高。

自动裁判对照人工标注做了校验。覆盖任务里，人把清单中每条必要事实标成“得到支持”或“未得到支持”，裁判做同一件事，再比较“必要事实被支持的百分比”。无矛盾则要求通读整段回答。图 2 是逐句标注界面：给出图像、整段模型文字和高亮句子，标注者判断该句是否矛盾并写说明。无矛盾的宏平均 F1 为 78.2。表 4 是两项裁判的细指标。

4 FACTS 参数

这项看模型在没有外部工具时，能不能准确回答用户关心的事实题。题目来自用户兴趣，答案确认能在维基百科里找到。维基百科被当作预训练里常见的来源。每道题都经过一组开源模型的对抗抽样，留下仍然难的题。它量的是：用户关心、又有主要来源支撑的难事实，模型记得住多少。

数据共 2,104 对问答，公开和私有各 1,052。先确认题目意图反映较广的用户兴趣，再做对抗抽样和人工核验。主题包括政治、体育、技术等，答案类型包括人、日期、地点。图 3 是公开集里领域和答案类型的分布。表 5 给了公开集例题，答案是短实体，例如比分、温度，并允许注明可接受范围。

4.1.1 题目属性

题目要反映用户流量。严格跟着高频兴趣走，会落到太热门、因而太容易的主题，所以从合格集合里故意选频率较低的主题，再用对抗抽样留下对前沿模型仍然难的题。

每条答案必须由维基百科文档明确支持。选维基百科，是因为它内容常见，通常被假定为各 LLM 训练语料的重要部分，适合测量预训练进参数里的知识能不能被召回。

为了评得直接、稳，还有几条事实题标准：

• 单一原子事实：每题只问一件事，不把多段问题捆在一起。
• 答案无歧义：只有一个明确正确答案。
• 答案类型清楚：人或地点、日期等，写在题里或能强烈暗示。
• 答案短而可核对：名字、数字或术语，而不是能猜的是否题，也不是长篇。
• 事实稳定：要么是静态事实，例如“法国首都是哪”，要么在题里写明时间，例如“1995 年的美国总统是谁”。

4.1.2 数据处理

先用基于 LLM 的过滤器，从反映用户兴趣的初始题里找出满足上述标准的查询。再用对抗抽样留下最难的例子。最后由人确认是否符合全部属性。

对抗抽样的目的，是让基准对前沿模型保持难度，避免很快饱和。先用带搜索工具的 Gemini-2.5-Pro 给所有题生成初步的银色标签：模型同时给出答案，以及用来得出答案的搜索结果。只保留答案能被结果里的维基百科 URL 支持的题。

然后在这批已核对的题上，收集五个较强开放权重模型的回答。开放权重是指权重公开、可以本地运行。用它们做筛选，是为了和后面评测的专有 API 模型脱开，避免筛选偏向被测模型。这些模型以闭卷方式作答，不能用外部搜索。只保留五个模型全都没答对的题。这一阶段的“答对”是匹配 Gemini-2.5-Pro 的银色答案，标签仍是初步的，最终标签在后面确定。筛完的列表交给人工标注。

每对问答由三名独立的第三方标注者核验。他们拿到题目、银色答案和一条支持 URL，确认事实是否正确、是否符合第 4.1.1 节的属性。具体做四件事：

1. 事实判断。依据网上能查到的信息，不只看给定 URL。准确：网上信息可以核实。不准确：可靠来源矛盾、网上找不到支持，或话题有争议、支持和反对都有。
2. 属性符合性。是否严格满足第 4.1.1 节，结果是真或假。
3. 维基证据。找出能确认该事实的维基百科文档。给了一条可能相关的 URL，仍要核对。找不到支持页面的例子，不能进入最终数据集。
4. 修正。若最初判为不准确或未通过属性检查，但只改问题、答案或 URL、不改用户原意就能修好，标注者给出修正版。否则丢弃。

4.2 指标

评分沿用 Wei 等人 2024 的方案，并做了修改：评分提示里的例子改得更接近这批数据；增加“未知”标签，表示裁判不能确定标准答案和模型回答是否对齐。

裁判把每条回答分成正确、错误、未尝试或未知。主指标是准确率，即正确回答的百分比。另报三个次指标：回避率（未尝试的百分比）、尝试后准确率，以及 F1。F1 是准确率和“在尝试了的情况下的准确率”的调和平均。

每道题、标准答案、回答的三元组，向 Gemini-2.5-Pro 采样三次评分再平均。作者观察到更强的模型评分更准，并决定只用 Gemini-2.5-Pro，以便基准简单、好维护。对照实验是混合评审团：Gemini-2.5-Pro、GPT-o3、Grok-4 各采样一次。只用 Gemini-2.5-Pro 时，相对趋势和名次与这个更复杂的组合一致。

表 6 是参数榜。所有指标都是每条回答三次评分的平均。对普通准确率来说，猜往往更划算；尝试后准确率则鼓励回避。GPT-o3 的原始准确率高于 GPT-5（57.0% 对 55.7%），但 GPT-5 回避更多（13.3% 对 1.9%），所以尝试后准确率更高（64.3% 对 58.2%），F1 也更高（59.7 对 57.6）。

表 6 里 Grok 4 的准确率是 58.5，表 1 的参数列是 58.6。两张表都按原文保留。

5 FACTS 搜索

这项评测模型会不会用网页搜索。近来的生成模型大多会接搜索工具，也已有专门基准。设计难点是：题目的解必须依赖搜索。一般只有当所求信息不在训练数据里、却出现在搜索结果里时才能保证这一点。不同模型的训练数据和截止日期不同，这很难对所有模型同时保证。

评测集 1,884 题，公开 890、私有 994。题目来自多种来源，尽量覆盖很可能需要搜索的查询。表 7 是例子，包括跨来源的多跳问题，例如把人物、年份和事件绑在一起再求和。

四个子集，生成策略不同。一个由人写，三个合成。

• 难尾部（Hard Tail）：人工撰写。要求信息不能靠搜索首页的一步就拿到，也不能是网上现成的一段原文。标注者还要确认当时公开的 Gemini 1.5 答不出来。
• 维基两跳（Wiki Two-Hop）：从维基百科摘要抽问答，滤到尾部实体，再把主题实体换成 Google 知识图谱里对该实体的另一种描述，使问题变成多步。例如不直接问某人的出生地，而用一段等价描述代替这个人。
• 维多文档（Wiki Multi-Doc）：先抽种子文档，再抽相似文档，只留排名既不太高也不太低的躯干文档，去掉过近或过远的。然后让 Gemini 从这些文档综合出一对问答。问题必须同时用到种子文档和至少一篇躯干文档。自动批评模型先去掉问题不自洽、或答案没有严格依据源文档的对。硬度过滤再丢掉 Gemini 用普通网页搜索就能答对的查询。
• 知识图谱多跳（KG Hops）：在 Google 知识图谱上走多跳。先收集常见路径查询，例如“演员 X 出演的电影”，再和其他函数拼接，例如和“电影的上映日期”合成“演员 X 出演的第一部电影的上映日期”。

收集完成后，三名独立标注者按三条标准复查：正确性（用 Google 搜索核对答案）、唯一性（有没有另一个不同实体也算对）、不变性（未来五年答案会不会变）。只保留三人都标为正确、唯一、不变的题。最后去掉不带搜索的 Gemini 2.5 Flash 也能答对的题，以强调必须用搜索。四个子集最终规模是：难尾部 328、维基两跳 932、维多文档 268、知识图谱多跳 356。

因为成绩很依赖具体搜索工具，比较时所有模型必须用同一个搜索引擎。榜上用 Brave Search API。所有模型拿到同一份工具说明。模型发出工具调用后，由这套统一接口返回结果。

质量用提示式自动裁判。给定问题、模型回答和标准回答，Gemini 2.0 Flash 判断正确、错误或未尝试回答。

表 8 是搜索榜。得分最高的 Gemini 3 Pro 平均搜索次数少于其他前列模型；Grok 家族搜得最多。和参数榜一致，Claude 更看重尝试之后的准确率，而不是总准确率。表 8 的模型名称与表 1 不完全同一行，数字按分项表保留。

6 FACTS 依据 v2

依据 v2 扩展 Jacovi 等人 2025 的 FACTS Grounding（下面称 v1）。v1 看回答是否与给定上下文文档、以及关于该文档的用户问题一致。v2 换了裁判模型和提示。原榜细节见那篇论文。

提示集与 v1 相同。第三方标注者设计需要处理长输入、写出长输出的提示，包括问答、摘要和文档改写。每例有一份从网上取得的文档或一组评论，配一条能用这份材料处理的、并不平凡的用户请求。文档长度最高约 32k token，领域包括金融、技术、零售、医疗和法律。标注说明刻意避开需要创作、专家级领域知识、数学或逻辑推理，以及对提示本身做元分析的请求。图 4 是领域和用户任务类型的分布。表 9 是 v1 公开集的例子，上下文从大约 0.9k 到 2.1k token。

评测步骤与 v1 相同。先让多个裁判 LLM 判断回答是否依据输入。再找出没有充分回应用户请求的“不合格”回答，把它们记为不准确。只有既依据材料、又合格的回答才算准确。v2 的主要更新是裁判 LLM 和提示。

未调整事实性分，是在不合格调整之前的初始分。裁判按指令给出二分类：回答里的所有说法都依据提示内容，或不需要依据，才标为准确；否则为不准确。表 9 说明这种判断看的是整段回答。v1 的裁判是 Gemini 1.5 Pro、GPT-4o 和 Claude 3.5 Sonnet。

新裁判在留出的人工评分集上比较，N = 320，类别比 79:19。提示有两版：v1，以及略改过的 v2。表 10 按宏平均 F1 比较。新模型配 v2 提示优于其他组合。选定的两个裁判是 gemini-2.5-flash 加 v2（宏平均 F1 65.33）和 gpt-5-2025-08-07 加 v2（65.18）。每个裁判的事实性分是它标为准确的回答百分比，未调整分是各裁判分数的平均。

只看“相对文档是否真实”的指标可以被钻空子：忽略用户意图，用更短的回答躲开该说的内容，事实性分仍然可以很高，但对用户没有帮助。表 11 的不合格例子都完全依据文档，却没有回应请求。例如要求总结第三季度收入下降的主要原因，回答只说“公司在第三季度遇到了影响收入的挑战”，没有给出文档里的具体原因。

因此再用提示式裁判判断回答是否充分回应用户请求，输出合格或不合格。不合格的回答不参与事实性评价，并在最终分数里视为不准确。判断合格性的裁判，与上面选定的两个事实性裁判相同。

7 结论

模型变强以后，已有基准会饱和，所以需要仍然难的基准。FACTS 上最好的模型平均准确率只有 69%，后面还有空间。榜上报告的是准确率这类高层指标；进一步拆开错误类型会有用。

四个子集要的能力不同。多模态要把图像理解和对图中没有的知识结合起来。参数依赖把广泛的事实写进模型参数。搜索依赖用好搜索工具。依据关注回答是否贴住给定文档，同时仍然回应请求。

FACTS 没有覆盖视频理解、变化很快的信息，以及把知识库调用当工具时的新问题。作者希望它促成针对这些方面的更多基准。

8 贡献与致谢

同等贡献作者为 Aileen Cheng、Alon Jacovi、Amir Globerson、Ben Golan、Charles Kwong、Chris Alberti、Connie Tao、Eyal Ben-David、Gaurav Singh Tomar、Lukas Haas、Yonatan Bitton。完整作者名单、单位和致谢以原文第 8 节为准。排行榜由 Kaggle 托管。

参考文献

正文引用的主要文献包括：Honovich 等 2022；Jacovi 等 2025（FACTS Grounding v1）；Tang 等 2024；Rashkin 等 2023；Kwiatkowski 等 2019；Lin 等 2022；Chen 等 2023；Wei 等 2024（闭卷事实评分方案）；Yang 等 2024；Wei 等 2025；Vu 等 2023；Mialon 等 2023；Gemini Team 2023；Achiam 等 2023；Anthropic 2024。完整题名以 arXiv 页面的参考文献为准。

出处：The FACTS Team，The FACTS Leaderboard: A Comprehensive Benchmark for Large Language Model Factuality，2025-12-11，https://arxiv.org/abs/2512.10791，CC BY 4.0。