SimpleQA Verified：闭卷事实题洗干净之后，最好的模型也只到 55.6

SimpleQA Verified：把闭卷事实题洗干净，再量模型记得住多少

Lukas Haas、Gal Yona、Giovanni D’Antonio、Sasha Goldshtein、Dipanjan Das。Google DeepMind。许可证：CC BY 4.0。arXiv:2509.07968，2025 年 9 月 9 日。

SimpleQA Verified 从原来的 SimpleQA 里筛改出 1,000 道提示，用来更可靠地测量模型的参数事实性（parametric factuality，不借助搜索等工具、只靠训练进参数里的知识回答短事实题）。清洗去掉重复来源、语义和词面都过近的题、出版方不允许用于后续模型训练的页面、答案类型和主题的偏斜，以及来源互相打架的标签。自动裁判（autorater，用另一个模型按规则打分的程序）也改了提示。在这套更干净的题上，Gemini 2.5 Pro 的 F1 为 55.6，仍排在所测模型前面。评测规定不用任何工具，包括搜索。

1 引言

大语言模型（LLM，按提示生成文字的模型）能不能生成事实准确的信息，关系它好不好用，也是推广时的主要顾虑。不准确或“幻觉”输出会侵蚀信任，在要求事实可靠的企业场景里尤其是障碍。

已有评测很多看的是模型能不能依据外部给的信息推理。依据评测看回答是否贴住给定上下文。检索评测看能不能用检索到的材料作答。另一类是闭卷的短事实问答：答案应来自模型自己的参数。

这类问答基准从 TriviaQA、Natural Questions、TruthfulQA 发展过来。它们当年有用，但现代模型已经把分数打满，区分度不够。OpenAI 的 SimpleQA（Wei 等，2024）因此做成更难的闭卷事实基准。

SimpleQA 仍然有明显限制。题来自很窄的一批源文档，因为人工出题的人有偏向。标准答案有错。主题分布也不匀。另外有大量非常相似的题，效用被削弱。

SimpleQA Verified 针对这些缺点，从原数据集滤出并改写 1,000 条提示。步骤包括去掉重复来源、用语义嵌入和 TF-IDF 去重、尊重网站发布者的抓取选择、平衡答案类型和主题、核对冲突来源，并改写数值题的可接受范围。表 1 是清洗后的例子：问阿尔及利亚艺术家 Mohammed Racim 的出生年月日；问 Matija Radović 在 2017–18 赛季为 Hofstra Pride 出场多少场；利隆圭的经度写成小数，标准答案 33.7738，可接受范围 33.7586 到 33.8022；也有学校、人物和年龄差这类短答案。

作者还改进了自动裁判的提示。所测前沿模型里，Gemini 2.5 Pro 领先。

2 SimpleQA Verified

这套数据是为了改正原 SimpleQA 的问题。那些问题很可能来自出题人的激励没有对齐，以及后面缺少过滤和校验。表 2 是每一步之后的规模、累计删掉的比例，以及当时 Gemini 2.5 Pro 的 F1。原集 4,326 题，F1 55.1%。最终 1,000 题，累计去掉 76.9%，F1 55.6%。中间几步 F1 会升到 58.4%，最后为了留下难度，又压回 55.6%。

2.1 保证来源文档唯一

原 SimpleQA 是因为 TriviaQA、Natural Questions 这类短答案事实基准被打满，才做成更难的基准，所以题大多问冷门事实，常常多道题指向同一个参考 URL。为了给后来的模型留出可爬的空间，同一参考 URL 的一组题里，随机留下一道 GPT-4o、Gemini 2.0 Flash 和 Claude 3.7 Sonnet 全都答错的题。如果没有这样的题，就从这组里随机留一道。

2.2 去掉高度相似的题

原集里有很多极像的题，常常像出自同一个出题人。OpenAI 发布时没有出题人编号。表 3 举了这类例子：问哥伦比亚不同市镇的建立年份，或问印度不同地区的车辆登记代码，或问《南方公园》某一集出现在第几季。原集有 119 道题（占数据集 2.7%）属于这种挤在一起的问法。

语义去重用 Gemini Embeddings 给所有提示算向量。余弦相似度阈值为 0.77，高于它的题视为不合理地相似，可以合并。留下哪一道，仍用第 2.1 节的难度过滤，避免留下已经被领先模型答对的容易题。

接着用 TF-IDF 矩阵找用词几乎一样的题。向量余弦相似度高于 0.4 的全部人工复查，只留下对领先模型仍然难的题。

2.3 尊重网站发布者的选择

网站可以用 robots.txt 管理访问。例如 Google-Extended 是一个独立的产品标记，发布者用它声明：Google 从该站抓到的内容，可否用于训练未来一代 Gemini。原 SimpleQA 的一些参考 URL 属于启用了这类控制的发布者。这些题往往很冷门，能答上的网站很少。因此决定把对应题目从数据集里去掉，而不是换一个仍可用的来源硬留。

2.4 平衡答案类型和主题

原论文里，某些主题和答案类型过多，分布会把基准结果带偏。例如 32.8% 的题要一个日期，24.1% 要一个人名（图 1）。稳妥的事实性基准不应被一两种答案格式主导。图 1 比较了 Verified 和原集的答案类型占比，分类沿用 Wei 等人。图 2 比较问题主题。

Verified 对剩下的样本再抽样：首先平衡答案类型，其次平衡主题。在同一答案类型或主题里决定删谁时，仍用前面的对抗方法留下更难的题。

2.5 核对互相冲突的来源

用一组带搜索的模型，加上原基准给出的参考 URL，检查可能冲突的来源。数值答案（answer_type=Number）和非数值分开处理。

非数值：明显有歧义，或来源指向不止一个不同答案的题删掉。能改的地方，同时改正答案和参考 URL。数据集从 1,218 降到 1,117，减少 8.3%。

数值：用带代码执行的提示式裁判，判断所有来源（带搜索的 LLM 和参考 URL）给出的答案，是否都落在相对 SimpleQA 标准答案 5% 的误差内。超出 5% 的题删掉。这一步之后剩 1,073 题。

2.6 把难度空间留回来

清掉错标、有歧义和来源无法调和的题之后，基准会变容易。为了让模型开发者仍有和原来相近的爬升空间，从剩余样本里滤出最难的 1,000 题，作为 SimpleQA Verified。

2.7 人工复查和补元数据

选定 1,000 题之后做四类检查：

1. 清理 URL。原基准里有的参考链接无效，或无关，例如指向一件 NFT。能改则改，不能改则去掉该链接。
2. 看来源质量。统计参考 URL 里最常见的域名。结果以常见百科为主，说明 Verified 靠的是可信且多样的来源，而不是少数被过度代表的域名。
3. 日期精度。有的日期题只问年月，或问到日，但标准答案过细或过粗。对照来源改正这些标签。
4. 补元数据。用提示式分类器标出可能需要推理的题（例如算两个日期的差），以及多步题（要按顺序查几段信息）。3.7% 被标为需要推理，7.3% 是多步。这些标记写进数据集。

3 指标和自动裁判的改进

评分方案和指标与 Wei 等人 2024 相同。每条回答自动分成正确、错误或未尝试。最终指标是调和平均，也就是把“答对的比例”和“在尝试了的回答里答对的比例”合成 F1。

3.1 方法

题本身很聚焦，但现在的系统常常写出更长的回答，里面有答题所不需要的信息。原有提示式裁判在一些反复出现的模式上分歧大。表 4 列出这些模式。上半部分是答对了核心、却多写了容易被判错的内容。例如问 1949 年 2 月 16 日到 5 月 27 日阿萨姆总督是谁，回答写出 Sri Prakasa，并补充任期直到 1950 年 5 月 27 日。问 Annie Jump Cannon 在 1913 年每小时能分类多少颗星，标准答案 200，回答写成每分钟 3 颗、即每小时 180。下半部分是回避：说在主要数据库里找不到 1988 年出生的哥伦比亚球员 Juan Guzmán。这些例子说明，只看整段文字是否逐字贴住标准答案，会把实质答对或明确放弃的情况判乱。

3.2 自动裁判的改动

据此改了自动评分。

数值题不再使用笼统指令“预测答案必须正确到标准答案的最后一位有效数字”。改为在标准答案上写明可接受范围，范围内都算对。范围按题确定，分类见表 6。表 5 是改写之后由“不正确”变成“正确”的例子：2019 年联合国志愿者人数，标准 8,282，可接受 8,199 到 8,365，模型答 8,333；爱丁堡城堡 2018 年游客，标准 2,111,578，可接受约 2,006,000 到 2,217,157，模型答 2,111,532；印度首席大法官任期 1 年 161 天，可接受 160 到 162 天，模型答 162 天；1989 年开普敦自行车赛 105 公里，可接受 103 到 107，模型答因酷热缩短为 103 公里。

表 6 把数值题分成四类。计数基于需要数值判断的观察，不是全部 1,000 题。

另外两处提示修改：

• 直接回答和回避。评分时只看直接回答问题的那一部分，多余信息忽略。如果回避式回答列出多个候选，必须最终认定其中一个更可能，并按那个答案评分。
• 少样本例子里增加更多“放弃作答”的写法，使这类预测稳定地被判成未尝试。

完整提示在附录 A。相对 Wei 等人的原提示，词数增加 15%，从 963 到 1,124。

4 结果

表 7 是一批可商用的前沿模型。Gemini 家族包括 2.5 Flash Lite、Flash 和 Pro。指标与 Wei 等人相同。自动裁判是 gpt-4.1-2025-04-14。Δ SimpleQA 是 Verified 的 F1 减去原 SimpleQA 的 F1，两边用同一个裁判。星号表示 p < 0.05。除“百分点”外，表内数字都是百分比。

Gemini 2.5 Pro 的 F1 55.6，准确率 55.3，几乎总是尝试（回避只有 1.1%）。Claude Opus 4 和 Sonnet 4 的尝试率只有 35.5% 和 33.9%，回避超过 64%，所以总准确率远低于尝试后准确率。相对原 SimpleQA，GPT 4o、Claude Opus 4、Claude Sonnet 4 的 F1 显著下降，o4-mini 显著上升。

5 结论

SimpleQA Verified 是严格筛选的 1,000 条提示，用来处理前身的出题人偏向、主题偏向、错误标签和题目重复。多阶段清洗加上更稳的自动裁判，使它更适合测量参数事实性。在这套更难、也更可靠的题上，Gemini 2.5 Pro 取得所测模型中的最好成绩，说明基准仍能分开前沿模型。作者发布数据集、评测代码和公开排行榜，用来跟踪事实性上的真实进展。

6 致谢

致谢细节以原文为准。工作来自 Google DeepMind。

参考文献

• Wei 等，2024。SimpleQA。原基准、评分方案和答案类型、主题分类的来源。
• Joshi 等，2017。TriviaQA。
• Kwiatkowski 等，2019。Natural Questions。
• Lin 等，2022。TruthfulQA。
• Jacovi 等，2025；Rashkin 等，2022。依据给定上下文的事实性。
• Lee 等，2025。Gemini Embeddings。
• Jones，1972。TF-IDF。
• Yang 等，2018；Geva 等，2021。多步问题。
• Gemini Team, Google，2025。Gemini 2.5。
• OpenAI，2024。GPT-4o。Pichai 等，2024。Gemini 2.0 Flash。Anthropic，2025。Claude 3.7 Sonnet。这三家用于来源去重时的难度过滤。

附录 A 评分提示

附录给出 SimpleQA Verified 的完整评分提示。和 Wei 等人的原提示相比，用词从 963 增到 1,124。差别就是第 3.2 节的三项：数值题改为按题给出可接受范围，只对直接作答的部分评分并收紧多候选回避，以及在少样本里加入更多放弃作答的例子。提示全文以原文附录为准，这里不另抄一版指令。

出处：Lukas Haas，Gal Yona，Giovanni D’Antonio，Sasha Goldshtein，Dipanjan Das，SimpleQA Verified: A Reliable Factuality Benchmark to Measure Parametric Knowledge，2025-09-09，https://arxiv.org/abs/2509.07968，CC BY 4.0。