Confident Fools：参考文献与附录

CodexQA 团队2026年11月3日阅读约 18 分钟

Confident Fools 的二十九条参考文献，以及例题、数据集生成提示、评测提示和校验分数分布。正文见主篇。

本文目录

参考文献

顺序与原文相同，一条不漏。每条先保留英文著录，再给中文题名。

[1] A. Asai, Z. Wu, Y. Wang, A. Sil, and H. Hajishirzi (2024) Self-RAG: learning to retrieve, generate, and critique through self-reflection. In International Conference on Learning Representations (ICLR). 中文题名：Self-RAG：通过自我反思学习检索、生成与批评。被第 1、2 节引用。
[2] G. Biancini, A. Ferrato, and C. Limongelli (2024) Multiple-choice question generation using large language models: methodology and educator insights. In Adjunct Proceedings of the 32nd ACM Conference on User Modeling, Adaptation and Personalization (UMAP), pp. 584–590. 中文题名：用大语言模型生成选择题：方法与教育者的观察。被第 2、3.2 节引用。
[3] J. H. Flavell (1979) Metacognition and cognitive monitoring: a new area of cognitive–developmental inquiry. American Psychologist 34 (10), pp. 906–911. 中文题名：元认知与认知监测：认知发展研究的一个新领域。被第 1 节引用。
[4] S. M. Fleming and H. C. Lau (2014) How to measure metacognition. Frontiers in Human Neuroscience 8, pp. 443. 中文题名：如何测量元认知。被第 2 节引用。
[5] L. Huang, W. Yu, W. Ma, W. Zhong, Z. Feng, H. Wang, Q. Chen, W. Peng, X. Feng, B. Qin, et al. (2025) A survey on hallucination in large language models: principles, taxonomy, challenges, and open questions. ACM Transactions on Information Systems 43 (2), pp. 1–55. 中文题名：大语言模型幻觉综述：原理、分类、挑战与开放问题。被第 1 节引用。
[6] Y. Huang, J. Shi, Y. Li, C. Fan, S. Wu, Q. Zhang, Y. Liu, P. Zhou, Y. Wan, N. Z. Gong, and L. Sun (2024) MetaTool benchmark for large language models: deciding whether to use tools and which to use. In International Conference on Learning Representations (ICLR). 中文题名：面向大语言模型的 MetaTool 基准：决定是否使用工具以及使用哪一个。被第 2 节引用。
[7] S. Jeong, J. Baek, S. Cho, S. J. Hwang, and J. C. Park (2024) Adaptive-RAG: learning to adapt retrieval-augmented large language models through question complexity. In Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL). 中文题名：Adaptive-RAG：通过问题复杂度学习如何调节检索增强的大语言模型。被第 2 节引用。
[8] Z. Ji, N. Lee, R. Frieske, T. Yu, D. Su, Y. Xu, E. Ishii, Y. J. Bang, A. Madotto, and P. Fung (2023) Survey of hallucination in natural language generation. ACM Computing Surveys 55 (12), pp. 1–38. 中文题名：自然语言生成中的幻觉综述。被第 1 节引用。
[9] B. Johnson (2022) Metacognition for artificial intelligence system safety – an approach to safe and desired behavior. Safety Science 151, pp. 105743. 中文题名：面向人工智能系统安全的元认知：一种通向安全且合乎期望之行为的途径。被第 2 节引用。
[10] S. Kadavath, T. Conerly, A. Askell, T. Henighan, D. Drain, E. Perez, N. Schiefer, Z. Hatfield-Dodds, N. DasSarma, E. Tran-Johnson, et al. (2022) Language models (mostly) know what they know. arXiv preprint arXiv:2207.05221. 中文题名：语言模型（大体上）知道自己知道什么。被第 1、2 节引用。
[11] S. Kapoor, N. Gruver, M. Roberts, K. Collins, A. Pal, U. Bhatt, A. Weller, S. Dooley, M. Goldblum, and A. G. Wilson (2024) Large language models must be taught to know what they don’t know. In Advances in Neural Information Processing Systems (NeurIPS), Vol. 37. 中文题名：必须教大语言模型知道自己不知道什么。被第 1、2 节引用。
[12] J. Kasai, K. Sakaguchi, R. Le Bras, A. Asai, X. Yu, D. Radev, N. A. Smith, Y. Choi, and K. Inui (2023) RealTime QA: what’s the answer right now?. In Advances in Neural Information Processing Systems (NeurIPS), Datasets and Benchmarks, Vol. 36. 中文题名：RealTime QA：此刻的答案是什么？被第 2 节引用。
[13] J. Kruger and D. Dunning (1999) Unskilled and unaware of it: how difficulties in recognizing one’s own incompetence lead to inflated self-assessments. Journal of Personality and Social Psychology 77 (6), pp. 1121–1134. 中文题名：无能而不自知：难以认出自己的无能如何导致自我评估膨胀。被第 1 节引用。
[14] W. Li, D. Li, K. Dong, C. Zhang, H. Zhang, W. Liu, Y. Wang, R. Tang, and Y. Liu (2025) Adaptive tool use in large language models with meta-cognition trigger. arXiv preprint arXiv:2502.12961. 中文题名：带元认知触发器的大语言模型自适应工具使用。被第 1、2 节引用。
[15] S. Lin, J. Hilton, and O. Evans (2022) TruthfulQA: measuring how models mimic human falsehoods. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3214–3252. 中文题名：TruthfulQA：度量模型如何模仿人类的虚假说法。被第 2 节引用。
[16] Z. Ma, Q. Yuan, Z. Wang, and D. Zhou (2025) Large language models have intrinsic meta-cognition, but need a good lens. arXiv preprint arXiv:2506.08410. 中文题名：大语言模型具有内在元认知，但需要一只好的透镜。被第 2 节引用。
[17] S. Maity, A. Deroy, and S. Sarkar (2024) A novel multi-stage prompting approach for language agnostic MCQ generation using GPT. In European Conference on Information Retrieval (ECIR), pp. 268–277. 中文题名：一种用 GPT 生成与语言无关之选择题的新型多阶段提示方法。被第 2、3.2 节引用。
[18] A. Mallen, A. Asai, V. Zhong, R. Das, D. Khashabi, and H. Hajishirzi (2023) When not to trust language models: investigating effectiveness of parametric and non-parametric memories. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 9802–9822. 中文题名：何时不要信任语言模型：考察参数记忆与非参数记忆的有效性。被第 1、2 节引用。
[19] B. Maniscalco and H. Lau (2014) Signal detection theory analysis of type 1 and type 2 data: meta-d′, response-specific meta-d′, and the unequal variance SDT model. In The Cognitive Neuroscience of Metacognition, pp. 25–66. 中文题名：对第一类与第二类数据的信号检测理论分析：meta-d′、依反应而异的 meta-d′，以及不等方差 SDT 模型。被第 2 节引用。
[20] S. S. Mucciaccia, T. M. Paixão, F. W. Mutz, C. S. Badue, A. F. de Souza, and T. Oliveira-Santos (2025) Automatic multiple-choice question generation and evaluation systems based on LLM: a study case with university resolutions. In Proceedings of the 31st International Conference on Computational Linguistics (COLING), pp. 2246–2260. 中文题名：基于大语言模型的选择题自动生成与评估系统：以大学决议为案例。被第 2、3.3 节引用。
[21] C. Qian, E. C. Acikgoz et al. (2025) SMART: self-aware agent for tool overuse mitigation. In Findings of the Association for Computational Linguistics: ACL 2025. 中文题名：SMART：用于减轻工具过度使用的自我觉察智能体。被第 1、2 节引用。
[22] R. Rodriguez-Torrealba, E. Garcia-Lopez, and A. Garcia-Cabot (2025) Joint generation of distractors for multiple-choice questions: a text-to-text approach. Computers, Materials & Continua 83 (2). 中文题名：选择题干扰项的联合生成：一种文本对文本的方法。被第 2、3.2 节引用。
[23] T. Vu, M. Iyyer, X. Wang, N. Constant, J. Wei, J. Wei, C. Tar, Y. Sung, D. Zhou, Q. Le, and T. Luong (2024) FreshLLMs: refreshing large language models with search engine augmentation. In Findings of the Association for Computational Linguistics: ACL 2024, pp. 13697–13720. 中文题名：FreshLLMs：用搜索引擎增强来刷新大语言模型。被第 1、2 节引用。
[24] B. Wen, J. Yao, S. Feng, C. Xu, Y. Tsvetkov, B. Howe, and L. L. Wang (2025) Know your limits: a survey of abstention in large language models. Transactions of the Association for Computational Linguistics 13, pp. 529–556. 中文题名：知道自己的限度：大语言模型弃答综述。被第 1、2 节引用。
[25] Z. Xi, W. Chen, X. Guo, W. He, Y. Ding, B. Hong, M. Zhang, J. Wang, S. Jin, E. Zhou, et al. (2025) The rise and potential of large language model based agents: a survey. Science China Information Sciences 68 (2), pp. 121101. 中文题名：基于大语言模型的智能体的兴起与潜力：综述。被第 1 节引用。
[26] S. Yao, J. Zhao, D. Yu, N. Du, I. Shafran, K. R. Narasimhan, and Y. Cao (2023) ReAct: synergizing reasoning and acting in language models. In International Conference on Learning Representations (ICLR). 中文题名：ReAct：让语言模型里的推理与行动协同。被第 1 节引用。
[27] Z. Yin, Q. Sun, Q. Guo, J. Wu, X. Qiu, and X. Huang (2023) Do large language models know what they don’t know?. In Findings of the Association for Computational Linguistics: ACL 2023, pp. 8653–8665. 中文题名：大语言模型知道自己不知道什么吗？被第 1、2 节引用。
[28] Z. Zhang, Z. Jiang, L. Xu, H. Hao, and R. Wang (2024) Multiple-choice questions are efficient and robust LLM evaluators. arXiv preprint arXiv:2405.11966. 中文题名：选择题是高效且稳健的大语言模型评测器。被第 2 节引用。
[29] C. Zheng, H. Zhou, F. Meng, J. Zhou, and M. Huang (2024) Large language models are not robust multiple choice selectors. In International Conference on Learning Representations (ICLR). 中文题名：大语言模型并不是稳健的选择题作答者。被第 2 节引用。

译注：以上二十九条与原文参考文献一一对应，作者、年份、会议或期刊、页码和 arXiv 编号均未改写。Self-RAG、TruthfulQA、RealTime QA、FreshLLMs、Adaptive-RAG、MetaTool、ReAct、SMART 以及 meta-d′ 这些专名保留英文。引用位置按原文的 Cited by 译出：第 1 节是引言，第 2 节是相关工作，第 3.2 节是选择题构造，第 3.3 节是校验。Kadavath 等人讨论的是模型是否知道自己知道什么，Kapoor 等人认为这种能力必须被教出来，Yin 等人用 SelfAware 比较可回答与不可回答的问题，Wen 等人综述弃答，Mallen 等人比较参数记忆与非参数记忆，Vu 等人用搜索刷新模型，Qian 等人把工具过度使用看成缺乏自我觉察。这些工作都出现在正文里，这里不另增文献。著录里的页码、卷号、会议简称 ICLR、ACL、NAACL、NeurIPS、COLING、ECIR、UMAP 以及预印本编号都按原文保留。Flavell 讨论元认知监测，Fleming 与 Lau 讨论如何测量元认知，Kruger 与 Dunning 讨论无能而不自知，Johnson 把元认知用于人工智能安全，Maniscalco 与 Lau 给出信号检测分析。页码、卷期和会议名称都不省略，便于回查原文。全部二十九条都在。顺序与原文相同，一条不漏。

附录 A 例题

每道题还存储额外元数据（来源文章、事实陈述、改写、校验分数）；我们展示主要字段。完整记录在仓库里。

A.1 ik 题示例

question: What is the primary international agreement that regulates
          the trade of conventional arms to ensure it does not
          contribute to human rights violations and armed conflict?
choices : 1 The Landmines Convention (Ottawa Treaty)
          2 The Comprehensive Nuclear-Test-Ban Treaty (CTBT)
          3 The Non-Proliferation Treaty (NPT)
          4 The Arms Trade Treaty (ATT)          <- correct
reason  : The Arms Trade Treaty aims to establish common standards for
          the international trade of conventional weapons and to
          prevent their diversion to the illicit market or use in
          human rights abuses.
domain  : entertainment   (source article: US politics live blog;
                           the theme, not the article, drives the question)

中文对照。问题：规范常规武器贸易、以确保其不助长人权侵犯和武装冲突的首要国际协定是什么？选项：1 地雷公约（渥太华条约，The Landmines Convention，Ottawa Treaty）；2 全面禁止核试验条约（CTBT）；3 不扩散核武器条约（NPT）；4 武器贸易条约（ATT），此项为正确。理由：武器贸易条约旨在为常规武器的国际贸易建立共同标准，并防止武器流入非法市场或被用于侵犯人权。领域标成 entertainment（娱乐）。来源文章是美国政治直播博客；驱动这道题的是主题，不是文章本身。

这道题说明领域漂移：问题是一般性的，与其来源文章的领域标签无关。

A.2 ok 题示例

question: What date did the stock price of Monster Beverage
          Corporation reach its highest point in the past year?
choices : 1 July 30, 2025   2 March 22, 2025
          3 January 15, 2025   4 November 18, 2025   <- correct
factoid : On November 18, 2025, Monster Beverage Corporation’s stock
          price reached a new 52-week high.
domain  : business     relevance: 10     correctness: [0,0,0,10]

中文对照。问题：Monster Beverage Corporation（怪物饮料公司）的股价在过去一年的哪一天达到最高点？选项：1 2025 年 7 月 30 日；2 2025 年 3 月 22 日；3 2025 年 1 月 15 日；4 2025 年 11 月 18 日，此项为正确。事实陈述：2025 年 11 月 18 日，该公司股价创下新的 52 周高点。领域为 business（商业），相关性 10，正确性分数为 [0, 0, 0, 10]。

question: What precious metal saw a price decrease of Rs 3,900,
          reaching Rs 1,25,800 for every 10 grams in the National
          Capital on November 18, 2025?
choices : 1 Platinum   2 Gold   3 Silver   4 Palladium
correct : 2 (Gold)     domain: technology

中文对照。问题：2025 年 11 月 18 日，哪一种贵金属在首都下跌了 3,900 卢比，达到每 10 克 125,800 卢比？选项：1 铂 Platinum；2 金 Gold；3 银 Silver；4 钯 Palladium。正确选项是 2（金）。领域被标成 technology（技术）。

两道题都涉及来源文章中的事实，但题干带有线索（干扰项里最近的那个日期；一个典型属于黄金的价位），使知情猜测成为可能，这就是第 7 节讨论的题目效度问题。第二道题虽然标成「技术」，讲的却是大宗商品价格。

附录 B 数据集生成提示

经过试错发现：对结构化生成任务，少样本例子会明显限制问题风格和话题的多样性，并且使模型偏向更冗长的输出，而这些输出后来通不过格式校验。因此，除主题抽取之外，最终提交数据集的生成提示都没有使用少样本例子。

B.1 事实陈述生成提示

实验送给模型的是英文。下面先给中文译文，占位符保持原样。

你是一个不会犯错的助手。给定下面的新闻摘录和出版物，从这篇文章中抽取一条事实。这条事实陈述应当包含完全正确、没有任何错误的信息。含义应当清楚、无歧义，并且不需要任何额外上下文。事实陈述应当包含足够信息，使非专业读者也能理解。对任何可能不为人知的实体的指称，都必须简要解释。如果陈述对时间敏感，就加入理解它所需要的日、月或年。任何对时间敏感的说法（例如「上星期二」或「从现在起五年」）都必须给出恰当而准确的时间参照。

新闻摘录：{title + description + content of news article}

译注：花括号里是文章标题、描述和正文。原文英文要求 one fact、exactly correct、no addition context（原文拼写如此，少了 al）、non-specialist reader。

B.2 问题生成流水线提示

#### B.2.1 改写提示

改写给定的上下文：{{ {factoid} }}

译注：factoid 即上一阶段抽出的那一句事实陈述。原文只有这一句英文：Paraphrase the given context.

#### B.2.2 关键词抽取提示（用于 OK）

从改写后的上下文 {{ {paraphrase1} }} 中抽取一个包含重要事实信息的关键词。挑选表示具体信息的关键词，而不是通用术语。

译注：OK 即外部知识题。关键词后来成为正确答案。paraphrase1 是改写结果。

#### B.2.3 主题抽取提示（用于 IK）

判断改写后上下文 {{ {paraphrase1} }} 的主题。输出一到两个词，作为所给文本的高层主题。例如：‘baseball’（棒球）或 ‘business merger’（企业并购）。

译注：这是唯一允许少样本的一步，例子就是棒球和企业并购这两个英文词。IK 生成器之后只看主题，不看事实陈述。

#### B.2.4 问题生成提示（用于 OK）

根据改写后的上下文 {paraphrase1} 和正确答案 {keyword} 生成一个问题。回答里只包含问题，不要包含其他内容。

译注：keyword 是上一阶段抽出的、作为正确答案的那个片段。

#### B.2.5 问题生成提示（IK）

根据主题 {keyword} 生成一道测验题和一个简短、正确的答案。第一行只写问题，不要其他内容；下一行只写答案，不要其他内容。不要冒号，不要项目符号，不要句号。问题中不得使用对时间敏感的信息。再下一行简要解释答案的理由。

译注：这里的 keyword 实际是主题词，不是 ok 题里的答案片段。三行依次是问题、答案、理由。

#### B.2.6 干扰项生成提示

为问题 {{ {question} }} 和正确答案 {{ {keyword (for OK)} / {correct_answer (for IK)} }} 创作三个说得通的干扰项。
每个干扰项单独一行。不要编号，不要项目符号，不要句号。给定上下文 {{ {paraphrase1} }}，这些干扰项应当明确为假。三个干扰项应当彼此不同，也与正确答案不同 { 并且所有选项的长度应当相近（用于 IK） }。

译注：花括号里的长度要求只对 IK 生效。OK 的干扰项必须在改写后的事实陈述下明确为假。

B.3 校验提示

#### B.3.1 格式修订提示

你是一个从不犯错的专业助手。你的工作是修订测验题，使它们的格式正确并且一致。你将只修订：
1. 问题文本
2. 正确的答案选项

你会得到：
- 问题
- 正确的答案选项
- 其他正确选项（原文如此；用意是让正确答案和干扰项在大小写、标点和其他格式怪癖上保持一致）

不要修改其他选项。
不要修改含义。
去掉多余的前缀（例如 "Question:"、"Answer:"、"Correct:" 等）。
保证大小写和标点一致。
去掉答案选项末尾的句号。
不要添加新内容。
不要改写不正确的选项。
不要改变正确选项的编号。

只返回下面这个 JSON 对象：

{{
"question": "...",
"correct_answer": "..."
}}

输入如下：

Question: {question}

Choices:
1. {c1}
2. {c2}
3. {c3}
4. {c4}

正确选项编号：{correct_index}
正确答案文本：{correct_answer}

译注：原文把干扰项误写成 “the other correct choices”。JSON 键 question 与 correct_answer 保持英文，因为程序要解析它们。

#### B.3.2 格式校验提示

你是一个从不犯错的专业助手。你的工作是评估一道测验题的格式是否正确并且一致。

格式正确的问题包含一个题干和 4 个答案选项。
格式一致的问题，其答案选项具有相同风格的大小写、标点等，从而没有任何一个选项仅仅因为文体特征就显得突出。

给定一道题，判断格式是否既正确又一致。

只返回 "Yes" 或 "No"。

输入如下：

Question: {question}

Choices:
1. {c1}
2. {c2}
3. {c3}
4. {c4}

正确选项编号：{correct_index}
正确答案文本：{correct_answer}

译注：Yes 表示通过，No 表示不通过。占位符 c1 到 c4 是四个选项。

#### B.3.3 语法校验提示

考虑下面的问题和答案选项：

Question: {question}

Choices:
1. {c1}
2. {c2}
3. {c3}
4. {c4}

问题里有没有任何语法错误？只回答 ‘Yes’ 或 ‘No’。

译注：这里的 Yes 表示有语法错误，与上一节「Yes 表示格式合格」的方向相反。原文只问问题本身，不问选项。

#### B.3.4 相关性校验提示（仅用于 OK）

考虑下面这篇文章，以及基于这篇文章的问题：

{factoid}

Question: {question}

请给这个问题相对于文本的相关性打分，分数从 0 到 10。
如果一个问题涉及文本所讨论的核心主题和概念，接触文本呈现的重要思想和内容，并且不把重点放在记忆过于具体的细节（例如精确措辞）上，就认为它是相关的。

只回答与分数对应的数字。

译注：保留阈值是大于或等于 8/10。这一步几乎饱和，200 道 ok 题里 190 道得了 10 分。

#### B.3.5 答案评分提示（对每个可能的答案选项调用一次）

你是一个从不犯错的专业助手。你会得到一个问题和一个候选答案。你的工作是相对于问题以及输入中给出的任何其他信息，给这个答案有多正确打分。

Question: {question}

答案选项：{answer}

{factoid_section}

按 0 到 10 的量表，给这个答案对这个问题的正确程度打分。
- 0 = 完全不正确
- 10 = 完全正确

只返回一个 0 到 10 的数字。

译注：每个选项单独打分。题目只在标准答案是最高分、并且比第二名至少高 2 分时保留。factoid_section 是可选的事实陈述段落。

附录 C 评测提示

C.1 作答提示

这些是评测支架构造的提示。如第 5 节所述，GPT-5 mini 在两种条件下都没有收到系统提示（只有用户提示和一句 JSON 格式说明）；Grok 4 Fast 开启搜索的系统提示后面附加了一句无关的话：“extract the invoice data into JSON”（把发票数据抽成 JSON）。

所有条件下的系统提示：

根据你的知识回答下面这道选择题。
给出答案选项（1、2、3、4 或 5），并给出你选择的一个非常短的理由。

英文原文是：Answer following multiple choice question based on your knowledge. Provide the answer choice (1, 2, 3, 4 or 5) along with a very short reason for your choice.

追加到开启搜索条件之系统提示的句子：

只有当用户询问当前的、实时的信息，或你不知道的冷僻事实时，才使用网页搜索工具。

英文原文是：Only use the web search tool if the user asks for current, real-time information or for obscure facts you do not know.

用户提示：

Question: {question}
Options:
1: {choice-1}
2: {choice-2}
3: {choice-3}
4: {choice-4}
5: Not enough information to answer

中文对照：问题是 {question}。选项 1 到 4 是四个候选。选项 5 是「信息不足以作答」。

输出模式：JSON，含整数字段 choice，取值 1–5，以及字符串字段 reason。

C.2 推理对齐评判器提示

你是推理对齐的专家评估者。
你的任务是评估模型生成的理由与真值理由有多接近。

你必须评估语义等价，而不是表面相似。

=====================
评估规程（SAE）

1. 规范化 NORMALIZATION
把两个理由都拆成基本命题或意义单元。

2. 对齐 ALIGNMENT
对每个真值命题：
- 判断模型理由是否表达了同一个想法。
- 标成："Fully Matched"（完全匹配）、"Partially Matched"（部分匹配）或 "Not Matched"（不匹配）。

3. 评分 SCORING
计算 0 到 100 的语义对齐分数：
- 100 = 含义完全等价
- 70-99 = 含义大体相同，只有轻微遗漏
- 40-69 = 部分重叠，有若干缺失或不正确的成分
- 1-39 = 大体不同
- 0 = 完全无关

4. 错误分析 ERROR ANALYSIS
列出：
- 缺失的关键想法
- 不正确的添加
- 歪曲或误解

=====================
真值理由 GROUND TRUTH REASON：
{grd_reason}

模型生成的理由 MODEL-GENERATED REASON：
{gen_reason}
=====================
只输出 JSON：
{
"score": <0-100> （整数。不要把分数说成词语。例如 fifty 要写成 50）,
"alignment": 0 或 1（若 score >= 70 则为 1，表示对齐，否则为 0）,
"summary": "<评估者的简短摘要>"
}

译注：70 分是正文里的对齐阈值。评判器是 gpt-oss-120b，不在五个被评测模型之中，也没有对照人类标签验证。JSON 键 score、alignment、summary 保持英文。