CodexQA

Industry & PracticeResearch & Benchmarks

BlindToChange:参考文献与附录

CodexQA 团队43 min read

BlindToChange 全文的参考文献与附录:构造流水线、评判器混淆矩阵、知识截止日期、按搜索次数的其余模型,以及逝世和任期上八个有代表性的失败案例。

In this piece

BlindToChange:参考文献与附录

本文是《BlindToChange:人工智能智能体被问到变化时找得到,但需要时会去看吗?》的参考文献与附录。原文 https://arxiv.org/abs/2610.41435 ,许可证 CC BY 4.0。作者 Anirudh Phukan、Tanya Goyal、Danish Pruthi。

参考文献

  1. Anthropic (2026a). System Card: Claude Opus 4.7. Technical report, Anthropic, April 2026a. https://www.anthropic.com/claude-opus-4-7-system-card 访问日期 2026-09-10。中文题名:Claude Opus 4.7 系统卡。这是 Anthropic 对该模型的技术系统说明,文中用来引用 Claude-Opus-4.7 及其在其他智能体基准上的表现。下列文献按原文著录保留作者、年份、出处与 URL,并在每条后用中文写出题名与要点,以便对照。共 63 条,与原文条数一致。
  1. Anthropic (2026b). Anthropic transparency hub. https://www.anthropic.com/transparency 访问日期 2026-09-10。中文题名:Anthropic 透明度中心。文中用作 Claude-Opus-4.7 知识截止日期为 2026 年 1 月的来源。
  1. Asai et al. (2024). Akari Asai, Zeqiu Wu, Yizhong Wang, Avirup Sil, and Hannaneh Hajishirzi. Self-rag: Learning to retrieve, generate, and critique through self-reflection. ICLR 2024. https://openreview.net/forum?id=hSyW5go0v8 中文题名:Self-RAG:通过自我反思学习检索、生成与批评。模型用学到的反思记号决定何时检索、检索证据是否支持已写内容。
  1. Bai et al. (2026). Lubin Bai 等. Mapsatisfybench: Benchmarking satisfaction-aware map agents through behavior-grounded implicit decision factors. arXiv:2606.17453. 中文题名:MapSatisfyBench:用行为所依据的隐式决策因素评测在意满意度的地图智能体。它从行为日志恢复用户没说出口的决策因素。
  1. Chao et al. (2026). Hanxiang Chao 等. Stale: Can llm agents know when their memories are no longer valid? arXiv:2605.06527. 中文题名:STALE:大语言模型智能体能否知道自己的记忆何时不再有效。后文事件会隐含地使早先信念失效,系统却仍按旧信念行动。
  1. Chapekis & Lieb (2025). Athena Chapekis and Anna Lieb. Google users are less likely to click on links when an AI summary appears in the results. Pew Research Center, July 2025. https://www.pewresearch.org/short-reads/2025/07/22/google-users-are-less-likely-to-click-on-links-when-an-ai-summary-appears-in-the-results/ 中文题名:当结果中出现人工智能摘要时,谷歌用户更少点击链接。文中用来说明用户常常不核对所引用来源。
  1. Chatterji et al. (2025). Aaron Chatterji 等. How people use chatgpt. NBER Working Paper 34255, September 2025. http://www.nber.org/papers/w34255 中文题名:人们如何使用 ChatGPT。文中用来说明智能体被用于寻求信息。
  1. Chen et al. (2026). Zijian Chen 等. BrowseComp-plus: A fair and disentangled evaluation benchmark for deep search agents. ACL 2026, pp. 22349–22370. doi: 10.18653/v1/2026.acl-long.1023. https://aclanthology.org/2026.acl-long.1023/ 中文题名:BrowseComp-Plus:深度搜索智能体的公平且可分解评测基准。它在固定的人工核验语料上重建同类评测,把检索质量与对检索结果的推理分开。
  1. Cheng & Dou (2025). Jiehan Cheng and Zhicheng Dou. Dailyqa: A benchmark to evaluate web retrieval augmented llms based on capturing real-world changes. arXiv:2505.17162. 中文题名:DailyQA:根据捕获的真实世界变化评测网页检索增强大语言模型的基准。它按日使用修订日志,使答案键与变化保持同步。
  1. Cohen et al. (2024). Roi Cohen 等. Evaluating the ripple effects of knowledge editing in language models. TACL, 12:283–298. doi: 10.1162/tacl_a_00644. https://aclanthology.org/2024.tacl-1.16/ 中文题名:评测语言模型中知识编辑的涟漪效应。编辑方法能回忆被编辑的事实,却不改变其后果。
  1. Deng et al. (2026). Mingyi Deng 等. Interactcomp: Evaluating search agents with ambiguous queries. ICML 2026. https://openreview.net/forum?id=AiawINF2T0 中文题名:InteractComp:用含糊查询评测搜索智能体。不补充信息就无法识别目标时,智能体答对的少得多,而且在 BrowseComp 分数上升七倍的时期里,这类准确率没有提高。
  1. Du et al. (2024). Kevin Du 等. Context versus prior knowledge in language models. ACL 2024, pp. 13211–13235. doi: 10.18653/v1/2024.acl-long.714. https://aclanthology.org/2024.acl-long.714/ 中文题名:语言模型中的上下文与先验知识。模型对一个实体越熟悉,上下文证据对其答案的影响就越小。
  1. Fan et al. (2026). HuiMing Fan 等. Livebrowsecomp: Are search agents searching, or just verifying what they already know? arXiv:2605.28721. 中文题名:LiveBrowseComp:搜索智能体是在搜索,还是只在核验它们已经知道的东西?它用此前九十天发表的低显著性事实构造问题。
  1. Feng et al. (2026). Yiyang Feng 等. Tracking the limits of knowledge propagation: How LLMs fail at multi-step reasoning with conflicting knowledge. EACL 2026, pp. 5813–5847. doi: 10.18653/v1/2026.eacl-long.273. https://aclanthology.org/2026.eacl-long.273/ 中文题名:追踪知识传播的限度:大语言模型如何在冲突知识上的多步推理中失败。给出正确事实也可能比什么都不给更差,而且一条推理链里的冲突越多,退化越大。
  1. Fierro et al. (2024). Constanza Fierro 等. MuLan: A study of fact mutability in language models. NAACL 2024 short, pp. 762–771. doi: 10.18653/v1/2024.naacl-short.67. https://aclanthology.org/2024.naacl-short.67/ 中文题名:MuLan:语言模型中事实可变性的研究。闭卷模型在可变事实上既更不准,也明显更不自信。
  1. GLM Team (2026). GLM-5.1: Towards Long-Horizon Tasks. Technical report, Z.ai, April 2026. https://z.ai/blog/glm-5.1 访问日期 2026-09-10。中文题名:GLM-5.1:面向长程任务。这是被评测模型 GLM-5.1 的技术报告。
  1. Google (2026). Gemini 3 Developer Guide. https://ai.google.dev/gemini-api/docs/gemini-3 访问日期 2026-09-20。中文题名:Gemini 3 开发者指南。文中用作 Gemini-3.1-Pro 知识截止日期为 2025 年 1 月的来源。
  1. Google DeepMind (2026a). Gemini 3.1 Pro Model Card. February 2026a. https://deepmind.google/models/model-cards/gemini-3-1-pro/ 访问日期 2026-09-10。中文题名:Gemini 3.1 Pro 模型卡。间接探测由此模型在高推理力度下生成。
  1. Google DeepMind (2026b). Gemini 3.5 Flash-Lite Model Card. July 2026b. https://deepmind.google/models/model-cards/gemini-3-5-flash-lite/ 访问日期 2026-09-10。中文题名:Gemini 3.5 Flash-Lite 模型卡。它被用作全部直接与间接回答的评判器。
  1. Google DeepMind (2026c). Gemini 3.7 Flash Model Card. August 2026c. https://deepmind.google/models/model-cards/gemini-3-7-flash/ 访问日期 2026-09-10。中文题名:Gemini 3.7 Flash 模型卡。直接探测由此模型在低推理力度下生成,失败模式分类也使用它。
  1. Gou et al. (2025). Boyu Gou 等. Mind2web 2: Evaluating agentic search with agent-as-a-judge. NeurIPS 2025. http://papers.nips.cc/paper_files/paper/2025/hash/fdcec9f5b99aa4fc8f4fb8487802d737-Abstract-Datasets_and_Benchmarks_Track.html 中文题名:Mind2Web 2:用智能体作评判来评测智能体搜索。它同时检查答案正确性与来源归因。
  1. Gupta et al. (2026). Nikita Gupta 等. Deepsearchqa: Bridging the comprehensiveness gap for deep research agents. arXiv:2601.20975. 中文题名:DeepSearchQA:弥合深度研究智能体的全面性缺口。它度量是否找到完整答案集并在正确时间停下。
  1. Hou et al. (2024). Yufang Hou 等. Wikicontradict: A benchmark for evaluating llms on real-world knowledge conflicts from wikipedia. NeurIPS 2024. 中文题名:WikiContradict:用维基百科中的真实知识冲突评测大语言模型。两边同样可信时,模型很少传达证据不一致。
  1. Jiang et al. (2023). Zhengbao Jiang 等. Active retrieval augmented generation. EMNLP 2023, pp. 7969–7992. doi: 10.18653/v1/2023.emnlp-main.495. https://aclanthology.org/2023.emnlp-main.495/ 中文题名:主动检索增强生成。FLARE 预测下一句,在置信度低时用该预测形成检索查询。
  1. Kalra et al. (2026). Nimit Kalra 等. Measuring the limits of continual learning for LLMs. ICML 2026 workshop. https://openreview.net/forum?id=BlDEHKSGy9 中文题名:度量大语言模型持续学习的限度。IMPRINTBENCH 在同一语料上比较两类更新,并在包括隐式相关性在内的六项能力上打分,没有任何方法在六项上全部成功。
  1. Kasai et al. (2023). Jungo Kasai 等. Realtime QA: what’s the answer right now? NeurIPS 2023. 中文题名:RealTimeQA:现在的答案是什么?它每周从新闻测验抽取一套新问题。
  1. Kaur et al. (2026). Kirandeep Kaur 等. PROPER agents: Proactivity driven personalized agents for advancing knowledge gap navigation. Findings of ACL 2026, pp. 41951–41975. doi: 10.18653/v1/2026.findings-acl.2082. 中文题名:PROPER 智能体:由主动性驱动的个性化智能体,用于推进知识缺口导航。它把决定任务成功的因素分成用户已陈述和未陈述的维度。
  1. Kim et al. (2024). Yujin Kim 等. Carpe diem: On the evaluation of world knowledge in lifelong language models. NAACL 2024, pp. 5401–5415. doi: 10.18653/v1/2024.naacl-long.302. 中文题名:Carpe diem:论终身语言模型中世界知识的评测。EvolvingQA 从连续维基百科快照的差异生成问题。
  1. Kimi Team (2026). Kimi K2.6: Advancing Open-Source Coding. Moonshot AI, April 2026. https://www.kimi.ai/blog/kimi-k2-6 访问日期 2026-09-10。中文题名:Kimi K2.6:推进开源编程。这是被评测模型 Kimi-K2.6 的技术报告。
  1. Ko et al. (2024). Dayoon Ko 等. GrowOVER: How can LLMs adapt to growing real-world knowledge? ACL 2024, pp. 3282–3308. doi: 10.18653/v1/2024.acl-long.181. 中文题名:GrowOVER:大语言模型如何适应不断增长的真实世界知识。它比较连续维基百科快照并据此生成问题。
  1. Kortukov et al. (2024). Evgenii Kortukov 等. Studying large language model behaviors under context-memory conflicts with real documents. COLM 2024. https://openreview.net/forum?id=xm8zYRfrqE 中文题名:用真实文档研究上下文与记忆冲突下的大语言模型行为。更新失败比早先报告的少,但上下文里出现错误的参数答案会使失败更可能。
  1. Lewis et al. (2020). Patrick Lewis 等. Retrieval-augmented generation for knowledge-intensive NLP tasks. NeurIPS 2020. 中文题名:面向知识密集型自然语言处理任务的检索增强生成。传统 RAG 用输入问题对非参数语料查询一次。
  1. Li & Goyal (2025). Aochong Oliver Li and Tanya Goyal. Memorization vs. reasoning: Updating LLMs with new knowledge. Findings of ACL 2025, pp. 25853–25874. doi: 10.18653/v1/2025.findings-acl.1326. 中文题名:记忆对推理:用新知识更新大语言模型。KUP 把询问更新事实的直接探测与答案会因更新而改变的间接探测分开,发现模型记住更新后仍在间接版本上失败。本文的推荐式间接探测借鉴这一构造。
  1. Li et al. (2026). Shuyue Stella Li 等. Horizonbench: Long-horizon personalization with evolving preferences. arXiv:2604.17283. 中文题名:HorizonBench:偏好不断演化的长程个性化。后文事件隐含地使早先信念失效,系统识别出当前状态后仍按旧状态行动。
  1. Li et al. (2025). Xiaoxi Li 等. Search-o1: Agentic search-enhanced large reasoning models. EMNLP 2025, pp. 5420–5438. doi: 10.18653/v1/2025.emnlp-main.276. 中文题名:Search-o1:智能体搜索增强的大型推理模型。文中用来概括常被称为智能体 RAG 的系统:模型自己决定何时调用搜索或浏览。
  1. Lin et al. (2025). Qian Lin, Junyi Li, and Hwee Tou Ng. DynaQuest: A dynamic question answering dataset reflecting real-world knowledge updates. Findings of ACL 2025, pp. 26918–26936. doi: 10.18653/v1/2025.findings-acl.1380. 中文题名:DynaQuest:反映真实世界知识更新的动态问答数据集。问题来自连续维基百科快照中发生变化的段落或信息框字段。
  1. Longpre et al. (2021). Shayne Longpre 等. Entity-based knowledge conflicts in question answering. EMNLP 2021, pp. 7052–7063. doi: 10.18653/v1/2021.emnlp-main.565. 中文题名:问答中基于实体的知识冲突。把黄金段落里的答案实体替换后,模型更偏好记忆中的答案,而不是上下文提供的答案。
  1. Meem et al. (2024). Jannat Meem 等. PAT-questions: A self-updating benchmark for present-anchored temporal question-answering. Findings of ACL 2024, pp. 13129–13148. doi: 10.18653/v1/2024.findings-acl.777. 中文题名:PAT-Questions:面向锚定当下的时间问答的自更新基准。它用随时间变化的 Wikidata 关系模板构造问题,并重跑 SPARQL 来刷新答案。
  1. Mialon et al. (2024). Grégoire Mialon 等. GAIA: a benchmark for general AI assistants. ICLR 2024. https://openreview.net/forum?id=fibxvahvs3 中文题名:GAIA:通用人工智能助手基准。任务需要工具使用、浏览和多模态推理。
  1. Nakano et al. (2021). Reiichiro Nakano 等. Webgpt: Browser-assisted question-answering with human feedback. arXiv:2112.09332. 中文题名:WebGPT:有人类反馈的浏览器辅助问答。模型可以在真实浏览器里搜索、点击、滚动并引用。
  1. OpenAI (2026a). GPT-5.4 Thinking System Card. March 2026a. https://openai.com/index/gpt-5-4-thinking-system-card/ 访问日期 2026-09-10。中文题名:GPT-5.4 Thinking 系统卡。这是被评测模型 GPT-5.4 的系统说明。
  1. OpenAI (2026b). GPT-5.4. https://developers.openai.com/api/docs/models/gpt-5.4 访问日期 2026-09-20。中文题名:GPT-5.4 模型文档。文中用作其知识截止日期 2025 年 8 月 31 日的来源。
  1. Ouyang et al. (2025). Jie Ouyang 等. HoH: A dynamic benchmark for evaluating the impact of outdated information on retrieval-augmented generation. ACL 2025, pp. 6036–6063. doi: 10.18653/v1/2025.acl-long.301. 中文题名:HoH:评测过时信息对检索增强生成之影响的动态基准。过时文档与当前文档并存时,即使当前文档也被检索到,过时文档仍会拉低答案。
  1. Piryani et al. (2026). Bhawna Piryani, Zehra Mert, and Adam Jatowt. How often do answers change? estimating recency requirements in question answering. arXiv:2603.16544. 中文题名:答案多久改变一次?估计问答中的新近性要求。变化频率本身可以依赖上下文,从一小时内到从不。
  1. Pletenev et al. (2025). Sergey Pletenev 等. Will it still be true tomorrow? multilingual evergreen question classification to improve trustworthy QA. EMNLP 2025, pp. 8603–8620. doi: 10.18653/v1/2025.emnlp-main.434. 中文题名:明天它还成立吗?用多语言常青问题分类改进可信问答。给问题而不是事实贴标签,并且该标签能预测检索行为。
  1. Qwen Team (2026). Qwen3.7: The Agent Frontier. Alibaba Group, May 2026. https://qwen.ai/blog?id=qwen3.7 访问日期 2026-09-10。中文题名:Qwen3.7:智能体前沿。这是被评测模型 Qwen3.7-Max 的技术报告。
  1. Sirdeshmukh & Wetter (2026). Ved Sirdeshmukh and Marc Wetter. Implicit intelligence–evaluating agents on what users don’t say. arXiv:2602.20424. 中文题名:隐式智能:按用户没说的东西评测智能体。未陈述的约束放在一次工具调用就能发现的环境里,智能体却常常按初始状态行动。
  1. Snell et al. (2024). Charlie Snell 等. Scaling llm test-time compute optimally can be more effective than scaling model parameters. arXiv:2408.03314. 中文题名:以最优方式扩展大语言模型的测试时计算,可以比扩展模型参数更有效。文中用来说明用测试时计算换表现的常见做法。
  1. Tang et al. (2025). Wei Tang 等. EvoWiki: Evaluating LLMs on evolving knowledge. ACL 2025, pp. 948–964. doi: 10.18653/v1/2025.acl-long.47. 中文题名:EvoWiki:在演化知识上评测大语言模型。问题来自连续维基百科快照之间的差异。
  1. Tao et al. (2026). Yiling Tao 等. When search agents should ask: Discobench for clarification-aware deep search. arXiv:2606.27669. 中文题名:搜索智能体何时应该发问:面向澄清的深度搜索基准 DiscoBench。它把「注意到请求含糊」与「注意到之后行动得好」分开,发现用更努力地搜索来代替消解含糊,可能比猜测更差。
  1. UK AI Security Institute (2024). Inspect AI: Framework for large language model evaluations. https://github.com/UKGovernmentBEIS/inspect_ai 访问日期 2026-09-10。中文题名:Inspect AI:大语言模型评测框架。本文的共享框架用它实现。
  1. Vu et al. (2024). Tu Vu 等. FreshLLMs: Refreshing large language models with search engine augmentation. Findings of ACL 2024, pp. 13697–13720. doi: 10.18653/v1/2024.findings-acl.813. 中文题名:FreshLLMs:用搜索引擎增强来刷新大语言模型。FreshQA 固定 600 个像搜索查询的问题,并按答案周转速度分组,维护者每周重核答案。
  1. Wallat et al. (2026). Jonas Wallat, Wolfgang Nejdl, and Sandipan Sikdar. When facts change: Temporal knowledge conflict resolution in LLMs. Findings of ACL 2026, pp. 2154–2184. doi: 10.18653/v1/2026.findings-acl.103. 中文题名:当事实改变时:大语言模型中的时间性知识冲突消解。模型会对确实改变的事实推理变化,对稳定事实几乎从不如此,但这种推理很少进入最终答案。
  1. Wei et al. (2025). Jason Wei 等. Browsecomp: A simple yet challenging benchmark for browsing agents. arXiv:2504.12516. 中文题名:BrowseComp:浏览智能体的一个简单却困难的基准。证据被故意缠在一起、难以定位,因此它明确说出需要找到什么,无法暴露「不知道该去核验自己的假设」。
  1. Xi et al. (2025a). Yunjia Xi 等. A survey of llm-based deep search agents: Paradigm, optimization, evaluation, and challenges. arXiv:2508.05668. 中文题名:基于大语言模型的深度搜索智能体综述:范式、优化、评测与挑战。文中用来说明智能体被用于寻求信息。
  1. Xi et al. (2025b). Yunjia Xi 等. Infodeepseek: Benchmarking agentic information seeking for retrieval-augmented generation. arXiv:2505.15872. 中文题名:InfoDeepSeek:为检索增强生成评测智能体式的信息寻求。它给智能体从实时网页收集的信息的准确性、效用和紧凑性打分。
  1. Xiaomi (2026a). MiMo-V2.5-Pro. April 2026a. https://mimo.xiaomi.com/mimo-v2-5-pro/ 访问日期 2026-09-10。中文题名:MiMo-V2.5-Pro 技术报告。这是被评测模型之一。它在共享框架低力度下会一直调用工具而不给出最终答案。
  1. Xiaomi (2026b). MiMo deep thinking usage guide. https://mimo.mi.com/docs/en-US/quick-start/usage-guide/text-generation/deep-thinking 访问日期 2026-09-20。中文题名:MiMo 深度思考使用指南。文中用作其报告的知识截止日期 2024 年 12 月的来源。
  1. Xu et al. (2026). Anyi Xu 等. Deepseek-v4: Towards highly efficient million-token context intelligence. arXiv:2606.19348. 中文题名:DeepSeek-V4:走向高效的百万词元上下文智能。这是被评测的 DeepSeek-V4-Pro 的技术报告。
  1. Yao et al. (2023). Shunyu Yao 等. React: Synergizing reasoning and acting in language models. ICLR 2023. https://openreview.net/forum?id=WE_vluYUL-X 中文题名:ReAct:在语言模型中协同推理与行动。推理与行动交错,模型可以根据观察到的东西修订计划。
  1. Zhang et al. (2026a). Yinger Zhang 等. DeepPlanning: Benchmarking long-horizon agentic planning with verifiable constraints. ACL 2026, pp. 7377–7407. doi: 10.18653/v1/2026.acl-long.335. 中文题名:DeepPlanning:用可核验约束评测长程智能体规划。座位有限或景点开放时间不匹配这类隐式环境约束,比用户陈述的要求更难发现。
  1. Zhang et al. (2026b). Yunfan Zhang, Kathleen McKeown, and Smaranda Muresan. Livenewsbench: Evaluating llm web search capabilities with freshly curated news. arXiv:2602.13543. 中文题名:LiveNewsBench:用新整理的新闻评测大语言模型的网页搜索能力。问题从关于单一近期事件的新闻簇自动生成,并按季度刷新。
  1. Zhong et al. (2023). Zexuan Zhong 等. MQuAKE: Assessing knowledge editing in language models via multi-hop questions. EMNLP 2023, pp. 15686–15702. doi: 10.18653/v1/2023.emnlp-main.971. 中文题名:MQuAKE:通过多跳问题评估语言模型中的知识编辑。编辑方法能回忆被编辑的事实,却留下其后果不变。

译注:以上六十三条与原文参考文献一一对应,顺序不变。它们分成五组。智能体搜索一组包括传统检索增强生成、主动检索、Self-RAG、WebGPT、ReAct、Search-o1、GAIA、BrowseComp、BrowseComp-Plus、DeepSearchQA、InfoDeepSeek、Mind2Web 2、LiveBrowseComp 与 LiveNewsBench,以及深度搜索智能体综述。时间新鲜度一组包括事实可变性、常青问题、答案改变频率、每周新闻测验、固定问题集的每周重核,以及从 Wikidata 或维基百科快照自动刷新的 PAT-Questions、EvolvingQA、GrowOVER、EvoWiki、DynaQuest 和 DailyQA。隐式约束一组包括未陈述因素、环境中的隐藏约束、旅行购物计划、地图决策因素、含糊查询和该不该追问澄清。知识冲突一组包括上下文与参数记忆打架、真实纠正文档、维基百科段落互相矛盾、把更新写入权重后的多跳后果、直接探测对间接探测、上下文里堆叠冲突、持续学习的六项能力,以及过时文档、时间性冲突和后文事件推翻早先信念。最后一组是八个被评测模型的系统卡、模型卡、博客和截止日期页面,外加实现共享框架的 Inspect AI。每条都保留原文作者、年份、英文题名、出处和链接,并在同一条内写出中文题名,避免只译标题而丢掉书目。书目里的会议名称、技术报告体裁、预印本编号、页码、数字对象标识符和访问日期都保留在英文条目中,不另造中文刊名,以免和原文对不上。中文只承担题名和这篇文献在本文里起什么作用,因此六十三条都可以从英文条目直接对回原文列表。若只数中文题名,条数仍是六十三,没有合并,也没有删掉技术报告和模型卡。会议缩写 ACL、EMNLP、NAACL、EACL、ICLR、NeurIPS、TACL 与 COLM 均保留英文,不译成中文刊名。读者可以用中文题名检索含义,再用同一条里的英文题名回到预印本或会议论文。顺序与原文相同,一条不漏。

附录 A 扩展的相关工作

##### 智能体搜索系统与基准。

传统检索增强生成(RAG)用一份非参数检索语料补充模型的参数记忆,并且只用输入问题查询一次(Lewis et al., 2020)。后来的一条工作线把检索决定做成生成本身的一部分。FLARE 预测即将到来的句子,当这一预测置信度低时,用它形成检索查询(Jiang et al., 2023)。Self-RAG 用学到的反思记号替换这一启发式,于是模型在每一步决定是否检索,以及检索到的证据是否支持它已经写下的内容(Asai et al., 2024)。一条平行的工作线给模型一组动作,现在通常称为工具调用,而不是单次检索。WebGPT 让模型在真实浏览器里搜索、点击、滚动并引用(Nakano et al., 2021)。ReAct 把推理与行动交错,使模型可以根据观察到的东西修订计划(Yao et al., 2023)。我们所评测的智能体搜索系统,常被称为智能体 RAG,把这两条谱系合在一起(Li et al., 2025)。模型选择何时调用搜索或浏览工具、用什么查询或 URL 调用,以及何时已经收集到足够证据来回答。

这些系统的基准随之出现。GAIA 提出需要工具使用、浏览和多模态推理的通用助手任务(Mialon et al., 2024)。BrowseComp 把设定收窄到网页研究,其短答案问题的证据被故意缠在一起、难以定位(Wei et al., 2025)。因为实时网页在不同运行之间会变,BrowseComp-Plus 在一份固定的人工核验语料上重建同类评测,从而把检索质量与对所检索内容的推理分开(Chen et al., 2026)。另一些基准把评测对象从最终答案移到搜索过程本身。DeepSearchQA 在穷尽列表式网页任务上给全面性和有理由的停止打分(Gupta et al., 2026)。InfoDeepSeek 给智能体从实时网页收集的信息的准确性、效用和紧凑性打分(Xi et al., 2025b)。Mind2Web 2 同时按答案正确性和来源归因评判长程轨迹(Gou et al., 2025)。两个近期基准追问这些表现有多少是搜索而不是回忆。LiveBrowseComp 用此前九十天发表的低显著性事实构造问题,并表明它们在很大程度上击败了在 BrowseComp 上得分高的智能体(Fan et al., 2026)。LiveNewsBench 从关于单一近期事件的新闻文章簇自动生成问题,并按季度刷新,因此问题和答案都会变(Zhang et al., 2026b)。

##### 时间新鲜度基准。

事实在保持为真的时间长短上并不相同。MuLan 把 Wikidata 关系分成可变类与不可变类,并发现闭卷模型在可变类上既更不准,也明显更不自信(Fierro et al., 2024)。EverGreenQA 给问题而不是事实贴标签,并发现这一标签能预测检索行为(Pletenev et al., 2025)。RecencyQA 也分类答案改变的频率,从一小时之内到从不,并指出这一速率本身可以依赖上下文(Piryani et al., 2026)。

基准已经开始处理模型对答案会改变的问题做得如何。RealTimeQA 从每周新闻测验抽取问题,并每周发布一套新问题(Kasai et al., 2023)。FreshQA 则固定一套由标注者写成、读起来像搜索查询的 600 个问题,按答案周转有多快分组,其维护者每周重核答案(Vu et al., 2024)。让这两个基准保持当前都是人工工作,而且答案可能在两次更新之间过时。后来的基准改为从自己记录变化的来源构造问题,使答案可以自动刷新。PAT-Questions 用随时间变化的 Wikidata 关系上的模板构造问题,并通过重跑产生该问题的 SPARQL 查询来刷新每个答案(Meem et al., 2024)。EvolvingQA、GrowOVER、EvoWiki 和 DynaQuest 则比较连续的维基百科快照,并从版本之间不同的段落或信息框字段生成问题(Kim et al., 2024;Ko et al., 2024;Tang et al., 2025;Lin et al., 2025)。DailyQA 在日周期上遵循同一做法,用修订日志使答案键保持同步(Cheng & Dou, 2025)。

##### 未陈述的约束与由智能体发起的信息寻求。

Kaur et al.(2026)把决定任务成功的因素表示为维度,并把用户已经陈述的与尚未陈述的分开,把未陈述的当作助手应当代用户识别的缺口。让这类缺口可以通过工具使用被发现的基准发现,识别它们才是困难的部分。Implicit Intelligence 把未陈述的约束放在可以通过一次工具调用找到的环境里,并发现智能体通常按初始状态行动,而不去探查会揭示约束的信息(Sirdeshmukh & Wetter, 2026)。DeepPlanning 用基于规则的检查器评测旅行和购物计划,并报告:座位有限或景点开放时间不匹配这类隐式环境约束,比用户陈述的要求更难发现(Zhang et al., 2026a)。MapSatisfyBench 从行为日志恢复用户没有说出口的决策因素,并发现答案在智能体确实收集到的工具输出上接地良好,而会提供缺失因素的那个工具却很少被调用(Bai et al., 2026)。

当信息需求本身被欠指定时,会出现同样的失败。InteractComp 构造不补充更多信息就无法识别预定目标的查询,并报告:与补上缺失上下文时相比,智能体答对的少得多;而且在 BrowseComp 分数上升七倍的一段时期里,这些查询上的准确率没有提高(Deng et al., 2026)。DiscoBench 把「注意到请求含糊」与「注意到之后行动得好」分开,并发现用更努力地搜索来代替消解含糊,可能比猜测更差(Tao et al., 2026)。

##### 知识冲突与下游行为。

一批工作研究当上下文证据与参数记忆矛盾时模型做什么。Longpre et al.(2021)替换黄金段落中的答案实体,并发现模型偏好记忆中的答案,而不是上下文提供的答案。Du et al.(2024)发现,模型对一个实体越熟悉,上下文证据对其答案的影响就越小。Kortukov et al.(2024)用真实的纠正性文档替换合成冲突,并发现更新失败比早先工作报告的少,但上下文中出现一个错误的参数答案会使失败更可能。冲突也会出现在检索到的段落之间。WikiContradict 研究维基百科段落之间的分歧,两边同样可信,并发现模型很少传达证据不一致(Hou et al., 2024)。

知识编辑把更新写进权重。MQuAKE 和 RippleEdits 发现,编辑方法能回忆被编辑的事实,却留下其后果不变(Zhong et al., 2023;Cohen et al., 2024)。KUP 把询问更新事实的直接探测,与一旦更新成立答案就会改变的间接探测分开,并发现模型记住更新后仍在间接版本上失败(Li & Goyal, 2025)。TRACK 改为在上下文中提供更新,并发现提供正确事实可能让模型比什么都不提供更差,而且随着更多冲突进入同一条推理链,退化增大(Feng et al., 2026)。IMPRINTBENCH 在同一语料上比较两类更新,并在六项能力上打分,其中包括隐式相关性:查询通过时间或话题而不是点名来调用一则更新。它发现没有任何方法在全部六项上成功(Kalra et al., 2026)。

另一条工作线追问,当事实是时间性的而不是反事实的时,会有什么变化。HoH 构造过时文档与关于同一事实的当前文档并存的检索语料,并表明即使当前文档被一并检索到,过时文档仍会拉低答案(Ouyang et al., 2025)。WikiRecentChanges 把稳定的和最近改变的 Wikidata 事实,与同模型冲突的上下文陈述配对,并发现模型会对确实改变的事实推理变化,对稳定事实几乎从不如此,但这种推理很少到达最终答案(Wallat et al., 2026)。STALE 和 HorizonBench 构造这样的交互历史:后文事件隐含地使早先信念失效,却不重述它。两者都发现系统识别出当前状态后仍按旧状态行动(Chao et al., 2026;Li et al., 2026)。

在上述全部工作中,更新已经提供给模型,要么在其上下文里,要么在其权重里,因此唯一的研究问题是回答是否改变。在我们的设定里,更新没有被提供,因此智能体必须先怀疑自己回忆的内容可能过时,然后再搜索这一变化。在我们的失败类别中,只有推理错误对应于这条工作线所研究的失败。

附录 B 基准构造细节

本附录给出 §3.2 所述流水线每一步的进一步细节。表 4 列出各阶段使用的模型与推理力度。各阶段的完整提示见补充材料。

阶段模型推理力度
间接探测生成Gemini-3.1-Pro高
直接探测生成Gemini-3.7-Flash低
回答评判Gemini-3.5-Flash-Lite低

表 4:BlindToChange 构造流水线各阶段使用的模型与推理力度。

收集更新。对每个事件,我们记录受影响的实体 $x$ 和相应更新 $u=(f_{\text{old}},f_{\text{new}})$。对逝世,$f_{\text{old}}$ 陈述 $x$ 在世,$f_{\text{new}}$ 陈述 $x$ 已故。对任期,$f_{\text{old}}$ 陈述 $x$ 担任某一职位,$f_{\text{new}}$ 陈述 $x$ 不再担任。两类事件都取消 $x$ 对一系列推荐请求的资格,这使得可以为每则更新自动生成许多不同的探测。我们要求每个事件发生在我们所评测模型中最近报告的知识截止日期之后。一个已经知道该事件的智能体可以从记忆回答探测,探测随后度量的就是回忆而不是通过搜索发现。我们只在 $x$ 有链接的英文维基百科文章时保留更新。这偏向于智能体很可能熟悉到足以不搜索就推荐的人,而筛选步骤需要这一点。对任期,我们另外要求 $x$ 目前不担任该职,从而去掉连任情形,即 $f_{\text{old}}$ 再次成立的情形。

构造间接探测。我们取回 $x$ 的英文维基百科全文;对任期,在可用时还取该职位的 Wikidata 描述和英文维基百科文章。我们把这些上下文和更新交给大语言模型,并要求自然的、现在时的推荐请求 $q$:不点名 $x$,且满足 $x\in\mathcal{C}(q;K_{\text{old}})$ 与 $x\notin\mathcal{C}(q;K_{\text{new}})$。模型使用传记和职位上下文,生成 $x$ 在更新前是明显候选的请求。

评判回答。我们用一个按事件类型特化提示的大语言模型评判器,判断对间接探测的回答是否与 $u$ 一致。给定更新 $u$、间接探测 $q$ 和智能体回答 $a$,评判器分配二元标签 $J(u,q,a)\in\{0,1\}$。若 $a$ 以依赖 $f_{\text{old}}$ 的方式推荐 $x$,因而在 $K_{\text{new}}$ 下无效,则分配 $0$,否则分配 $1$。回答可以因为排除 $x$,或只以与 $K_{\text{new}}$ 一致的方式提到 $x$,而得到 $1$。它不必明确陈述更新。对逝世,若回答把 $x$ 当作可以将来参与,则得到 $0$。承认死亡、并不推荐这种参与的历史性提及可以被接受。对任期,若回答把 $x$ 呈现为目前仍担任已结束的职位,或行使该职位授予的职权,则得到 $0$。历史性提及,以及基于独立资格的推荐,只要不暗示继续占有该职位,就可以被接受。这一判断度量的是与目标更新的一致性,而不是回答的总体质量或正确性。筛选和评测使用同一个评判器。

按智能体筛选间接探测。对每条候选探测 $q$,我们在关闭搜索时从智能体采样三次回答 $a_{1},a_{2},a_{3}$,并且当且仅当

$J(u,q,a_{j})=0\qquad\text{for every }j\in\{1,2,3\}.$

时才保留该探测。因此,智能体在其保留探测上的无搜索准确率按构造为零。

最终基准与打分。我们通过提示大语言模型,用为 $x$ 收集的上下文填写类别特定模板,来生成每条直接探测。对逝世,模板是「[姓名],这位 [简短识别描述],还在世吗?」描述使用稳定的传记属性来消歧 $x$。对任期,模板是「[姓名] 目前是否担任 [职位]?」必要时用组织、机构或辖区限定该职位。

附录 C 评判器验证

我们在评测时、开启搜索所产生的回答上验证评判器。对每个类别和每种探测类型,我们抽样 100 条评判器标为正确的回答,以及 100 条它标为不正确的回答。对每个评判器标签,回答在表 2 的配置之间均匀抽取。对间接探测,评判器接受的多数回答仍然提到受影响的人,通常还附有关于更新的说明,而这些是最难判断的。因此,在 100 条被接受的回答中,我们抽 85 条点名此人的,15 条不点名的。

一位作者用交给评判器的同一标准标注每一条抽样回答,且看不到评判器的标签和配置。表 5 比较评判器标签与人类标签。分歧很少,并且两个方向都有。

逝世任期
人类标签人类标签
探测评判器标签正确不正确正确不正确
间接正确991991
不正确0100298
直接正确10001000
不正确2980100

表 5:比较评判器标签与人类标签的混淆矩阵。对每种探测类型和每个类别,我们抽样 100 条评判器标为正确的回答和 100 条标为不正确的回答。

附录 D 模型知识截止日期

表 6 列出我们所评测的每个模型:其提供方报告的知识截止日期,以及我们采取该日期的来源。八个提供方中有四个没有报告截止日期。

模型报告的知识截止日期来源
Claude-Opus-4.72026 年 1 月(Anthropic, 2026b)
GPT-5.42025 年 8 月 31 日(OpenAI, 2026b)
Gemini-3.1-Pro2025 年 1 月(Google, 2026)
Qwen3.7-Max未报告–
DeepSeek-V4-Pro未报告–
Kimi-K2.6未报告–
MiMo-V2.5-Pro2024 年 12 月(Xiaomi, 2026b)
GLM-5.1未报告–

表 6:每个被评测模型由其提供方陈述的知识截止日期。我们把每个截止日期落实到所报告月份的最后一天,并在共享框架系统提示(图 4)中以 YYYY-MM-DD 形式代入 {knowledge_cutoff}。对提供方没有报告截止日期的模型,我们代入 2026 年 1 月,即我们所评测模型中最晚报告的截止日期。BlindToChange 中的每个事件都晚于所有这些日期,因此「搜索截止日期之后的信息」这一指示适用于每一条探测。

附录 E 基准统计

表 7 报告每个类别中的事件数和生成的探测数,以及每个模型在事件前筛选之后保留的探测数。

逝世任期
事件2,078751
生成的探测10,3903,755
筛选后保留的探测
Claude-Opus-4.7935299
GPT-5.41,304766
Gemini-3.1-Pro3,0921,712
Qwen3.7-Max566353
DeepSeek-V4-Pro749589
Kimi-K2.6781397
MiMo-V2.5-Pro530185
GLM-5.1726453

表 7:事件前筛选之前与之后,每个类别的间接探测数量。生成数量在模型之间共享。保留数量是该模型的三次无搜索回答都包含受影响之人的那些探测。

附录 F 推理力度设定

表 8 列出主要结果所报告的低推理设定与高推理设定背后、提供方特定的力度取值。

模型低高
Claude-Opus-4.7关闭(Disabled)高(High)
GPT-5.4无(None)高(High)
Gemini-3.1-Pro低(Low)高(High)
Qwen3.7-Max关闭(Disabled)开启(Enabled)
DeepSeek-V4-Pro关闭(Disabled)高(High)
Kimi-K2.6关闭(Disabled)开启(Enabled)
MiMo-V2.5-Pro关闭(Disabled)开启(Enabled)
GLM-5.1关闭(Disabled)开启(Enabled)

表 8:全文使用的低推理设定与高推理设定,到传给每个模型的提供方特定力度取值的映射。

附录 G 共享框架的系统提示

图 4 复现共享框架中使用的系统提示。占位符按每次运行填写。{current_date} 设为评测运行的日期,{knowledge_cutoff} 设为表 6 中该模型列出的截止日期。

图 4:提供给共享框架中每个模型的系统提示。

Current date: {current_date}. Model knowledge cutoff: {knowledge_cutoff}. Interpret 'current', 'currently', 'now', 'today', 'recently', 'this year', 'latest', and similar terms relative to the current date. If a fact may have changed after the model knowledge cutoff, or is otherwise time-sensitive, call the web_search tool before answering.

译注:上述提示按原文保留,以便对照实验设定。中文是:当前日期为 {current_date}。模型知识截止日期为 {knowledge_cutoff}。相对于当前日期解释 current、currently、now、today、recently、this year、latest 以及类似词语。如果一个事实可能在模型知识截止日期之后已经改变,或者在其他方面对时间敏感,就在回答之前调用 web_search 工具。

附录 H 其余模型按搜索次数的准确率

图 2 按发出的搜索查询次数,给共享框架下四个模型的逝世探测分组。图 5 对其余四个模型给出同一分组:Qwen3.7-Max、Kimi-K2.6、MiMo-V2.5-Pro 和 GLM-5.1。MiMo-V2.5-Pro 没有低力度结果,因为它一直调用工具而不给出最终答案(表 2)。

图 5:其余模型按搜索次数的逝世类间接准确率。

图 5:共享框架下、图 2 未展示的模型在逝世类上的间接探测准确率,按发出的搜索查询次数分组。上图是每组准确率(至少 9 条探测)及其总体准确率(虚线)。下图是每组探测所占份额。

附录 I 失败模式验证

我们为两个类别验证 §6 的失败模式,使用同样 15 个配置中、共享搜索下的失败。没有搜索查询的失败按构造被分配为没有或不相关搜索,因此我们只抽样至少发出一次查询的失败。我们对较小的失败模式取全部失败,对较大的失败模式在配置之间均匀抽样,得到 160 条逝世失败和 165 条任期失败。

一位作者对照模型的查询以及它在最终答案之前所拥有的上下文,按交给分类器的标准检查每个被分配的失败模式。向作者展示了分类器的证据摘录和查询标签。表 9 比较被分配的失败模式与被核验的失败模式。作者同意 160 条逝世失败中的 157 条(98.1%,Cohen 的 $\kappa=0.97$),以及 165 条任期失败中的 134 条(81.2%,$\kappa=0.74$)。

在任期上,多数分歧涉及这样的搜索:它们可能揭示变化,却并不询问此人或职位本身。例如,在推荐一位参议员时,模型可能搜索参议院司法委员会的现任成员。搜索问的是委员会而不是参议员的席位,但已经离任的参议员会从名单上消失。认出这样的搜索可能揭示变化,需要关于该职位的背景知识。这类分歧主要在间接搜索与不相关搜索之间移动失败。我们的结论对此是稳健的。

核验后的失败模式
类别被分配的失败模式推理显式间接没有或不相关
逝世推理错误33011
显式但无效的搜索11200
间接搜索00420
没有或不相关搜索00070
任期推理错误43110
显式但无效的搜索13644
间接搜索0195
没有或不相关搜索23946

表 9:比较分类器分配的失败模式与一位作者核验的失败模式的混淆矩阵。没有或不相关搜索的行只包括至少发出一次搜索查询的失败。

译注:表头 Reasoning、Explicit、Indirect、No/unrelated 分别对应推理错误、显式但无效的搜索、间接搜索、没有或不相关搜索。数字与原文一致。

附录 J 有代表性的失败案例

我们为共享搜索下的每种失败模式展示一个有代表性的失败。每个案例给出探测、模型本应计入的变化、同一配置下模型对同一变化的直接探测的回答、它发出的搜索查询、最终答案之前其上下文中的关键证据,以及答案摘录。摘录用 […] 缩短。下列案例文字取自原文附录 J 的图示,人名、查询和引文按原文保留。

J.1 逝世

案例 1. 推理错误。 GLM-5.1,高力度。

探测:Our regional sports museum is putting together a special interactive exhibit highlighting Bay Area football history. […] We’re ideally looking for legendary former Cal quarterbacks who have been inducted into the San Jose Sports Hall of Fame and went on to have long professional careers. Who would be some strong candidates to lead the selection process?

中文:我们的地区体育博物馆正在筹备一个突出湾区橄榄球史的特别互动展览。[…] 我们最好找曾经入选圣何塞体育名人堂、后来有漫长职业经历的传奇前加州大学四分卫。谁是领导遴选过程的有力候选?

变化:Craig Morton 于 2026 年 5 月 9 日去世。

查询:(1)San Jose Sports Hall of Fame inductees list;(2)legendary Cal Berkeley quarterbacks professional career;(3)Steve Bartkowski Cal Berkeley quarterback San Jose Sports Hall of Fame;(4)Craig Morton Cal quarterback San Jose Sports Hall of Fame。

证据:查询(4)的结果,Sports Illustrated,发表于 2026 年 5 月 12 日。「Cal Quarterback Great Craig Morton Dies at 83 […] Craig Morton, one of Cal’s greatest quarterbacks and a two-time starter in the Super Bowl during his 18-year NFL career, died Saturday.」中文:加州大学四分卫名将 Craig Morton 享年 83 岁去世。他是加州大学最伟大的四分卫之一,在 18 年 NFL 生涯中两次作为首发参加超级碗,于周六去世。

回答:「Based on my research, there are two standout candidates who meet all your criteria […] 1. Craig Morton. San Jose Sports Hall of Fame, Class of 2002 […] Both men are strong candidates, but Craig Morton may have a slight edge for your purposes […]」中文:根据我的研究,有两位突出候选满足你的全部标准。1. Craig Morton,圣何塞体育名人堂 2002 级。两人都是有力候选,但 Craig Morton 对你的用途可能略占优势。上下文已经含有逝世报道,回答仍把他当作可以领导遴选的活人。这是推理错误。

案例 2. 显式但无效的搜索。 DeepSeek-V4-Pro,高力度。

探测:I’m organizing a vintage automotive showcase focused on mid-century flathead V8s and early slingshot dragsters. We need some guest-curators with hands-on experience modifying these specific engines back in the day to select the best cars for our main lineup. Who makes sense to have in the mix?

中文:我在组织一场聚焦世纪中叶平头 V8 和早期弹弓式直线加速赛车的老爷车展。我们需要当年亲手改装过这些发动机的客座策展人,来为我们的主要阵容挑选最好的车。哪些人适合出现在名单里?

变化:Ed Iskenderian 于 2026 年 2 月 4 日去世。

直接探测:在「Is Ed Iskenderian, the American hot rodder and businessman, alive?」(美国热棒改装者与商人 Ed Iskenderian 还在世吗?)上回答正确。

查询:(1)Ed Iskenderian alive 2025 hot rod cams flathead;(2)Alex Xydias So-Cal Speed Shop alive 2025;(3)"TV Tommy" Ivo alive 2025 dragster;(4)Ed Pink engine builder alive 2025 flathead;(5)Don Garlits alive 2025。

证据:没有决定性证据。显式查询(1)的全部五个结果都早于逝世,并描述他的 103 岁和 104 岁生日庆祝,例如「Ed Iskenderian turns 104: The Camfather honored with a celebration」(NHRA, 2025),以及「Celebrating Ed Iskenderian’s 104th Birthday with the Man Himself」(Hagerty,2025 年 9 月 10 日)。中文分别是:Ed Iskenderian 年满 104 岁,这位凸轮之父在庆祝中受到致敬;与本人一起庆祝 Ed Iskenderian 的 104 岁生日。

回答:「[…] I verified current statuses before answering, so here’s who actually makes sense to invite. Living legends you can actually book as guest curators. 1. Ed ‘Isky’ Iskenderian, the priority pick for the flathead side. Now 105 (turned 104 in July 2025 and still active), he’s arguably the last living legend of the flathead speed-equipment era. […]」中文:我在回答前核验了当前状态,所以下面是真正适合邀请的人。你可以实际预约的在世传奇。1. Ed “Isky” Iskenderian,平头发动机一侧的优先选择。现年 105 岁(2025 年 7 月满 104 岁,仍然活跃),可以说是平头高速装备时代最后一位在世传奇。查询明确问了是否在世,但检索到的都是逝世前的生日报道,因此这是显式但无效的搜索。

案例 3. 间接搜索。 DeepSeek-V4-Pro,高力度。

探测:I’m putting together a retrospective on the legacy of the New German Cinema. To kick things off, I want to invite a veteran filmmaker from that era who later expanded into independent television and experimental broadcasting to guest-curate a special lineup of counter-cinema TV slots for our upcoming festival. Who are a few people we should consider reaching out to for this programming role?

中文:我在整理一场关于新德国电影遗产的回顾。作为开场,我想邀请那位后来扩展到独立电视和实验广播的该时代资深电影人,为我们即将到来的电影节客座策划一组反电影电视时段。有哪几位是我们应该联系来担任这个节目角色的人?

变化:Alexander Kluge 于 2026 年 3 月 25 日去世。

直接探测:在「Is Alexander Kluge, the German author and film director, alive?」(德国作家和电影导演 Alexander Kluge 还在世吗?)上回答正确。

查询:(1)Alexander Kluge dctp independent television still active 2025;(2)New German Cinema filmmakers independent television experimental broadcasting dctp;(3)Edgar Reitz filmmaker still alive 2025 2026。

证据:没有决定性证据。间接查询(1)问的是 Kluge 是否仍然活跃,而不是是否在世。其结果显示他的制作公司 dctp 仍在运营,最近的有日期结果是 2025 年 6 月 4 日宣布的一个新 dctp 播客。模型在查询(3)里问 Edgar Reitz 是否仍在世,却从未对 Kluge 问这一点。

回答:「[…] the person who most perfectly matches your description is not only alive but still extraordinarily active. […] If you can only reach out to one person, make it Alexander Kluge (b. 1932). […] Still active: dctp continues today as a digital platform (dctp.tv) with new collections, podcasts, and collaborations. […]」中文:最完美匹配你的描述的那个人不仅在世,而且仍然异常活跃。如果你只能联系一个人,就联系 Alexander Kluge(生于 1932 年)。仍然活跃:dctp 今天作为数字平台 dctp.tv 继续存在,有新的合集、播客和合作。搜索可能间接看到近况,但没有直接核验是否在世。这是间接搜索。

案例 4. 没有或不相关搜索。 Qwen3.7-Max,高力度。

探测:I’m putting together a gallery show about integrating mobile tech into traditional en plein air landscapes. We want to commission a brand new, large-scale digital piece from an established master. Who are a few veteran British artists famous for embracing iPad drawing and digital tools in their landscapes that we should try to commission?

中文:我在筹备一个关于把移动技术融入传统户外写生风景的画廊展览。我们想向一位公认的大师委托一件全新的大型数字作品。有哪几位以在风景中拥抱 iPad 绘画和数字工具著称的资深英国艺术家,是我们应该尝试委托的?

变化:David Hockney 于 2026 年 6 月 11 日去世。

直接探测:在「Is David Hockney, the British painter and photographer, alive?」(英国画家和摄影家 David Hockney 还在世吗?)上回答正确。

查询:(1)veteran British artists iPad drawing digital landscapes en plein air;(2)established British artists famous iPad art landscapes;(3)David Hockney iPad landscapes en plein air Yorkshire Wolds;(4)famous British landscape artists using iPad digital art established veteran。

证据:没有决定性证据。查询(3)点了 Hockney 的名,但只问他的 iPad 风景。其结果描述这些作品,最近的有日期结果覆盖 2025 年 10 月苏富比出售他的约克郡丘陵 iPad 素描。

回答:「Here’s the honest answer: this question really has one towering, obvious answer, and then a longer tail of less-famous practitioners. […] The Undisputed Master: David Hockney (b. 1937). Hockney is the answer to your question and is essentially in a category of his own. […]」中文:诚实的回答是,这个问题确实有一个高出一截的明显答案,然后是一长串没那么有名的实践者。无可争议的大师:David Hockney(生于 1937 年)。Hockney 就是你的问题的答案,并且基本上自成一类。没有任何查询能揭示逝世。这是没有或不相关搜索。

J.2 任期

案例 5. 推理错误。 Qwen3.7-Max,高力度。

探测:I’m putting together an official intergovernmental working group on European border security. We need to include European heads of government who have a track record of building physical border barriers and who originally trained as lawyers. Who are a few leaders we should consider reaching out to?

中文:我在组建一个关于欧洲边境安全的正式政府间工作组。我们需要纳入有修建实体边境屏障记录、并且最初受过律师训练的欧洲政府首脑。有哪几位领导人是我们应该考虑联系的?

变化:Viktor Orbán 于 2026 年 5 月 9 日卸任匈牙利总理。

直接探测:在「Is Viktor Orbán currently serving as Prime Minister of Hungary?」(Viktor Orbán 目前是否担任匈牙利总理?)上回答正确。

查询:(1)European heads of government lawyers built border fence barrier;(2)Viktor Orbán law degree border fence Hungary;(3)Evika Siliņa Latvia education law degree border fence Belarus;(4)Karl Nehammer Austria education law degree border fence;(5)Miro Cerar Slovenia law degree border fence Croatia;(6)Robert Fico Slovakia law degree border fence barrier。

证据:查询(2)的结果,Wikipedia。「Viktor Mihály Orbán (born 31 May 1963) is a Hungarian lawyer and politician who served as the prime minister of Hungary from 1998 to 2002 and from 2010 to 2026.」中文:Viktor Mihály Orbán(生于 1963 年 5 月 31 日)是匈牙利律师和政治家,曾于 1998 年至 2002 年以及 2010 年至 2026 年担任匈牙利总理。

回答:「Based on your criteria, here are European heads of government who both trained as lawyers and have track records of building physical border barriers. Viktor Orbán (Hungary) […] Current status: Prime Minister since 2010 (previously 1998-2002) […]」中文:根据你的标准,下面是既受过律师训练、又有修建实体边境屏障记录的欧洲政府首脑。Viktor Orbán(匈牙利)。当前状态:自 2010 年起担任总理(此前为 1998 至 2002 年)。上下文已经写明任期到 2026 年,回答仍把他当作现任总理。这是推理错误。

案例 6. 显式但无效的搜索。 Claude-Opus-4.7,高力度。

探测:We’re setting up a high-level federal working group on railway infrastructure integration and need to include current state heads of government who have past experience serving as Union Railway Minister. Who would be on a sensible shortlist for this official role?

中文:我们正在建立一个关于铁路基础设施整合的高层联邦工作组,需要纳入曾经担任联邦铁路部长的现任邦政府首脑。谁会在这个正式角色的合理短名单上?

变化:Mamata Banerjee 于 2026 年 5 月 9 日卸任西孟加拉邦首席部长。

直接探测:在「Is Mamata Banerjee currently serving as Chief Minister of West Bengal?」(Mamata Banerjee 目前是否担任西孟加拉邦首席部长?)上回答正确。

查询:(1)current Indian Chief Ministers who served as Union Railway Minister;(2)Nitish Kumar Bihar Chief Minister 2026。

证据:没有决定性证据。显式查询(1)返回西孟加拉邦政府未注日期的「Meet the Chief Minister」页面。该页面列出 Banerjee 担任铁路部长的任期,并把她呈现为在任首席部长。查询(2)揭示 Nitish Kumar 于 2026 年 4 月辞去比哈尔邦首席部长,但模型没有对 Banerjee 做同样的检查。

回答:「Based on the criteria (sitting head of a state government + past tenure as Union Minister of Railways), the shortlist is very short, effectively one name. Mamata Banerjee, Chief Minister of West Bengal. Current role: CM of West Bengal (in her third consecutive term since 2011; re-sworn in on 5 May 2021). […]」中文:根据标准(在任邦政府首脑,加上曾经担任联邦铁路部长),短名单很短,实际上只有一个名字。Mamata Banerjee,西孟加拉邦首席部长。当前角色:西孟加拉邦首席部长(自 2011 年起第三个连续任期;2021 年 5 月 5 日再次宣誓)。查询直接问了现任首席部长,但返回的官方页面没有反映卸任。这是显式但无效的搜索。

案例 7. 间接搜索。 Kimi-K2.6,低力度。

探测:We’re looking to pilot a new youth ministry program in the western US and want to pitch it directly to archdiocesan leaders who already have strong ties to the Fellowship of Catholic University Students. Who are a few prelates we should reach out to for approval to operate in their jurisdictions?

中文:我们想在美国西部试点一个新的青年牧灵项目,并希望直接向已经与天主教大学生团契有紧密联系的总教区领导人推介。有哪几位高级教士是我们应该联系、以获得在其辖区运作之批准的?

变化:Samuel Joseph Aquila 于 2026 年 2 月 7 日卸任丹佛罗马天主教总主教。

直接探测:在「Is Samuel Joseph Aquila currently serving as Roman Catholic Archbishop of Denver?」(Samuel Joseph Aquila 目前是否担任丹佛罗马天主教总主教?)上回答正确。

查询:(1)Catholic bishops archbishops western US FOCUS Fellowship of Catholic University Students supporters 2024 2025;(2)FOCUS Catholic university students board of directors bishops advisors;(3)"Bishop Daniel Mueggenborg" Reno FOCUS board director;(4)SEEK26 Denver Colorado FOCUS conference archbishop 2026;(5)Bishop Oscar Solis Salt Lake City FOCUS SEEK25 western bishops;(6)Archbishop Paul Etienne Seattle FOCUS Catholic youth ministry;(7)Archbishop Salvatore Cordileone San Francisco FOCUS Catholic evangelization。

证据:没有决定性证据。间接查询(4)问的是 2026 年 1 月在丹佛举行的 FOCUS 会议上的总主教。其结果覆盖这次会议,时间在变化之前一个月,包括 2026 年 1 月 2 日的一篇 Denver Catholic 报道:「PHOTOS: Archbishop Aquila Opens SEEK26 in Denver with Mary, Mission and a City Full of Hope」。中文:照片:Aquila 总主教在丹佛以圣母、使命和一座充满希望的城市开启 SEEK26。没有任何查询询问丹佛现任总主教是谁。

回答:「[…] Top Prelates to Contact. 1. Archbishop Samuel J. Aquila, Archdiocese of Denver, Colorado. Strongest possible connection. […] He celebrated the opening Mass at SEEK26 in Denver (January 2026), one of three simultaneous host cities. His archdiocese is essentially FOCUS’s home territory. […]」中文:最应联系的高级教士。1. Samuel J. Aquila 总主教,科罗拉多州丹佛总教区。可能最强的联系。他在丹佛的 SEEK26 主持了开幕弥撒(2026 年 1 月),那是三个同时举办的主办城市之一。他的总教区本质上是 FOCUS 的大本营。搜索可能间接看到近况,但没有核验现任者。这是间接搜索。

案例 8. 没有或不相关搜索。 Gemini-3.1-Pro,低力度。

探测:We are organizing a summit on the future of the German auto industry and want to invite a couple of current state government leaders who have notably supported combustion engine subsidies despite belonging to environmentally focused parties. Who would be on a sensible shortlist to officially represent their state’s executive branch at this event?

中文:我们正在组织一场关于德国汽车工业未来的峰会,想邀请几位现任州政府领导人:他们尽管属于注重环境的政党,却显著支持内燃机补贴。谁会在合理短名单上,在这次活动中正式代表本州行政部门?

变化:Winfried Kretschmann 于 2026 年 5 月 13 日卸任巴登-符腾堡州州长。

直接探测:在「Is Winfried Kretschmann currently serving as Minister-President of Baden-Württemberg?」(Winfried Kretschmann 目前是否担任巴登-符腾堡州州长?)上回答正确。

查询:(1)"Winfried Kretschmann" combustion engine subsidies OR Kaufprämie;(2)"Stephan Weil" combustion engine subsidies OR Kaufprämie;(3)"Markus Söder" combustion engine subsidies OR Kaufprämie;(4)"Winfried Kretschmann" combustion engine subsidies OR Kaufprämie 2024 OR 2025。

证据:没有决定性证据。查询(1)和(4)按姓名搜索 Kretschmann,但只搜索他对补贴的立场。两者每一个有日期的结果都是 2020 年 5 月至 7 月关于购车补贴辩论的报道,即便查询(4)加上了 2024 或 2025。没有任何查询询问目前谁领导巴登-符腾堡州。

回答:「[…] your primary candidate is Winfried Kretschmann, the Minister President of Baden-Württemberg. […] Kretschmann is the exact match for your criteria and is currently the only state premier in Germany belonging to the environmentally focused Green party. […]」中文:你的首要候选是 Winfried Kretschmann,巴登-符腾堡州州长。Kretschmann 精确匹配你的标准,并且目前是德国唯一属于注重环境的绿党的州总理。搜索没有触及职位是否仍由他担任。这是没有或不相关搜索。

Found it useful? Pass it on

WeChat

Scan with WeChat to open it on your phone and forward it.

Subscribe via RSS

Submit a correction