ColaBench：记忆引导个人智能体去取外部知识

WWW ’27，2027 年 5 月 10–14 日，爱尔兰都柏林

ColaBench：评测个人智能体中由记忆引导的知识获取

Wenjie Zhang（wenjie.zhang@stu.jiangnan.edu.cn；江南大学，中国无锡）

Zhichao Shi（shizhichao22s@ict.ac.cn；中国科学院大学交叉科学学院，中国北京；中国科学院计算技术研究所人工智能安全国家重点实验室，中国北京；DataArc Tech Ltd.，中国；IDEA Research，国际数字经济研究院，中国深圳）

Xuhui Jiang（主要联系人。jiangxuhui@idea.edu.cn；DataArc Tech Ltd.，中国；IDEA Research，国际数字经济研究院，中国深圳）

Xiaojun Wu（xwu647@connect.hkust-gz.edu.cn；DataArc Tech Ltd.，中国；IDEA Research；香港科技大学（广州），中国广州）

Cehao Yang（cyang289@connect.hkust-gz.edu.cn；DataArc Tech Ltd.，中国；IDEA Research；香港科技大学（广州），中国广州）

Chengjin Xu（xuchengjin@idea.edu.cn；DataArc Tech Ltd.，中国；IDEA Research，国际数字经济研究院，中国深圳）

Xiaoning Song（x.song@jiangnan.edu.cn；江南大学，中国无锡）

© none

摘要。个人智能体需要借助长期交互历史，去检索并应用适合用户当前请求的外部知识。即便一个答案有相关文档支撑，只要忽视了用户的处境，它仍然可能不合适。这就产生两个相连的挑战：用历史条件识别一项新请求所需要的知识，以及把这些知识用到用户的处境上。现有基准推进了记忆回忆、个性化检索和由记忆引导的行动，而对这两个挑战的联合评测仍然探索不足。我们引入 ColaBench，一个关于健康与日常生活的合成基准，包含 10 个 Profile 上的 349 项任务，以及 13,033 篇文档的知识库。它的证据图把个人条件连接到它们在公开交互会话中的披露，记录先前的文档暴露，并把答案要求链接到个人证据和新获得的文档证据。我们还引入 MemKB，它用状态摘要来引导查询和规则应用，并用记忆—文档链接去检索与用户历史相关联的知识。MemKB 达到 86.25% 的准确率，每项任务平均 4.07 轮交互。任务级分析发现，在需要整合多项历史 Fact 的任务上增益更大；错误分析进一步指出，没有依据的个人假设和规则误用，是使用已检索证据的障碍。ColaBench 提供可追溯的任务和一套评测框架，用来研究记忆如何引导知识获取和规则应用。

智能体、长期记忆、知识获取、数据合成、基准

1. 引言

个人智能体必须借助长期交互历史来处理用户不断变化的请求（Zhong et al., 2024; Packer et al., 2023）。用户常常不把先前的经历、偏好和约束说出来（Jiang et al., 2025），而当前任务可能需要新的外部知识（Lewis et al., 2020）。设想一个用户问自己是否有资格获得照护者喘息补助，而在分开的对话里曾提到自己照顾一位患有阿尔茨海默病的亲属，并且独自生活。智能体必须找到这项补助的资格规则，并把共同居住的要求连接到更早关于独自生活的披露（表 1）。忽略这一连接，会把相关信息变成不合适的建议。因此，可靠的个性化取决于历史如何引导知识获取，以及所获得的知识如何用到用户身上。

这些任务提出两个相连的挑战。知识获取要求恢复那些决定该搜什么的历史条件，即便当前请求把它们留在隐含之处。规则应用要求把检索到的前提、例外和程序，与已知的个人处境相匹配，同时保留仍然未知的部分。这个过程可以双向移动：历史塑造搜索，而一条新检索到的规则也可以使更早的披露变得相关。当记忆和知识被分开检索时，智能体必须通过自己的查询和推理来建立这些连接。

现有基准处理了这一过程的重要部分。LoCoMo 和 LongMemEval 为通过跨会话问答、时间推理和状态更新来评测记忆提供了基础（Maharana et al., 2024; Wu et al., 2025）。TREC iKAT 把用户上下文、查询改写和外部检索带进作答过程（Aliannejadi et al., 2024）。Mem2ActBench 和 MemoryArena 考察记忆如何引导随后的工具使用和相互依赖的行动（Shen et al., 2026; He et al., 2026）。剩下的缺口，是联合评测已披露的个人条件如何引导获取和应用交互中尚未遇到的知识。这需要这样的任务：它们追溯用户披露了什么、智能体已经遇到过哪些文档，以及哪些个人前提和知识前提支撑每一项必需结论。这些依赖使得我们能够考察历史与知识之间的连接在哪里成功、在哪里断开。

我们引入 ColaBench，一个围绕这些依赖建造的基准。它的证据图把个人 Fact 连接到披露它们的公开消息，记录交互期间的文档暴露，并把随后的答案要求链接到它们的个人来源和知识来源。它的文档链接引导知识探索，而它的披露与暴露记录约束分阶段、多智能体的任务构造，使任务只使用已披露的个人条件，以及历史中先前没有暴露过的支撑文档。由此得到的基准包含 10 个 Profile 上 349 个经过增强和验证的 Item，以及 13,033 篇文档的知识库。这张图使每项任务的证据依赖显式化，从而支持对知识获取和规则应用的评测，并诊断错误是来自缺失的个人条件、缺失的知识，还是来自它们在答案中的使用。

我们引入 MemKB，一种由记忆引导的知识检索方法，把历史上下文连接到知识候选。一份用户状态摘要把分散的个人条件带进查询表述和随后的判断。MemKB 编码记忆文本，建立记忆—文档链接，并把与被检索记忆相关联的文档，与针对当前查询的直接语义检索和关键词检索结果融合起来。作答智能体把检索到的记忆和文档证据结合起来，判断哪些规则适用于用户的处境。

MemKB 达到 86.25% 的准确率，而使用同一批底层记忆的 Mem0+Hybrid 为 79.94%，增益为 6.30 个百分点，同时把平均交互轮数从 4.44 降到 4.07。在需要多项历史 Fact 的任务上，增益更大：9.35 个百分点，而单 Fact 任务为 4.96。案例和错误分析表明，即便相关证据已经可得，个人假设和规则误用仍会影响答案。这些发现促使我们通过记忆帮助智能体获取的知识、以及它所支持的针对用户的判断，来评测记忆。

我们的贡献如下：• 由证据图驱动的基准合成。我们发展了一套分阶段、多智能体的合成框架，其中累积的 Fact 披露和知识暴露约束随后的 Item 构造，从而产出可追溯的 ColaBench 基准及其评测协议。• 由记忆引导的知识检索。我们引入 MemKB，它结合状态摘要和记忆—文档链接，来引导知识检索并支持针对用户的规则应用。• 对记忆效用的实证分析。通过任务结构分组、组件消融和证据痕迹，我们刻画记忆在知识获取和规则应用中的效用：在整合多项历史 Fact 的任务上的增益，以及在获得知识之后仍然出现的失败，包括遗漏个人条件、没有依据的假设和规则误用。

2. 相关工作

#### 长期记忆与任务执行

记忆架构把交互历史组织起来，供随后的决定使用。Generative Agents 结合经验检索和反思来支持规划（Park et al., 2023）；MemoryBank 随时间更新用户记忆（Zhong et al., 2024），MemGPT 在记忆层级之间管理信息（Packer et al., 2023）。Mem0 支持记忆抽取、合并和检索（Chhikara et al., 2025）。A-MEM 在记忆笔记之间建立不断演化的链接（Xu et al., 2025），而作为 Zep 底层图引擎的 Graphiti 维护带时间的实体与事实关系（Rasmussen et al., 2025）。

LoCoMo 从画像和时间事件图生成长期对话，并经过人工复核，用来评测问答、事件摘要和多模态对话生成（Maharana et al., 2024）。LongMemEval 覆盖跨会话推理、时间信息和状态更新，并在索引、检索和阅读阶段分析记忆系统（Wu et al., 2025）。Mem2ActBench 考察记忆如何支持随后的工具选择和参数规定（Shen et al., 2026），MemoryArena 在相互依赖的多会话任务上评测经验复用（He et al., 2026）。ColaBench 通过知识搜索、证据阅读和规则应用来研究随后的行动，追溯恢复出来的用户状态如何支撑每一项必需结论。

#### 个性化对话搜索

LaMP 研究为个性化分类和生成而检索用户特定记录（Salemi et al., 2024）。PersonaMem 在用户处境演化时评测画像跟踪和回复选择（Jiang et al., 2025）。TREC iKAT 是与个性化知识获取密切相关的基准。个人文本知识库规定用户背景，对话任务要求系统使用这一个人上下文。评测既覆盖段落相关性，也覆盖生成答案的相关性、完整性、依据和自然程度（Aliannejadi et al., 2024）。ColaBench 在模拟交互中记录个人状态的披露和知识暴露。它的任务把证据从公开的用户陈述，经规则前提，追溯到必需判断，从而能够评测由历史引导的知识检索和规则应用。

#### 证据级诊断

检索增强生成使用外部文档来生成答案（Lewis et al., 2020）。HippoRAG 结合知识图谱和个性化 PageRank，为多跳问答整合跨段落的证据（Jiménez Gutiérrez et al., 2024）。ALCE 评测答案正确性和支撑引用的质量（Gao et al., 2023）。RAGChecker 用细粒度主张来诊断检索覆盖和生成期间的证据使用，帮助识别相关文档已经检索到、但必需内容被省略的情形（Ru et al., 2024）。我们把必要的答案要求当作诊断单元，并把它们连接到个人条件的来源和规则的适用条件。这使我们能够考察必需证据是否被获得，以及是否被正确应用。

3. 基于证据图的构造

ColaBench 使用一套计划—创建—复核的多智能体框架，以分阶段的角色和信息访问，把合成的个人背景、交互历史和任务落实到检索到的文档上。一张证据图 $\mathcal{G}=(V,E)$ 从文档及其关系开始，并在整个构造过程中扩展。这张图纳入 Document、Profile、Fact、Topic、Turn 和 Item 节点。文档链接引导知识探索，而 Fact–Topic 关系组织用户状态和交互任务。事实披露和文档暴露的记录，决定后来的 Item 可以使用哪些个人条件和新知识。图 1 展示文档准备、三个生成阶段和 Item 增强中的角色与信息边界。

图 1。计划—创建—复核构造：（a）文档收集；（b）有依据的 Profile 和 Topic；（c）公开交互；（d）依赖历史的 Item 构造；（e）Item 增强与独立验证。不断增长的证据图引导知识探索，并通过已记录的 Fact 披露、文档暴露和支撑证据来约束生成与复核。面板 a 到 c 展示文档收集、有依据的 Profile 与 Topic 构造，以及把私有输入和公开输入分开的公开交互。面板 d 展示初始 Item 构造：问题撰写者看不到参考答案，盲求解者看不到历史，历史门加上最终审计来选择 Item。旁边的面板 e 分析每个初始 Item，用原始证据或另一篇支撑文档创建增强草稿，并独立验证历史依赖和证据支撑。通过的草稿成为增强 Item；失败的草稿被丢弃。底部的证据图引导知识探索，约束已披露状态和文档新颖性，并在各阶段支持证据验证。

3.1. 任务定义

评测任务考察智能体如何使用历史中的个人条件来获取并应用外部知识。我们把任务设定记为 $x=(q,\mathcal{H},\mathcal{K};\mathcal{M})$，其中 $q$ 是当前请求，$\mathcal{H}$ 是此前的公开交互历史，$\mathcal{K}$ 是冻结的知识库，$\mathcal{M}$ 表示第 5.2 节定义的评测指标。

表 1。一项 ColaBench 任务（经过改写）。

个人条件可以引导知识搜索，而新检索到的规则可以促使智能体回头查看历史。表 1 通过一项补助的共同居住要求说明这种交互。

3.2. 阶段 0：建造文档层

我们通过 API、XML 文件和网页，从经过筛选的公开来源收集公共健康信息、药品标签和开放教科书。文本清洗之后，基础语料含有 11,069 篇文档。每篇文档在证据图中形成一个初始 Document 节点，保留其文本和来源信息。附录 A.1 给出语料来源和处理的细节。

从种子文档出发，一个大语言模型检索并阅读相关文档，以建立落实在具体知识关系上的边，并为每条关系存储一段描述和一个权重。我们进一步搜索、获取并过滤相关主题的网页，把所得文档纳入语料和图。这一文档层为 Profile 生成和 Item 构造提供知识和探索链接。这些阶段中发现的网页也被加入为 Document 节点。

3.3. 阶段 I：落实 Profile 和 Fact

为了构造内部一致、生活处境多样的用户，一个 Profile 构造智能体，即 Director，从已有画像规划新场景，并查阅检索到的文档，来创建描述个人条件的 Fact 和规定交互任务的 Topic。一个独立的复核智能体对照已有状态和源材料，检查一致性、相关性和任务完整性。被接受的内容加入证据图。文档把合成场景落实在相关上下文和知识上，而 Profile、Fact、Topic 和 Document 之间的链接支持跨生活领域继续发展画像，并为随后的交互提供证据。

3.4. 阶段 II：增长公开交互痕迹

用户 Simulator 与 Assistant 之间的交互，随着任务展开逐渐披露个人条件。Simulator 可以访问冻结的 Profile 和 Topic，而 Assistant 使用公开对话和检索到的知识来回应。Simulator 根据 Assistant 的实际回复进行追问或切换 Topic，产生一条由任务进展驱动的连续 Trace。被接受的交互作为 Turn 节点进入证据图，记录 Fact 披露和文档暴露，从而建立可供随后构造使用的历史。

3.5. 阶段 III：构造 Item

为了构造一个初始 Item，Builder 从已披露的个人条件出发，寻找其应用需要这些条件的新知识，从而建立任务及其答案证据。然后一个独立的问题撰写角色，根据公开背景和任务意图写成一条自然的请求，把必要的个人上下文留在历史里。一项去掉历史的测试检查：没有公开交互历史时任务能否完成，以及某项未满足的答案要求是否依赖于缺失的历史条件。随后的复核评估来源支撑、知识新颖性，以及与此前交互的连续性。被接受的 Item 带着指向必需 Fact、历史 Turn 和支撑 Document 的链接进入证据图，从而可追溯地说明个人条件如何影响新知识的应用。构造细节和证据标注见附录 A。

3.6. Item 增强与验证

一个增强智能体检查每个初始 Item 的历史条件和知识规则，以发展把多项个人条件组合起来的决策任务（图 1(e)）。在公开交互历史固定的前提下，它选择两个增强方向之一：在原始证据内部重组条件依赖，或用来自同一 Topic 的检索候选替换支撑文档。它相应地更新问题、参考答案和答案要求。一个独立的 History Gate 和证据复核评估历史依赖、来源支撑和条件组合。附录 A.4 规定接受和验证程序。

3.7. 数据集概览

ColaBench 含有 10 个 Profile、349 个 Item 和 13,033 篇文档，如表 2 所概括。一项多 Fact 任务至少引用两个被标注的 Fact；一项引用多个会话的任务，其被标注的历史证据至少来自两个会话。附录 A.2 提供详细的结构统计；附录 C.3 的表 10 展示共享个人背景的任务。

表 2。ColaBench 的结构统计。

4. MemKB：与记忆相连的检索

MemKB 连接两个决定：用户的请求需要哪一类知识，以及检索到的规则如何用到他们的处境上。MemKB 在生成查询之前提供一份用户状态摘要，并通过记忆卡片与文档之间的显式链接来检索知识。然后它把这些候选与直接为当前查询检索到的文档融合起来（图 2）。

图 2。MemKB 的构造与作答。（a）公开历史产生状态摘要，以及链接到历史 Read 文档和未暴露知识库邻居的记忆卡片。（b）状态引导第一次查询；轮转式链接扩展和等权 RRF 把与记忆相连的候选、语义候选和关键词候选结合起来。搜索返回记忆、状态和文档片段。公开交互历史产生一个紧凑的状态库和由 Mem0 得到的记忆卡片。卡片向量编码记忆文本，显式文档链接把卡片连到历史 Read 文档和离线知识库邻居。状态库在第一次查询之前提供。一次查询对卡片排序，其链接文档按轮转分配，并与语义和关键词的知识库匹配并列。匹配到的记忆文本连同来源标识、完整状态库，以及经 RRF 融合的文档片段返回给智能体，它可以再次搜索、阅读文档或作答。

4.1. 记忆卡片与文档链接

给定公开交互历史 $\mathcal{H}$ 和冻结知识库 $\mathcal{K}$，我们用 Mem0（Chhikara et al., 2025）增量地建造个人记忆，并保留其写入记录。这些记录把每一次历史交互链接到它仍然存在的记忆 ID，形成卡片 $m_{i}$，带有来源消息 ID 以及其记忆文本的归一化嵌入。交互的公开 Read 记录中的文档标识和起始位置，使建造者能够从冻结知识库中恢复短片段，并建立文档链接。

对每张卡片，建造者用记忆文本，连同历史文档标题和片段，查询完整知识库。它把先前没有在该 Profile 历史中暴露过的顶部语义候选保留为离线文档链接。这些邻居和历史 Read 文档构成该卡片的链接文档集，把记忆同时连接到先前用过的知识和尚未探索的知识。邻居发现使用公开交互历史和完整的冻结知识库，而参照文档标注对建造者是隐瞒的。编码器设置和预算见附录 B.2。

一个语言模型从完整的公开交互历史中抽出紧凑的状态库 $S(\mathcal{H})$，保留每项条件关乎谁、它的时间上下文、未解决的条件，以及来源消息 ID。完整的 $S(\mathcal{H})$ 在第一次模型调用之前加入系统提示，使个人条件能够影响初始查询。每次搜索都返回同一个完整状态库，以支持对检索证据的解释和对规则适用性的评估。与查询相关的卡片额外加上记忆文本、来源消息 ID 和知识链接。

4.2. 与记忆相连的知识检索

Hybrid 通过语义通道和关键词通道直接从知识库检索文档。在检索步 $t$，智能体用当前请求 $q$ 和迄今获得的信息，生成语义查询 $q_{t}$ 和关键词集合 $w_{t}$。向量相似度和词项匹配分别产生候选列表 $L_{\mathrm{sem}}$ 和 $L_{\mathrm{key}}$，然后把它们的排序融合起来。在记忆检索与知识检索分开的基线中，一个专门的工具返回个人记忆，它通过智能体所表述的查询来影响知识检索。

MemKB 增加第三条检索通道，把查询相关性从记忆卡片转移到链接文档。同一个 $q_{t}$ 用归一化内积检索卡片。按照卡片的名次顺序，一轮转程序在每一轮从每张卡片取一篇文档，跳过已经在候选列表中的文档，直到候选预算用尽或所有卡片都用完。这产生 $L_{\mathrm{mem}}$。把候选名额分配到相关卡片上，使与不同历史条件相关联的知识能够进入候选集。

倒数排名融合（RRF）（Cormack et al., 2009）把与记忆相连的候选和 Hybrid 的两条直接检索通道结合起来，既纳入与个人历史的关联，也纳入与当前查询的直接匹配：（1）$s(d)=\sum_{c\in\{\mathrm{mem},\mathrm{sem},\mathrm{key}\}}\frac{\mathbf{1}[d\in L_{c}]}{\kappa+\operatorname{rank}_{L_{c}}(d)}.$ 这里 $L_{c}$ 是通道 $c$ 的候选列表，$\kappa$ 是排名平滑常数，名次从 1 开始。每篇文档在每个通道上至多贡献一次，三个通道权重相等。融合后的排序决定返回的文档，每篇都附带一段相关片段、文档 ID 和行范围。

一次 memkb_search 调用返回匹配卡片的记忆文本和来源标识、$S(\mathcal{H})$，以及融合后的文档片段。

4.3. 从用户状态到规则应用

同一个作答智能体把检索到的规则所规定的条件与用户的状态和记忆记录相比较，并按需要继续搜索或调用 Read。它的作答提示包含一条来源归属约束：区分记忆记录中的说话者、行动者和事件状态，并把个人沟通和决定落实在支撑它们的记录上。当来源或事件状态未被规定时，指示智能体保留这种不确定性。这一约束引导智能体在应用规则时保留个人条件的来源。

5. 实验设置

5.1. 方法与实验设置

我们把 Mem0、Graphiti 和 A-MEM 与一个通用的检索增强生成组件 Hybrid 配对，并与 No Memory+Hybrid 和 MemKB 比较。Hybrid 通过 RRF 在知识库上结合语义检索和关键词检索（Cormack et al., 2009）。

Mem0+Hybrid 基线使用 Mem0 的非图记忆（Chhikara et al., 2025）。Graphiti+Hybrid 检索从对话中抽出的关于实体及其关系的事实（Rasmussen et al., 2025），而 A-MEM+Hybrid 使用记忆演化和邻居扩展（Xu et al., 2025）。这三种方法从同一批公开的用户与助手消息建造记忆。MemKB 额外使用历史文档访问的公开记录来建造一条与记忆相连的检索通道，并在第一次查询之前提供状态摘要。

主比较使用来自 10 个 Profile 的全部 349 项任务，各方法使用同一个冻结知识库。所有方法在每项任务上最多可以进行四轮工具调用，然后是一轮最终作答。知识搜索默认返回五篇文档，最多 20 篇。Read 每次调用最多返回 100 行和 3,000 个词元。

所有方法都用 DeepSeek v4.1 Flash 作答。GLM-5.3 Flash 在另一次调用中以低推理力度评测每个答案。模型参数见附录 B.2，共享的评测协议见附录 D.1。

5.2. 评测指标

准确率衡量一个答案是否正确地完成当前任务。一个通过的答案必须处理所有被明确请求的子问题，并给出正确的核心结论和关键行动，包括相关的个人条件、适用要求和限制。评测者通过询问纠正它们是否会改变结论、行动、时机、适用性或安全，来检查事实错误和遗漏。影响任务完成的错误和遗漏导致失败；附带的差异被分开记录。有依据的等价措辞和对个人条件的隐含使用被接受，而未知事实则要求必要的条件分支。评测输入结合完整的公开历史、参考答案、要求、历史文档和任务支撑文档，以及每种方法实际的 Search 和 Read 返回。指标和输入细节见附录 D.1。

Read Recall 衡量被标注的新支撑文档 $G_{i}$ 被文档 $D_{i}^{\mathrm{read}}$ 覆盖的程度，后者是在最终答案之前 Read 返回了非空文本的文档。每项任务有一篇参照文档。在 $N$ 项被评测任务上，（2）$\mathrm{Read\ Recall}=\frac{1}{N}\sum_{i=1}^{N}\frac{|G_{i}\cap D_{i}^{\mathrm{read}}|}{|G_{i}|}.$ 搜索片段和记忆中已经存在的信息也可以直接支撑一个答案，因此我们把文档覆盖与准确率放在一起分析。

平均交互轮数是智能体轮数的均值，包括最终作答轮。

我们另外评估五个答案质量维度。每个维度使用与准确率相同的参照输入和候选可见证据，由一次单独的、盲的 GLM-5.3 Flash（低）调用打分。分数从 1 到 5，越高越好；附录 D.2 定义这些维度。

6. 结果与分析

6.1. 答案质量与知识获取

在 349 项任务上（表 3），MemKB 达到 86.25% 的准确率，比 Mem0+Hybrid 高 6.30 个百分点，尽管 Read Recall 接近（45.56% 对 44.70%）。这一差距促使我们考察答案如何使用个人条件和检索到的证据。No Memory+Hybrid 的准确率为 6.59%，而 Graphiti+Hybrid 为 80.80%，说明恢复个人上下文的重要性。MemKB 比 A-MEM+Hybrid 高 4.87 个百分点，并且比 A-MEM+Hybrid 和 Mem0+Hybrid 分别少用 0.35 和 0.37 轮交互。

表 3。349 项任务上的主比较。准确率和 Read Recall 是百分比；轮数包括最终答案。

#### 条件覆盖与规则应用

表 4 在来自三个 Profile 的 111 项任务上评测五个维度。MemKB 在所有维度上得分更高，最大增益在条件覆盖和规则应用（都是 +0.207）。在 MemKB 答对而 Mem0+Hybrid 答错的 16 项任务上，规则应用的平均增益为 1.563 分。这些结果把记忆的使用连接到识别所需知识，以及把它用到用户处境上。

表 4。来自三个 Profile 的 111 项任务上、由模型评估的答案质量分数。每个维度从 1 分到 5 分。

图 3。349 项任务上的任务结构与证据获取。（a,b）按 Fact 数量和历史配对数量划分的准确率。（c）两者都暴露：两种方法都通过搜索或 Read 收到参照文档；两者都读过：通过 Read。（d）在共同的构成权重下的配对增益，带有 95% 的按 Profile 聚类的自助区间。pp：百分点；req.：答案要求。四个面板展示按任务结构、共享参照访问和任务构成调整划分的增益及置信区间。

6.2. 组合个人信息

#### 个人条件及其历史来源

我们按被标注的 Fact 数量和被引用的用户—助手交互对数量来分组，以考察组合了更多个人信息的任务。在图 3(a,b) 中，单 Fact 任务上的准确率增益为 4.96 个百分点，多 Fact 任务上为 9.35 个百分点。引用一或两对交互的任务上增益为 5.33 个百分点，引用至少三对的任务上为 8.57 个百分点。这些分组有重叠：91 项多 Fact 任务也至少引用三对交互。当任务组合个人信息时，MemKB 的增益更大。

#### 对任务构成的敏感性

按 Profile 和答案要求数量分层，并对同时包含两种 Fact 组的层施加共同权重，在 316 项任务上得到 4.87 和 14.41 个百分点的增益（图 3(d)）。再加上构造批次，在 275 项任务上，单 Fact 和多 Fact 任务的增益为 5.86 和 12.24 个百分点。附录 C.2 给出分层和自助区间的细节。这些分析中更大的观察增益，突出了把多项历史条件组织起来对于知识选择和规则应用的价值。

表 5。个人上下文与规则应用的配对案例。回复经过改写。

6.3. 共享访问与答案质量

我们在由两种方法观察到的参照文档访问所定义的子集上考察答案质量（图 3(c)）。满足两者都暴露的 136 项任务，是每种方法都通过搜索或一次非空 Read 回应收到参照文档的那些。Mem0+Hybrid 的准确率为 86.03%，MemKB 为 90.44%。在满足两者都读过的 108 项任务上，即每种方法都通过 Read 收到文档文本，准确率分别为 87.96% 和 90.74%。即便能访问同一篇文档，可见的段落、可用的个人条件及其应用仍可能不同。连同下面的案例，这些答案差距突出了个人条件在应用已检索知识时的作用。

6.4. 案例研究：规则应用

表 5 把个人历史的恢复，与未能保住一个未知条件的共同失败相对照；附录 C.4 提供来源证据。

#### 查询主题之外的个人历史

尽管读了同一篇禁忌文档，Mem0+Hybrid 的两次记忆搜索强调教学内容，而它的答案声称没有癌症治疗记录。MemKB 的状态摘要保留了用户的癌症史；它的答案区分既往治疗和当前治疗，并把未知的治疗和用药细节保持为条件性的。

#### 处理未经确认的个人条件

两种方法都正确回答了纳洛酮可及性问题，但都断言使用了阿片类药物来评估个人风险。MemKB 的状态摘要说的是“处方止痛药”，但它的答案指定了阿片类。先前讨论过某一药物类别，并不能确立个人使用：应用一条规则，要求把已知条件落实下来，并为未知前提保留条件分支。

6.5. 状态摘要与文档链接

我们在来自三个 Profile 的 111 项任务上评测组件消融。消融去掉状态摘要或文档链接之一，同时保留第 5 节中的作答模型、评测标准和交互预算。消融设置详见附录 B.3。

去掉状态摘要和文档链接，分别使准确率下降 6.31 和 10.81 个百分点（表 6）。

表 6。来自三个 Profile 的 111 项任务上的消融；相对 MemKB 的变化写在括号里（百分点或轮数）。

#### 组织个人条件

去掉状态摘要，会消除第一次查询之前以及搜索回应中的状态信息，同时保留与查询相关的记忆文本。第一次搜索的命中率从 36.94% 降到 22.52%，平均交互轮数从 4.27 增到 4.49。显式地组织这些条件，帮助智能体更早定位相关知识，并把个人条件带进随后的判断。

#### 把记忆连接到知识

去掉文档链接会保留状态摘要和返回的记忆文本，知识候选改由语义检索和关键词检索提供。Read Recall 从 42.34% 降到 36.94%，而整个交互上的搜索命中率从 46.85% 升到 61.26%。这些相反的趋势把搜索暴露和随后的阅读区分开：有文档链接时，MemKB 在更多任务上读到参照文档，并正确完成更多任务。

合起来，这 111 项任务上的消融支持使用被组织起来的个人条件和与记忆相连的知识，来引导获取并为规则应用提供依据。

6.6. 错误分析

我们用 GLM-5.3 Flash（低）分析 48 个失败的 MemKB 答案，并给出完整的评测参照和实际作答痕迹。图 4 把每个答案的主要错误类别与其关键证据的可见性联系起来。附录 D.3 定义这些类别、主要类别的选择和证据可见性。

图 4。48 个 MemKB 失败的主要错误类别，以及由模型评估的证据可见性。格子里是计数；行合计包含百分比。其他问题为零例。一张四行三列的计数热图。个人假设有 1 个不可见、10 个部分可见和 6 个可见；答案遗漏为 7、5 和 1；规则误用为 2、3 和 7；上下文利用不足为 0、3 和 3。

个人假设是最大的类别。另一个 Profile 的纳洛酮任务说明状态抽取期间的一个错误。用户确认自己服用一种处方止痛药，但推导出的状态把它归入阿片类。答案随后把与阿片类相关的指导当作对本人适用。这个错误始于记忆表示；第 6.4 节的案例说明作答期间一次没有依据的推断。两者都表明，在应用规则时，个人条件的来源和不确定性为什么重要。

答案遗漏和规则误用暴露不同的失败点。一个关于头皮冷却的答案省略了其检索上下文中并不存在的一条禁忌，而一个关于神经病变的答案尽管已经读过相关的热风险指导，仍然建议足浴。前者反映缺少与决定相关的证据；后者反映把一条可见的规则错误地用到用户身上。

这些错误表明，由记忆引导的知识任务既需要与决定相关的证据，也需要在应用它时对用户条件有忠实的说明。

7. 讨论与局限

方法发展和比较使用十个 Profile，组件消融用在三个选定的 Profile 上。推广到新用户，以及自动评测的可靠性，需要独立的数据和人工校准。冻结的健康与日常生活语料使文档版本、来源和阅读范围可复现；向其他领域和实时网页环境的推广仍有待评测。知识来自真实文档，而交互编码的是合成的个人状态。任务答案没有经过临床验证。

8. 结论

ColaBench 通过一张把答案要求链接到历史证据和文档证据的证据图，评测由记忆引导的知识获取与应用。MemKB 以更少的交互轮数提高任务准确率，消融支持状态摘要和文档链接的贡献。合在一起，它们把记忆评测连接到智能体所获取的知识，以及它们所做的针对用户的判断。

参考文献

• Aliannejadi et al. (2024) M. Aliannejadi、Z. Abbasiantaeb、S. Chatterjee、J. Dalton 与 L. Azzopardi。TREC iKAT 2023：用于评测对话式与交互式知识助手的测试集。载于《第 47 届国际 ACM SIGIR 信息检索研究与发展大会论文集》，美国纽约州纽约市。外部链接：Document (https://dx.doi.org/10.1145/3626772.3657860)，Link (https://arxiv.org/abs/2405.02637)。被引于：§1、§2。这篇工作给出 TREC iKAT 2023，用来评测对话式和交互式知识助手。
• Chhikara et al. (2025) P. Chhikara、D. Khant、S. Aryan、T. Singh 与 D. Yadav。Mem0：用可扩展的长期记忆建造可投产的人工智能智能体。外部链接：2504.19413，Link (https://arxiv.org/abs/2504.19413)。被引于：§2、§4.1、§5.1、表 3。这篇工作用可扩展的长期记忆建造可投产的人工智能智能体。
• Cormack et al. (2009) G. V. Cormack、C. L. A. Clarke 与 S. Büttcher。倒数排名融合优于孔多塞方法和单独的排序学习方法。载于《第 32 届国际 ACM SIGIR 信息检索研究与发展大会论文集》。外部链接：Link (https://plg.uwaterloo.ca/~gvcormac/cormacksigir09-rrf.pdf)。被引于：§4.2、§5.1、表 3。这篇工作说明倒数排名融合优于孔多塞方法和单独的排序学习方法。
• Gao et al. (2023) T. Gao、H. Yen、J. Yu 与 D. Chen。让大语言模型生成带引用的文本。载于《2023 年自然语言处理经验方法大会论文集》，新加坡，第 6465–6488 页。外部链接：Document (https://dx.doi.org/10.18653/v1/2023.emnlp-main.398)，Link (https://aclanthology.org/2023.emnlp-main.398/)。被引于：§2。这篇工作让大语言模型生成带引用的文本。
• He et al. (2026) Z. He、Y. Wang、C. Zhi、Y. Hu、T. Chen、L. Yin、Z. Chen、T. A. Wu、S. Ouyang、Z. Wang、J. Pei、J. McAuley、Y. Choi 与 A. Pentland。在相互依赖的多会话智能体任务上为智能体记忆做基准评测。载于《第 43 届国际机器学习大会论文集》，《机器学习研究论文集》，第 306 卷，第 41975–42005 页。外部链接：Link (https://proceedings.mlr.press/v306/he26am.html)。被引于：§1、§2。这篇工作在相互依赖的多会话智能体任务上为智能体记忆做基准评测。
• Jiang et al. (2025) B. Jiang、Z. Hao、Y. Cho、B. Li、Y. Yuan、S. Chen、L. Ungar、C. J. Taylor 与 D. Roth。了解我，回应我：大规模评测大语言模型的动态用户画像与个性化回复。载于《第二届语言建模大会》。外部链接：Link (https://openreview.net/forum?id=6ox8XZGOqP)。被引于：§1、§2。这篇工作大规模评测大语言模型的动态用户画像和个性化回复。
• Jiménez Gutiérrez et al. (2024) B. Jiménez Gutiérrez、Y. Shu、Y. Gu、M. Yasunaga 与 Y. Su。HippoRAG：受神经生物学启发的、面向大语言模型的长期记忆。载于《神经信息处理系统进展》，第 37 卷。外部链接：Document (https://dx.doi.org/10.52202/079017-1902)，Link (https://proceedings.neurips.cc/paper_files/paper/2024/hash/6ddc001d07ca4f319af96a3024f6dbd1-Abstract-Conference.html)。被引于：§2。这篇工作提出受神经生物学启发的、面向大语言模型的长期记忆 HippoRAG。
• Lewis et al. (2020) P. Lewis、E. Perez、A. Piktus、F. Petroni、V. Karpukhin、N. Goyal、H. Küttler、M. Lewis、W. Yih、T. Rocktäschel、S. Riedel 与 D. Kiela。面向知识密集型自然语言处理任务的检索增强生成。载于《神经信息处理系统进展》，第 33 卷。外部链接：Link (https://arxiv.org/abs/2005.11401)。被引于：§1、§2。这篇工作提出面向知识密集型自然语言处理任务的检索增强生成。
• Maharana et al. (2024) A. Maharana、D. Lee、S. Tulyakov、M. Bansal、F. Barbieri 与 Y. Fang。评测大语言模型智能体的超长期对话记忆。载于《第 62 届计算语言学协会年会论文集（第一卷：长文）》，泰国曼谷，第 13851–13870 页。外部链接：Document (https://dx.doi.org/10.18653/v1/2024.acl-long.747)，Link (https://aclanthology.org/2024.acl-long.747/)。被引于：§1、§2。这篇工作评测大语言模型智能体的超长期对话记忆。
• Packer et al. (2023) C. Packer、S. Wooders、K. Lin、V. Fang、S. G. Patil、I. Stoica 与 J. E. Gonzalez。MemGPT：把大语言模型当作操作系统。外部链接：2310.08560，Link (https://arxiv.org/abs/2310.08560)。被引于：§1、§2。这篇工作把大语言模型当作带记忆层级的操作系统。
• Park et al. (2023) J. S. Park、J. O’Brien、C. J. Cai、M. R. Morris、P. Liang 与 M. S. Bernstein。生成式智能体：人类行为的交互式模拟。载于《第 36 届 ACM 用户界面软件与技术研讨会论文集》，美国纽约州纽约市。外部链接：Document (https://dx.doi.org/10.1145/3586183.3606763)，Link (https://doi.org/10.1145/3586183.3606763)。被引于：§2。这篇工作用生成式智能体做人类行为的交互式模拟。
• Rasmussen et al. (2025) P. Rasmussen、P. Paliychuk、T. Beauvais、J. Ryan 与 D. Chalef。Zep：面向智能体记忆的时序知识图谱架构。外部链接：2501.13956，Link (https://arxiv.org/abs/2501.13956)。被引于：§2、§5.1、表 3。这篇工作给出面向智能体记忆的时序知识图谱架构 Zep。
• Ru et al. (2024) D. Ru、L. Qiu、X. Hu、T. Zhang、P. Shi、S. Chang、C. Jiayang、C. Wang、S. Sun、H. Li、Z. Zhang、B. Wang、J. Jiang、T. He、Z. Wang、P. Liu、Y. Zhang 与 Z. Zhang。RAGChecker：诊断检索增强生成的细粒度框架。外部链接：2408.08067，Link (https://arxiv.org/abs/2408.08067)。被引于：§2。这篇工作给出诊断检索增强生成的细粒度框架 RAGChecker。
• Salemi et al. (2024) A. Salemi、S. Mysore、M. Bendersky 与 H. Zamani。LaMP：当大语言模型遇上个性化。载于《第 62 届计算语言学协会年会论文集（第一卷：长文）》，泰国曼谷，第 7370–7392 页。外部链接：Document (https://dx.doi.org/10.18653/v1/2024.acl-long.399)，Link (https://aclanthology.org/2024.acl-long.399/)。被引于：§2。这篇工作研究大语言模型与个性化相遇时的检索与生成。
• Shen et al. (2026) Y. Shen、K. Li、W. Zhou 与 S. Hu。Mem2ActBench：评测面向任务的自主智能体如何利用长期记忆的基准。载于《第 64 届计算语言学协会年会论文集（第一卷：长文）》，美国加利福尼亚州圣迭戈，第 8173–8190 页。外部链接：Document (https://dx.doi.org/10.18653/v1/2026.acl-long.370)，Link (https://aclanthology.org/2026.acl-long.370/)。被引于：§1、§2。这篇工作评测面向任务的自主智能体如何利用长期记忆。
• Wu et al. (2025) D. Wu、H. Wang、W. Yu、Y. Zhang、K. Chang 与 D. Yu。LongMemEval：在长期交互记忆上为聊天助手做基准评测。载于《国际学习表征大会》。外部链接：Link (https://openreview.net/forum?id=pZiyCaVuti)。被引于：§1、§2。这篇工作在长期交互记忆上为聊天助手做基准评测。
• Xu et al. (2025) W. Xu、Z. Liang、K. Mei、H. Gao、J. Tan 与 Y. Zhang。A-Mem：面向大语言模型智能体的智能体式记忆。载于《神经信息处理系统进展》，第 38 卷。外部链接：Document (https://dx.doi.org/10.52202/085713-0593)，Link (https://proceedings.neurips.cc/paper_files/paper/2025/hash/19909c36f51abc4856b4560aff3d36d6-Abstract-Conference.html)。被引于：§2、§5.1、表 3。这篇工作提出面向大语言模型智能体的智能体式记忆 A-Mem。
• Zhang et al. (2025) Y. Zhang、M. Li、D. Long、X. Zhang、H. Lin、B. Yang、P. Xie、A. Yang、D. Liu、J. Lin、F. Huang 与 J. Zhou。Qwen3 Embedding：借助基础模型推进文本嵌入与重排序。外部链接：2506.05176，Link (https://arxiv.org/abs/2506.05176)。被引于：§B.2。这篇工作借助基础模型推进文本嵌入与重排序。
• Zhong et al. (2024) W. Zhong、L. Guo、Q. Gao、H. Ye 与 Y. Wang。MemoryBank：用长期记忆增强大语言模型。载于《AAAI 人工智能大会论文集》，第 38 卷，第 19724–19731 页。外部链接：Document (https://dx.doi.org/10.1609/aaai.v38i17.29946)，Link (https://ojs.aaai.org/index.php/AAAI/article/view/29946)。被引于：§1、§2。这篇工作用长期记忆增强大语言模型。

附录 A 数据集与构造协议

A.1. 语料来源

表 7 概括冻结知识库的来源。我们从公开 API、XML 文件、网页和开放教科书中抽取文本，去掉格式标记和导航内容，同时保留标题、正文和来源 URL。文档按条目、章节或药品标签字段组织。网页新增部分按正文去重。

表 7。冻结知识库的来源。网页新增包括选定的支撑材料和相关候选文档。

A.2. 任务标注

表 8 描述 349 项任务的标注。单 Fact 任务和多 Fact 任务分别引用一个 Fact 和至少两个 Fact。一个 Fact 可以包含若干相关的个人条件。历史引用按用户—助手交互对计数，跨会话统计遵循第 3.7 节的定义。1,015 项答案要求是用来评测准确率的标准；它们的计数也用在第 6 节的任务构成分析里。

表 8。每项任务的标注计数分布。每个格子给出任务数，每一行加总为 349。

A.3. 历史与证据构造

公开的用户陈述确立个人条件，而当前请求跟在全部公开会话之后。交互历史保留工具调用参数和文档导航信息；历史中用过的文档全文可在冻结知识库中取得。离线记忆构造使用公开交互历史和冻结知识库。在线执行期间，智能体收到当前请求，并通过每种方法提供的状态、记忆和工具输出来获得相关信息。私有 Fact、参考答案、答案要求以及参照文档标注对各种方法都是隐瞒的。

已完成的 Topic 用固定随机种子无放回抽样，每个 Topic 有一次初始 Item 构造尝试。从冻结语料构造的任务使用公开交互历史，以及知识库的搜索和阅读工具。对有网页支撑的任务，Builder 用当前 Topic 及其相关 Fact 的来源交互去搜索网页并取得支撑文本。新的支撑文档排除历史中已经暴露过的文档，以及完全重复的来源。在阅读一篇文档之前，Builder 记录揭示该文档的搜索事件。文档身份检查和语义验证合在一起，判断所需知识是否已经在历史中可得。

#### 构造模型与精炼

所有构造角色，包括多条件增强，都通过智谱 Coding Plan、在温度 0 下使用 GLM-5.3 Flash。Profile 建造者每次调用的输出上限是 16,384 个词元。问题撰写允许 8,192 个词元；去掉历史的求解者和最终验证者允许 24,576，要求比较器允许 16,384。分开的提示规定每个角色的任务和证据访问，如图 1 所示。

A.4. 接受与证据映射

去掉历史的测试把当前问题和新增支撑文本交给一个盲求解者。一个比较器把它的答案对照参考答案和必要要求来检查。当全部要求都得到满足时，任务被标为没有历史也可回答；当一项要求因为缺少历史上下文而未满足时，标为依赖历史。其余情形被标为证据不足。最终验证检查：任务是否自然地延伸这次交互，个人条件是否落实在它们的来源上，历史知识是否不足，新证据是否支撑答案，以及答案是否补充了信息并满足安全要求。它保留前一项测试给出的历史依赖标签。

我们把每项答案要求表示为 $e_{j}=(r_{j},U_{j},F_{j},K_{j},a_{j})$，把要求 $r_{j}$ 链接到逐字的用户陈述 $U_{j}$、个人条件 $F_{j}$、知识规则 $K_{j}$，以及必需的判断或行动 $a_{j}$。个人证据追溯到用户消息，知识证据追溯到文档。未知前提通过条件分支来处理。程序化检查验证标识符和引用完整性，而一个语言模型对照源文本评估语义支撑。

#### Item 精炼与增强

精炼在保留公开历史和个人条件的同时，联合更新问题、参考答案、要求和证据映射。改写保留支撑文档。多条件增强围绕初始任务把至少两个已披露的条件组合起来，识别每一项所影响的判断，并可以用来自同一 Topic 的检索候选替换文档。所有草稿都经过去掉历史的测试，以及对来源支撑和可回答性的最终验证；增强还额外要求依赖于多项条件。失败的草稿被排除，修订则按同一标准重新评测。

附录 B 实现与实验设置

B.1. 记忆与检索实现

Mem0 使用官方 SDK 2.0.20 中的非图记忆路径，采用默认的抽取和更新操作，以及本地 Qdrant 存储。Mem0+Hybrid 和 MemKB 共享由此得到的记忆。对 MemKB 而言，一条未能解析的历史 Read 引用不贡献历史文档链接；记忆记录、有效的历史链接和离线邻居链接被保留。

Graphiti 使用 SDK 0.31 和 Neo4j，把每一个完整的交互对存成一个 episode，并用它内置的 RRF 检索关系事实。A-MEM 使用作者对笔记分析、邻居链接、记忆演化和检索扩展的实现。每次 A-MEM 记忆回应上限为 5,120 个词元，包括序列化后的返回结构。笔记按原始检索顺序去重并整条装入。所有记忆库都从同一批 599 个公开交互对建造，保留消息角色和来源。

记忆基线暴露分开的 memory_search 和 kb_search 工具；MemKB 使用 memkb_search。所有方法共享 Read 和知识索引，关键词检索采用 ColaSearch 的基于词项的检索。

B.2. 模型与检索配置

表 9 列出模型和检索设置，包括 Qwen3 编码器（Zhang et al., 2025）。离线发现为每张卡片检索 20 个语义候选，并排除先前已经暴露的文档。每张卡片先列出检索到的邻居，再列出历史 Read 文档，各自保持原有顺序；轮转扩展在卡片之间去重。

所有方法共享作答指令：保留行动者、时间和未知条件，并处理每一项被请求的决定。

表 9。主比较的配置。输出上限按每次调用计算，智能体预算按每项任务计算。

B.3. 组件消融

组件消融覆盖来自三个 Profile 的全部 111 项保留任务（40、36 和 35）。完整的 MemKB 配置复用主比较中的答案和判定。消融配置使用相同的模型、评测标准和交互预算。

状态摘要消融去掉第一次查询之前以及搜索结果中提供的状态列表，同时保留与查询相关的记忆。文档链接消融清空每张卡片的链接文档集，同时保留记忆向量、状态摘要、返回的记忆文本，以及来源归属约束。表 6 报告结果。

附录 C 补充分析与案例

C.1. 配对估计

主比较在全部 349 项任务上保留方法之间的配对。我们在十个 Profile 上做聚类自助，20,000 次重复，随机种子 20261014。MemKB 相对 Mem0+Hybrid 的准确率增益为 6.30 个百分点，95% 置信区间为 [3.19, 9.09]。

C.2. 任务构成敏感性

图 3(d) 按 Profile 和答案要求数量对任务分层，并在进一步调整中加入构造批次。每项分析只保留同时包含单 Fact 和多 Fact 任务的层。我们在每一层内计算 MemKB 相对 Mem0+Hybrid 的准确率增益，再用该层的任务数作为权重把增益汇总。两组使用相同的层权重。两个共同支撑集分别含有 316 和 275 项任务。构造批次记录初始 Item 的准入路径：直接接受（155 项任务），或在修订并重新验证后接受（194 项任务），由构造元数据识别。

重抽样保留任务级配对，并在每一次重复中重新计算层权重，使用上面的自助设置。多 Fact 任务与单 Fact 任务之间未经调整的增益差为 4.39 个百分点，95% 置信区间为 [ $-5.52$ , 15.20]。按 Profile 和要求数量调整后，差为 9.54 个点，区间为 [ $-2.21$ , 21.75]；再加上构造批次，得到 6.39 个点，区间为 [ $-4.29$ , 18.67]。图中的误差线给出每一组配对增益的置信区间。组间差异的区间，是在每一次自助重复内把增益相减得到的。这些探索性区间没有针对多重比较做调整。

C.3. 跨任务的共享背景

按 Profile 和被选 Fact 的精确集合对任务分组，在 349 项任务上得到 98 组。其中 60 组至少涉及两篇不同的参照文档，覆盖 311 项任务（89.1%）。表 10 给出共享同一份个人背景的三项任务。每个问题要求不同的规则，而这些规则的应用取决于亲属的病情，以及历史中记录的照护者距离。

表 10。共享同一份个人背景的三项任务：用户从远处照顾一位患有阿尔茨海默病的亲属。问题和答案要点经过改写。

C.4. 案例证据

表 1 中的 HFC 资格例子，依据的是用户关于照护关系和独自生活的公开陈述，以及冻结的 Care Grants (https://wearehfc.org/care-grants) 页面。照护角色和共同居住各自决定相关规则是否适用。

#### 治疗史

对任务 item_0a49978ebac6，用户消息 tu_0f0b8cae0621_user 说：“I’m a survivor of childhood cancer, and I still go for long-term follow-up care as an adult to keep an eye on how my treatment might be affecting me.”（我是儿童癌症的幸存者，成年后仍去做长期随访，留意治疗可能怎样影响我。）两种方法都读了 NICHD 文档 kb_4cd3cbc8ac；它开头的 40 行包括化疗指导，以及针对“正在接受放射治疗”的女性的规则。Mem0+Hybrid 回答：“no record of HIV, HTLV, tuberculosis, cancer treatment, or radiation”（没有 HIV、HTLV、结核、癌症治疗或放射的记录）。MemKB 则把治疗细节保持为条件性的：“I don’t have your actual treatment details”（我没有你实际的治疗细节）。

#### 药物类别

对任务 item_21c9bf907c11，消息 tu_5415ad4050d9_user 说：“I take prescription pain medicine that my doctor prescribed.”（我服用医生开的处方止痛药。）两种方法都完整读了 CVS 文档 kb_web_73f82c20a758ffd8（Read 偏移 0–18），其中包括条件“阿片类药物过量风险升高”，以及“无需个人处方”即可获得。MemKB 写道：“You do take a prescribed opioid pain medicine”（你确实在服用一种处方阿片类止痛药）；Mem0+Hybrid 写道：“You’re currently taking a prescription opioid pain medicine”（你目前正在服用一种处方阿片类止痛药）。

#### 错误分析证据

在任务 item_a6b3ffbe02ec 中，用户消息 tu_5add4071b6e7_user 说：“I take prescribed pain medicine for my cancer-related pain”（我为与癌症相关的疼痛服用处方止痛药）。状态 state_006 加上了“(opioid)”，答案于是把与阿片类相关的纳洛酮指导当作适用。FDA 文档 kb_web_cf4e473771cdc3d7 提供了阿片类药物使用这一条件；历史陈述并没有指明药物类别。

在头皮冷却任务 item_0b65cfc2b717 中，文档 kb_web_838a73aeafde37e1 写明，对“由低温引起的偏头痛”不建议冷却。返回的片段提到与癌症相关的排除，但省略了这条规则；智能体转而阅读 kb_web_a5e06a9cd52e5f04。在神经病变任务 item_b58978a86ea7 中，智能体读了 kb_web_f0f60132da209c71，其热风险清单包括“温水足浴”，却仍然建议做一次带温度检查的温水足浴。

附录 D 评测协议

D.1. 指标与打分输入

准确率遵循第 5.2 节：一次调用检查个人事实、知识主张和任务要求，返回 pass、fail 或 needs_adjudication。所有主比较和消融判定都归结为 pass 或 fail；准确率用通过数除以该比较中的全部任务。第 6.6 节的 48 个 MemKB 错误是失败的答案。

Read Recall 遵循第 5.2 节，使用具有非空 Read 返回的不重复参照文档；搜索片段、失败的阅读和空的阅读不计。第一次搜索命中率和整体搜索命中率，分别衡量参照文档是否出现在第一次、或任意一次成功的知识搜索回应中。它们的分母包括该批次的全部任务，把没有成功搜索的任务计为未命中。只搜记忆的搜索、失败的调用和内部候选被排除。

所有方法共享该任务的完整公开历史、参考答案、要求，以及固定的历史文档和新支撑文档，作为评测参照。1,015 项要求规定适用条件和未知前提。候选输入加上答案，以及实际的 Search 片段和 Read 文本。智能体可见的证据包括所提供的状态、记忆和 Search/Read 返回；内部候选和仅供评测者使用的材料被排除。完整的构造、记忆和评测提示以及输入模板将在 GitHub 上提供。模型参数见附录 B.2。

D.2. 答案质量维度

我们在 111 项任务的消融批次上，评测 Mem0+Hybrid 和 MemKB 的 222 个答案。状态保真检查被表示的个人条件是否保住了历史上的说话者、行动者、时机和不确定性。条件覆盖衡量当前任务所需的个人前提是否在实质上得到反映。证据依据评估知识主张在所提供的文档和实际检索到的段落中是否有支撑。规则应用评测前提、限制、例外和时机是否被正确地用到用户的处境上。答案完整性衡量对被请求的子问题和必要行动的覆盖。每次调用返回一个分数，并附带候选摘录、来源证据和一条理由。

D.3. 错误类别与证据可见性

主要类别指出每个失败答案的决定性错误；它的准确率判定不变。个人假设涵盖把未知状态、计划、建议或另一个人的信息，当作已经确立的个人事实。上下文利用不足涵盖未能把已经确立的用户条件用到当前判断上。规则误用涵盖不正确的知识主张、规则解释或适用性判断。答案遗漏涵盖必要的子问题、行动、限制或步骤没有回答，而且没有更直接的个人上下文错误来解释这一遗漏。其他问题涵盖这些类别之外的错误，或未能解决的归属与来源冲突。最多两个次要类别记录其他有独立支撑的错误；图 4 报告主要类别。

可见性关乎解决这些错误所需的个人前提和规则，对照智能体的问题、状态、记忆以及 Search 和 Read 返回来评估。可见表示全部必需证据都可得；部分可见表示有些证据可得，但关键内容缺失；不可见表示关键证据不在。仅供评测者使用的材料和未返回的候选被排除；对没有支撑的个人断言，可见性关乎正确的条件或不确定性。当记录或来源冲突使可靠判断无法做出时，使用不确定；没有答案得到这个标签。