熵平均少 34.7%：百度参与的 MemBubble 用真实对话评记忆会不会收窄回答

熵平均少 34.7%：百度参与的 MemBubble 用真实对话评记忆会不会收窄回答

中国科学院计算技术研究所与百度的预印本 MemBubble: Benchmarking How Agent Memory Shapes LLM Response Diversity。arXiv 提交日期是 2026 年 10 月 18 日（2610.25127v1）。作者包括 Jiajun Tan、Fei Sun，以及百度的 Xinyu Ma、Daiting Shi。MemBubble 评的不是记忆能不能记住偏好，而是记忆处理后，开放问题的回答分布有没有被收窄。

1000 对，查询故意离开偏好场景

现有评测多用合成对话，覆盖的记忆系统少。这篇用真实用户和助手对话抽出偏好，做成 1000 对：多会话历史，加一条开放测试问题。偏好对话涉及 35 种语言，英语和中文最多。测试问题覆盖 14 个话题，STEM 以及艺术与文学最大。

测试问题选在和偏好不同的场景里，但共享偏好类别，用来保住话题相关。这样测的是记忆会不会把回答往偏好上挤，而不是用户本来就在问同一件事。

记忆条件四套：MemoryBank、A-Mem、mem0、MemoryOS。它们从多会话历史建持久记忆，检索后再回答。NaiveRAG 只从原始历史里检索相关会话，当作简单对照。另外两个参照：不给记忆（No mem），以及把完整交互历史直接放进上下文（Full history）。

多样性用功能等价类。每条查询抽 k 个回答，k = 10，temperature 1.0。两个指标都是越高越散：Adapted Distinct-k，以及类熵。表上的差值是相对 No mem 的带符号差。平均变化也是相对 No mem。

持久记忆比「把全文塞进去」更收窄

表里六家模型：GPT-6-Sol、GPT-5.6-Luna、Claude Haiku 4.5、Gemini 3.7 Flash、GLM-5.3-flash、Llama3.3-70B。

Adapted Distinct-k，相对 No mem 的平均变化：Full history +1.84%，NaiveRAG −17.10%，MemoryBank −28.63%，A-Mem −28.69%，mem0 −33.89%，MemoryOS −16.50%。

类熵的平均变化：Full history +2.39%，NaiveRAG −22.75%，MemoryBank −39.58%，A-Mem −39.88%，mem0 −46.66%，MemoryOS −21.77%。

摘要里的 34.7% 是另一口径：和「直接给完整交互历史」比，熵平均下降 34.7%。不是和 No mem 比。Full history 相对 No mem 的类熵平均还高 2.39%，所以把原文塞进上下文，并不等于记忆模块。收窄主要出在记忆加工和检索之后。

单格不能用平均代替。类熵上，mem0 把 GPT-6-Sol 从 No mem 的 1.46 收到 0.67（−0.78），Llama3.3-70B 从 1.00 收到 0.40（−0.60）。Gemini 3.7 Flash 的 No mem 类熵只有 0.76，mem0 是 0.57（−0.19），降幅小于前两家。MemoryOS 对 GPT-6-Sol 的 Distinct-k 是 2.81，相对 3.67 差 0.85，降幅小于 mem0 的 1.51。

这些数不能被读成什么

34.7% 对的是完整历史，表上的百分数对的是 No mem，两套不能相加。k 固定 10，temperature 固定 1.0。等价类由裁判划分，换裁判会改熵。1000 对来自真实对话，但测试问题是按共享类别另造的，不是用户原话的下一句。

六家模型和五套记忆加两个参照，没有覆盖所有商用记忆产品。简单的用户侧干预，以及改变信息可得性，摘要写明没有有效补上多样性缺口；干预的逐步幅度不在主表里，不能写成「干预无效到某个百分点」。个性化有没有变好，这篇没有同时给满意度或偏好命中的主表，多样性下降不能单独当成记忆失败。许可证是 arXiv 非排他分发许可。

出处：百度，Xinyu Ma、Daiting Shi、Jiajun Tan、Fei Sun 等，MemBubble: Benchmarking How Agent Memory Shapes LLM Response Diversity，2026-10-18，https://arxiv.org/abs/2610.25127