答判一体没有消融：阿里云把 PolarDB 记忆的 91.2% 限定成字面对照

答判一体没有消融：阿里云把 PolarDB 记忆的 91.2% 限定成字面对照

阿里云帮助中心在 2026 年 11 月 4 日更新了 PolarDB Agent Memory 的长期记忆评测。PolarDB 是阿里云的云原生数据库，这篇把其中的 Agent Memory 当成长期记忆服务来测，而不是再发一版产品介绍。评测用的是 LoCoMo：10 个超长会话、1540 道计分题。报告同时给了记忆质量、检索延迟、存储和 Token 成本，并对照八个长期记忆方案以及 VikingMem 的公开结果。原文把边界写在最前面：不同评测的模型和部署条件并不相同，跨系统数字只是字面对照，不是同一环境下的对比实测，结论只适用于本报告写明的条件。

被测的是哪条链路

PolarDB Agent Memory 以 REST 服务提供写入、检索、治理三类接口，存储后端是 PolarDB 向量库。大语言模型、embedding 和重排模型都通过百炼（DashScope）API 调用。写入阶段从长对话里抽精炼记忆。这次 LoCoMo 评测里，平均每个会话约 424 条，每条带时间锚定。检索用混合多路召回加重排，取出和问题最相关的 top-k 条记忆，再和固定提示词模板、问题文本拼成 prompt，交给大模型生成答案。这是抽取式记忆加增强检索，不是朴素分块检索，也不是把整段对话注入上下文。原文没有写出 top-k 的具体条数。

1540 题怎么分，哪 446 题不进总分

LoCoMo 被写成当前常用的 Agent 长期对话记忆基准。10 个会话平均每个超过 1000 条消息，用来模拟跨天、跨话题的长期交互。1540 道计分题分成四类：

• 单跳 single-hop：841 题，回忆单条事实。
• 时间推理 temporal：321 题，跨轮次的时间锚定和先后关系。
• 多跳 multi-hop：282 题，要串起多条记忆。
• 开放域 open-domain：96 题，记忆和常识一起答。

另外还有 446 道对抗题，用来看拒答。处理和相关公开评测一样，这 446 题不进总分。因此四类成绩和全文结论都不覆盖拒答和抗幻觉。

评测客户端用的是 Mem0 官方开源框架 memory-benchmarks。答题和判分都由 qwen-flash 担任，也就是答判一体。公开对比文献用的判分模型是 GPT-4o-mini，和这次不同，所以跨文献的数字只能当字面比较。原文单独说明：答判一体下，生成和评判是同一个模型，自评偏差这次没有做消融，无法排除。读任何跨系统差值时，要同时算上判分模型差异和这个自评偏差。

对照方案覆盖向量检索、图记忆、模块化记忆、Markdown-first 记忆、原生压缩记忆和全上下文注入，具体是 Mem0、Mem0-graph、Zep、RAG、Mirix、Full-Context、OpenClaw、Claude Native Memory。业界参照来自两篇论文的公开数据：VikingMem，以及 Mem0 关于可上生产的长期记忆的论文。主指标是 LLM Judge Score，也就是 LLM 评判的答案正确率。另外报检索延迟 p50，以及记忆库存储体量和问答时注入的 Token。

91.2% 是 1404/1540，开放域只有 71.9%

时间推理和多跳被写成长期记忆里更难的两项：前者依赖写入时的时间锚定，后者依赖混合多路召回加重排。开放域 71.9% 是相对弱项，题目要把模型自己的常识和记忆合在一起。原文说业界各系统在这一类上普遍偏低，不能把 71.9% 读成只有这一家弱。

和公开结果的字面对照如下。除 PolarDB 一行是这次实测，其余分类成绩、Overall 和检索 p50 都来自表中标注的论文。各文献的判分模型和延迟口径不完全一致。p50 列的「/」表示公开数据没给检索延迟。

总体 91.2% 字面高于表中已公开的最高 Overall（VikingMem 88.83）。分类上，多跳 90.8 对 81.91、时间推理 92.2 对 82.24，字面差距最大。但单跳上 VikingMem 是 94.89，高于 93.1；开放域 78.12，也高于 71.9。不能把「总分更高」写成四个类别都更高。相对朴素 RAG 的 60.26% 和全上下文的 77.47%，总体准确率大约高出 14 到 31 个百分点。原文把这个差距归因于抽取式记忆加增强检索，相对的是这两种基线，不是相对所有系统。

0.51 秒是亚秒组里最慢的那个

检索 p50 为 0.51 秒，来自 LoCoMo 的 1540 次真实查询。链路包含混合多路召回和重排，这个前提下仍然是亚秒。对照里同处亚秒的有 Mem0 0.15 秒、VikingMem 0.20 秒、RAG 0.22 秒、Zep 0.42 秒、Mem0-graph 0.48 秒。0.51 秒是这组里最高的，也就是相对最慢，只是还没到 1 秒。各系统 p50 有没有把重排和答案生成算进去，原文说没有统一标注，跨系统仍然只是字面对照。

存储换准确率，1.4k 还不含写入和重排

10 个会话做成长期记忆库后，全部记忆文本按 token 计数，平均每会话约 424 条、约 10.9k tokens。计数用的是 OpenAI 的 cl100k_base，和文献口径对齐。对照来自 Mem0 论文第 4.5 节，单位是每个会话的 token：

10.9k tokens 被用来承载 1000 条以上消息的对话史，体量在 Mem0 和 Mem0-graph 之间，约为 Zep 的 1/55。相对 Mem0 的约 7k，存储大约是 1.6 倍。原文把对照表里大约 24 个百分点的总体准确率差距，和更高的抽取密度、每条记忆携带时间锚定放在一起解释，也就是用更多存储换准确率。这 24 个百分点是 91.2 对 Mem0 的 66.88，不是对 VikingMem。

问答时不会把全部历史交给模型，只注入检索到的 top-k 记忆、固定模板和问题。1540 题的作答侧 prompt 合计 2,171,182 tokens，平均每题约 1.4k。全上下文方案每题要注入整段历史，LoCoMo 每会话大约 26k tokens，而且会随对话变长。1.4k 对 26k 大约是 18 倍。原文限定：这 1.4k 只是作答侧，不含记忆写入时的 LLM 抽取，也不含检索链路里 embedding 和重排模型的 token，不能直接当成总拥有成本。

结论只覆盖这次配置

原文的适用性判断是：在所说的质量、亚秒延迟和较低注入成本下，适合既要长期记忆质量、又要交互延迟的生产级 Agent。紧接着又把对照收回到跨文献、跨判分模型的字面比较。结果绑定测试系统配置一节里的部署和评测参数；若换环境或换成业务集之后不符合预期，文档只建议提工单或打开压测优化再复测，没有给第二套业务集的分数。对抗题、拒答和抗幻觉不在 91.2% 里。答判一体的自评偏差没有消融。

阿里云，PolarDB 文档，PolarDB Agent Memory 长期记忆能力评估，2026-11-04，https://help.aliyun.com/zh/polardb/polardb-for-mysql/long-term-memory-evaluation-polardb-agent-memory