Enter your search text in the box above

Select a result to preview

Memory in the Age of AI Agents: A Survey — Forms, Functions and Dynamics

基本信息

研究摘要

记忆（memory）始终是智能系统的核心能力之一。从人类认知科学到人工智能，记忆机制支撑着学习、推理、适应和决策等高级认知功能。随着大语言模型（LLM）驱动的 AI Agent 在近年来快速崛起，记忆不再仅仅是模型参数中隐式编码的知识，而是演变为一种显式的、动态的、可管理的系统级能力。这篇由新加坡国立大学、中国人民大学、复旦大学、北京大学等多所顶尖机构联合撰写的 107 页综述论文，系统性地梳理了 AI Agent 时代记忆研究的全新图景。

论文直面当前 Agent 记忆研究领域的一个根本性困境：尽管记忆相关研究正以空前的速度增长，但领域本身却日益碎片化。不同工作在动机、实现方式、基本假设和评估协议上差异巨大，而大量 loosely-defined 的术语进一步模糊了概念清晰度。传统的长短期记忆二分法已不足以捕捉当代 Agent 记忆系统的多样性和动态性。在这种背景下，作者们提出了一个创新的三维分析框架——从形式（Forms）、功能（Functions）和动态性（Dynamics）三个统一视角来审视 Agent 记忆，为这一蓬勃但混乱的领域提供了亟需的概念锚点。

从形式维度，论文识别出三种主导的记忆实现方式：token-level memory（将记忆以文本标记形式显式存储）、parametric memory（通过模型参数隐式编码知识）和 latent memory（以潜在表示形式存在）。从功能维度，作者超越了粗粒度的时序分类，提出了更精细的区分：factual memory（事实记忆，用于存储世界知识和用户信息）、experiential memory（经验记忆，积累任务执行和交互经验）和 working memory（工作记忆，支持实时推理和上下文管理）。从动态性维度，论文分析了记忆如何在 Agent 与环境交互过程中形成、演化和检索，涵盖了记忆形成（formation）、演化（evolution）和检索（retrieval）的全生命周期。

除了全面的文献综述，这项工作还汇编了代表性的基准测试（benchmarks）和开源记忆框架，为实证研究和实际开发提供了宝贵的资源汇总。更重要的是，论文以前瞻性的视角探讨了多个新兴研究前沿，包括自动化记忆设计、强化学习与记忆系统的深度融合、多模态记忆、多 Agent 共享记忆以及可信记忆（trustworthy memory）等关键议题。这篇综述不仅是对现有工作的系统整理，更是为未来 Agent 智能设计中记忆作为一等公民（first-class primitive）的概念基础。

理论框架

这篇综述的理论贡献首先体现在其提出的三维分类框架上。传统的 Agent 记忆分类往往依赖于单一维度——最常见的是基于时间尺度的长短期记忆二分法，这种分类源于认知心理学中工作记忆与长时记忆的区分，但在当代 LLM-based Agent 的复杂记忆系统中显得捉襟见肘。作者们敏锐地指出，现实中的 Agent 记忆系统往往同时涉及多种存储介质、服务于多种认知功能，并在时间上呈现复杂的动态演化，因此需要多维度的分析视角。

形式维度（Forms）关注的是"记忆由什么载体承载"。这一维度将记忆系统分为三大类别：token-level memory 将信息以离散的文本 token 形式存储，可以进一步细分为 flat memory（一维线性存储，如简单的对话历史）、planar memory（二维平面存储，如基于向量的记忆库）和 hierarchical memory（三维层次化存储，如树状或图状结构）。Parametric memory 则利用神经网络的参数空间来隐式编码知识，包括通过微调（fine-tuning）实现的内部参数记忆和通过外部适配器（adapters）实现的外部参数记忆。Latent memory 占据一个更具理论深度的位置，它将记忆视为模型内部激活空间中的潜在表示，这种形式的记忆既非显式的符号，也非固定的参数，而是动态生成的表征，可以进一步通过生成（generate）、复用（reuse）和转换（transform）三种机制来操作。

功能维度（Functions）回答的是"Agent 为什么需要记忆"。作者们超越了简单的时间尺度分类，从认知功能的角度将记忆需求重新组织为三个层次。Factual memory 关注世界知识和用户特定信息的存储与检索，这是 Agent 进行准确推理和个性化交互的基础。Experiential memory 则聚焦于从过往交互和任务执行中积累的经验，包括基于案例的记忆（case-based memory，存储具体的问题-解决对）、基于策略的记忆（strategy-based memory，提取可复用的行动模式）、基于技能的记忆（skill-based memory，编码程序性知识）以及这些形式的混合体。Working memory 对应于认知心理学中的工作记忆概念，支持 Agent 在单轮或多轮交互中的实时信息保持与操作，是连接感知、推理和行动的认知工作空间。

动态性维度（Dynamics）探讨的是"记忆如何随时间运作和演化"。这一维度将记忆的生命周期分解为三个相互关联的阶段：formation（形成）、evolution（演化）和 retrieval（检索）。记忆形成涉及将原始感知和交互经验转化为可存储的记忆表征，包括语义摘要（semantic summarization）、知识蒸馏（knowledge distillation）、结构化构建（structured construction）、潜在表示学习（latent representation）和参数内化（parametric internalization）等多种机制。记忆演化关注已存储记忆如何随时间更新，涵盖巩固（consolidation，将短期经验转化为长期记忆）、更新（updating，修正或扩充现有记忆）和遗忘（forgetting，有选择地淘汰过时或无关信息）。记忆检索则研究如何根据当前情境有效提取相关记忆，涉及检索时机与意图判断、查询构建、检索策略选择和检索后处理等环节。

这一三维框架的理论价值在于，它提供了一个系统性的概念坐标系，使得研究者可以精确地定位任何 Agent 记忆系统在这个多维空间中的位置。例如，一个基于向量数据库的 RAG 系统可以被描述为"token-level + factual + retrieval-oriented"，而一个通过持续预训练来适应新领域的模型则属于"parametric + factual + formation-through-internalization"。这种精确的概念定位能力对于领域的清晰沟通和系统比较至关重要。

技术架构

从技术实现的角度，这篇综述描绘了 Agent 记忆系统的丰富技术图景。在 token-level memory 领域，flat memory 是最简单也是最广泛使用的形式，直接将历史对话或交互记录以文本序列的方式拼接到当前上下文中。MemGPT 是这一范式的代表性系统，它通过操作系统式的虚拟上下文管理来突破 LLM 的上下文长度限制。然而，flat memory 面临信息冗余和注意力稀释的问题，因此 planar memory 引入了向量化的语义空间，通过嵌入模型（embedding models）将文本记忆压缩为密集向量，再利用近似最近邻（ANN）检索来高效匹配相关记忆。这种架构在 RAG（Retrieval-Augmented Generation）系统中得到了广泛应用。更进一步，hierarchical memory 通过树状或图状结构来组织记忆，捕捉信息之间的层次和关联关系，例如 Leti 系统利用层次化摘要来管理长期记忆。

Parametric memory 代表了另一种截然不同的技术路径。内部参数记忆通过微调或持续学习（continual learning）将新知识直接编码到预训练模型的参数中，这种方法的优势在于推理时无需外部检索，但面临灾难性遗忘（catastrophic forgetting）和计算开销大的挑战。外部参数记忆则通过适配器、LoRA（Low-Rank Adaptation）或超网络（hypernetworks）等方式在保持基础模型不变的情况下注入任务特定知识，实现了更好的模块化和可扩展性。

Latent memory 是技术上最具创新性的方向。它不再将记忆视为外在的存储对象，而是将其理解为模型内部动态生成的潜在表示。这种视角下，记忆的形成不是一个显式的"写入"操作，而是通过注意力机制或状态空间模型（state space models）在模型前向传播过程中自然涌现的。论文讨论了通过生成新表征（generate）、复用已有表征（reuse）和转换表征形式（transform）来操作 latent memory 的技术方法，这些方法通常与循环神经网络、Transformer 的 KV-cache 或状态空间模型如 Mamba 紧密相关。

在记忆形成的技术实现上，语义摘要利用 LLM 自身的能力将冗长的交互历史压缩为简洁的摘要；知识蒸馏则通过教师-学生框架将大量非结构化经验转化为结构化的知识表示；结构化构建显式地创建知识图谱、本体或其他符号结构来组织记忆；潜在表示学习通过自监督或对比学习方法学习记忆的有效编码；参数内化则通过梯度下降将经验直接融入模型参数。

记忆演化的技术涵盖了巩固机制（如将工作记忆中的临时信息通过睡眠式重放转化为长期记忆）、更新策略（如检测和解决记忆中的矛盾信息）和遗忘算法（如基于时间衰减、使用频率或显式重要性的选择性遗忘）。记忆检索的技术栈则包括检索时机的判断（何时需要检索外部记忆 vs. 仅依赖内部知识）、查询构建（如何将当前情境转化为有效的检索查询）、检索策略（稀疏检索、密集检索、混合检索等）和检索后处理（重排序、去重、冲突解决等）。

实验评估

作为一篇综述论文，其实验评估部分主要体现在对现有基准测试和评估框架的系统梳理上。论文在第 6 章详细汇编了当前 Agent 记忆领域的主流基准测试，这些基准从不同角度评估 Agent 的记忆能力。

在面向记忆、终身学习和自进化 Agent 的基准测试中，论文涵盖了多个代表性数据集和评估平台。这些基准通常设计了需要长期记忆支持的任务场景，如多轮对话中的事实一致性、跨会话的个性化适应、复杂任务中的经验积累与复用等。评估指标不仅包括传统的准确率、F1-score 等，还包括专门针对记忆能力的指标，如事实保持率（fact retention rate）、经验复用效率（experience reuse efficiency）和适应性增益（adaptation gain）。

除了专门的记忆基准，论文还回顾了其他相关基准，如通用 Agent 评估平台（如 AgentBench、ToolBench）中涉及记忆组件的评测，以及认知科学启发的记忆测试（如模拟人类记忆实验中的序列回忆、配对联想等任务）。

在开源框架方面，论文梳理了当前可用的 Agent 记忆实现框架，这些框架从简单的向量存储（如 Chroma、Pinecone 的集成）到复杂的记忆管理系统（如 MemGPT、Mem0、Leti 等）不等。每个框架在记忆的形式、功能和动态性方面做出了不同的设计选择，论文通过统一的分类框架对这些框架进行了系统性的比较和定位。

值得注意的是，论文指出了当前评估体系的一个重要局限：缺乏统一的评估标准和跨基准的可比性。不同基准在任务设计、评估指标和难度设置上差异巨大，这使得公平比较不同记忆系统变得困难。作者呼吁社区开发更全面、更标准化的评估框架，特别是能够同时评估记忆的形式效率、功能完整性和动态适应性的综合基准。

案例研究

虽然作为综述论文，这项工作没有提出单一的新方法来进行传统意义上的案例研究，但论文通过将代表性系统映射到统一的三维分类框架中，提供了一种系统性的"概念案例研究"。Figure 1 中的概览图将各种记忆系统定位在由形式和功能构成的二维空间中，这种可视化本身就是一种强大的案例分析工具。

以 MemGPT 为例，这个系统可以被精确地定位在"token-level + working memory"的象限中。MemGPT 的核心创新是将 LLM 的有限上下文窗口视为计算机的物理内存，通过操作系统式的分页和交换机制来管理超出上下文限制的记忆。具体而言，当上下文接近容量上限时，MemGPT 将较早的交互内容"换出"到外部存储（类似硬盘），而在需要时再将相关内容"换入"上下文（类似内存加载）。这种机制使得 Agent 能够在理论上拥有无限的工作记忆空间，尽管在任何时刻只有一部分记忆处于活跃状态。这个案例生动地展示了如何通过精巧的工程架构来克服基础模型的固有限制。

另一个值得深入分析的案例是基于向量数据库的 RAG 系统，这类系统占据"planar memory + factual memory"的位置。以典型的 RAG pipeline 为例，系统首先将大量文档通过嵌入模型转换为向量表示，存储在向量数据库中。当 Agent 面对查询时，系统将查询也嵌入到同一向量空间，通过最近邻搜索找到最相关的文档片段，再将这些片段与原始查询一起送入 LLM 进行生成。这个案例研究揭示了记忆检索的核心挑战：嵌入质量决定了语义匹配的准确性，检索策略（如 top-k 选择、重排序）决定了召回率和精确率的平衡，而检索后的提示工程则决定了 LLM 如何利用检索到的信息。

在 parametric memory 方面，通过 LoRA 进行持续适应的案例展示了如何将新经验编码为低秩矩阵更新。假设一个 Agent 在特定领域（如医疗咨询）积累了大量交互经验，传统的全参数微调成本高昂且可能导致基础能力的遗忘。LoRA 通过在注意力层中引入可训练的低秩矩阵，仅更新少量参数就能实现有效的领域适应，同时保持基础模型的大部分能力不变。这个案例说明了外部参数记忆在模块化、可扩展性和计算效率方面的优势。

综合价值与局限

这篇综述的理论价值首先体现在它为 Agent 记忆这一高度碎片化的领域提供了统一的概念框架。在论文发表之前，Agent 记忆的研究散落在多个子领域中——RAG 社区关注检索效率，提示工程社区关注上下文管理，持续学习社区关注参数更新，认知架构社区关注符号表示——而这些工作之间缺乏有效的对话机制。三维分类框架（Forms, Functions, Dynamics）的建立，使得不同背景的研究者能够在共同的语义空间中描述和比较各自的工作，这对于领域的成熟和整合具有基础性意义。

从实践角度，论文汇编的基准测试和开源框架资源为研究者和开发者提供了宝贵的起点。特别是 GitHub 仓库（Agent-Memory-Paper-List）的持续维护，使得这一资源能够跟上领域快速发展的步伐。对于希望进入 Agent 记忆领域的研究者，这篇综述提供了一个结构化的学习路径；对于正在开发 Agent 系统的工程师，它提供了系统性的设计空间探索指南。

论文的前瞻性视角同样值得称道。第 7 章关于未来前沿的讨论不仅涵盖了技术趋势（如多模态记忆、共享记忆、与世界模型的结合），还触及了深层的研究哲学问题，如记忆检索与记忆生成的张力、自动化记忆管理的愿景、以及记忆系统的可信性（trustworthiness）挑战。这种将技术趋势与概念反思相结合的写法，使得论文超越了简单的文献汇编，成为引领领域发展方向的思想性作品。

然而，这篇综述也存在一些固有的局限性。作为一篇覆盖 107 页的宏大综述，论文在某些具体技术方向的深度上不可避免地有所折衷。例如，虽然论文提到了强化学习与记忆系统的结合，但对于具体的算法实现（如基于记忆的 RL 算法变体）讨论相对有限。同样，在数学理论的深度上，论文更多停留在概念描述层面，对于记忆系统的形式化建模（如基于信息论的记忆容量分析、记忆检索的统计学习理论保证）着墨不多。

另一个局限是，论文提出的三维框架虽然具有概念上的优雅性，但在实际应用中的操作性和可量化性仍有待验证。如何精确地将一个给定的记忆系统映射到这个三维空间中？如何量化不同系统在各个维度上的"坐标值"？这些问题的答案将决定该框架的实际效用。

此外，论文主要聚焦于基于 LLM 的 Agent 记忆，对于其他类型的 Agent（如基于规则系统、神经符号系统或具身智能体的记忆机制）讨论较少。考虑到 AGI 研究的多元路径，这种聚焦虽然合理，但也限制了综述的覆盖范围。

延伸阅读与思考

这篇综述建立在一系列重要的前期工作之上。在 Agent 架构方面，ReAct（Yao et al., 2023）、Reflexion（Shinn et al., 2024）和 Voyager（Wang et al., 2024a）等开创性工作确立了 LLM-based Agent 的基本范式，而本文的记忆分类框架可以被视为对这些工作中记忆组件的系统化抽象。在记忆机制方面，Memory Networks（Weston et al., 2015）、Differentiable Neural Computers（Graves et al., 2016）等早期可微分记忆架构奠定了神经网络与显式记忆结合的技术基础，而本文的 token-level/parametric/latent 三分法则反映了这一思路在大模型时代的新发展。在 RAG 领域，从最早的检索增强生成（Lewis et al., 2020）到现代的 Self-RAG（Asai et al., 2024）和纠正性 RAG，检索与生成结合的范式不断演进，本文将其纳入 factual memory 的功能框架中进行了重新概念化。

与这篇综述相关但视角不同的工作包括：专门关注 LLM 长期记忆的综述（如 Zhong et al., 2024）、聚焦 RAG 技术进展的综述（如 Zhao et al., 2024）、以及从认知科学角度审视 AI 记忆的跨学科研究。本文的独特贡献在于提供了比 LLM 记忆更广泛的 Agent 记忆视角，同时比单纯的 RAG 综述更深入地探讨了记忆的理论基础。

展望未来，几个研究方向特别值得深入探索。首先是自动化记忆架构设计（AutoML for Memory）——当前的记忆系统设计仍大量依赖人工经验和启发式规则，如何自动发现最优的记忆形式、功能和动态策略组合是一个极具挑战性的优化问题。其次是记忆系统的形式化理论——目前对记忆容量、记忆检索效率、记忆遗忘的最优策略等问题缺乏严格的理论分析，建立基于信息论、统计学习理论或计算复杂性理论的记忆系统分析框架将极大地推动领域从工程实践走向科学理解。

多模态记忆是另一个充满机遇的前沿。随着多模态大模型（如 GPT-4V、Gemini）的发展，Agent 需要处理和记忆的信息不再局限于文本，还包括图像、音频、视频和物理交互。如何设计能够统一编码和检索跨模态记忆的系统？如何处理不同模态信息的异质性和互补性？这些问题将催生全新的技术挑战和研究机会。

在可信记忆方面，随着 Agent 在医疗、法律、金融等高风险领域的应用，记忆系统的可靠性、可解释性和隐私保护变得至关重要。如何确保记忆检索的准确性？如何防止错误记忆的传播和放大？如何保护用户的敏感记忆信息？这些议题将连接 Agent 记忆研究与 AI 安全、隐私保护和可解释 AI 等更广泛的研究社区。

最后，作为读者的个人反思：这篇综述最引人深思的洞察是将记忆视为 Agent 设计的"一等公民"。在传统 AI 系统设计中，记忆往往被视为一个辅助组件或优化手段；而在这篇论文勾勒的未来愿景中，记忆应该是 Agent 智能的核心组织原则之一。这种观点的转变类似于从"内存是 CPU 的附属"到"内存层次结构决定系统性能"的认识飞跃。随着 Agent 系统日益复杂和长期化，记忆管理的能力可能将成为区分初级 Agent 和高级 Agent 的关键标志。这篇综述为这一范式转变提供了坚实的概念基础，其影响可能会超越 Agent 记忆这一特定子领域，深刻影响我们对 AI 系统设计的整体思考方式。

笔记创建时间: 2026-07-02
阅读方式: L2 深度阅读

Topics:

Powered by Forestry.md