MemRL: Self-Evolving Agents via Runtime Reinforcement Learning on Episodic Memory

论文元信息

标题: MemRL: Self-Evolving Agents via Runtime Reinforcement Learning on Episodic Memory
作者: Shengtao Zhang, Jiaqian Wang, Ruiwen Zhou, Junwei Liao, Yuchen Feng, Zhuo Li, Yujie Zheng, Weinan Zhang, Ying Wen, Zhiyu Li, Feiyu Xiong, Yutao Qi, Bo Tang, Muning Wen
机构: Shanghai Jiao Tong University, Xidian University, National University of Singapore, Shanghai Innovation Institute, MemTensor (Shanghai) Technology Co., Ltd., University of Science and Technology of China
发表 venue: arXiv preprint arXiv:2601.03192v2 [cs.CL]
发表时间: February 13, 2026
代码仓库: https://github.com/MemTensor/MemRL
页数: 12页（正文）+ 29页（附录）
PDF 文件: [20260731_memrl_self_evolving_agents_runtime_rl_episodic_memory.pdf](file:///C:/Users/admin/.openclaw/workspace/attachment/papers/20260731_memrl_self_evolving_agents_runtime_rl_episodic_memory.pdf)

1. 研究摘要

人类智能最显著的特征之一，是在不破坏既有认知结构的前提下，通过与环境的持续交互不断演化出新能力。当前的大型语言模型（Large Language Model，LLM）智能体虽然在推理、工具使用和代码生成等任务上表现出色，却难以在部署后实现这种“自演化”（self-evolution）：传统的参数微调（fine-tuning）计算代价高昂，且容易引发灾难性遗忘（catastrophic forgetting）；而基于检索增强生成（Retrieval-Augmented Generation，RAG）的记忆方法虽然避免了修改模型权重，却大多依赖被动的语义相似度匹配，无法区分一段记忆究竟是真正有助于任务完成的高价值经验，还是与当前查询在语义上相近但实际无效的噪声。正是在这一背景下，本文提出了 MEMRL，一种在部署后通过运行时强化学习（Runtime Reinforcement Learning）对外部情景记忆（episodic memory）进行非参数化优化的智能体自演化框架。

MEMRL 的核心思想借鉴了认知科学中“建构性情景模拟”（Constructive Episodic Simulation）的启发：人类大脑通过将稳定的皮层推理与可塑的海马体情景记忆解耦，实现了认知稳定性与情景可塑性的平衡。类似地，MEMRL 将冻结的 LLM 视为稳定的推理中枢，而将学习发生在外部记忆库中。具体而言，作者将记忆组织为“意图—经验—效用”（Intent-Experience-Utility）三元组，把记忆检索从被动的语义匹配转化为基于价值函数主动决策的过程。通过两阶段检索（Two-Phase Retrieval）机制，MEMRL 先利用语义相似度召回候选记忆，再通过学习到的 Q 值进行价值感知的选择；随后，环境反馈驱动的效用更新（Utility-Driven Update）不断修正这些 Q 值，从而在成功与失败的经验中提炼出真正有用的策略。

本文的理论贡献主要体现在三个方面：第一，将记忆增强生成形式化为基于记忆的马尔可夫决策过程（Memory-Based Markov Decision Process，M-MDP），并证明在不修改模型参数的前提下，仅通过优化检索策略即可实现稳定的运行时学习；第二，提出 Intent-Experience-Utility 三元组结构与两阶段检索机制，将语义相关性与功能效用性解耦，有效过滤语义相似但功能无用的噪声记忆；第三，从期望最大化（Expectation-Maximization，EM）框架出发，证明 MEMRL 的检索策略改进与效用更新构成坐标上升过程，能够在理论上保证全局收敛并避免灾难性遗忘。

实验结果表明，MEMRL 在 BigCodeBench、Lifelong Agent Bench、ALFWorld 和 Humanity's Last Exam（HLE）四个差异显著的基准测试上均显著优于包括 RAG、Self-RAG、Mem0 和 MemP 在内的强基线方法。在累积成功率（Cumulative Success Rate，CSR）上，MEMRL 比最强基线 MemP 平均提升 3.8 个百分点，在探索密集型的 ALFWorld 和 OS 任务上提升高达 6.2 个百分点；在迁移学习设置中，其平均成功率比 MemP 高出 2.8 个百分点。更重要的是，消融实验显示学习到的 Q 值与任务实际成功率之间存在高达 0.861 的皮尔逊相关系数，说明该价值函数确实能够可靠地预测记忆的效用。

从更宏观的视角看，MEMRL 的价值不仅在于提出了一种新的记忆检索策略，更在于它为“经验时代”（era of experience）的智能体学习提供了一条不依赖参数更新的可行路径。在静态训练数据日益稀缺、而交互经验持续涌现的未来，如何高效、稳定地利用这些经验将成为人工智能系统的核心能力之一。MEMRL 通过将学习从模型权重迁移到记忆结构，为构建能够终身学习、持续演化的智能体奠定了重要基础。

2. 理论框架

MEMRL 的理论建构并非凭空产生，而是植根于多个相互交织的研究传统。从认知科学角度看，Grossberg 的适应性共振理论（Adaptive Resonance Theory）、McClelland 等人提出的互补学习系统（Complementary Learning Systems）以及 Schacter 和 Addis 关于建构性情景模拟的研究，共同构成了“稳定推理 + 可塑记忆”这一 dual-system 范式的灵感来源。这些理论指出，人类大脑通过新皮层（neocortex）保存稳定的语义知识与推理能力，同时依赖海马体（hippocampus）快速编码和重组具体情景经验，从而在学习新事物时不破坏已有的认知结构。MEMRL 正是将这一生物启发映射到 LLM 智能体架构中：冻结的 LLM 对应新皮层的稳定推理功能，而外部的 Intent-Experience-Utility 记忆库则承担海马体的可塑记忆功能。

从机器学习角度看，MEMRL 延续了强化学习（Reinforcement Learning，RL）中关于值函数估计与策略优化的经典传统，尤其是 Watkins 和 Dayan 提出的 Q-learning。但与标准 RL 不同，MEMRL 并不优化生成模型自身的策略参数，而是将检索策略 $μ (m ∣ s, M)$ 作为可学习的对象，把 LLM 的推理策略 $p_{LLM} (a_{t} ∣ s_{t}, m)$ 视为固定不变的环境组成部分。这一转变的关键在于，作者引入了 Zhou 等人（2025a）提出的基于记忆的马尔可夫决策过程 M-MDP，其形式化定义为一个七元组 $(S, A, P, R, γ, M)$ ，其中 $S$ 和 $A$ 分别为状态空间与动作空间， $P$ 为转移动力学， $R$ 为奖励函数， $γ \in [0, 1)$ 为折扣因子，而 $M = (S \times A \times R)^{*}$ 则是不断演化的经验记忆库。在每个时间步 $t$ ，智能体接收状态 $s_{t}$ ，利用当前记忆库 $M_{t}$ 生成动作 $a_{t}$ 以最大化期望回报。

在这一框架下，智能体的联合策略被分解为两个层次的组合：

π (a_{t} ∣ s_{t}, M_{t}) = \sum_{m \in M_{t}} μ (m ∣ s_{t}, M_{t}) p_{LLM} (a_{t} ∣ s_{t}, m) .

这里， $μ (m ∣ s_{t}, M_{t})$ 是检索策略（Retrieval Policy），负责从记忆库中选择与当前状态相关的经验； $p_{LLM} (a_{t} ∣ s_{t}, m)$ 是推理策略（Inference Policy），由冻结的 LLM 参数化，负责在给定检索上下文 $m$ 的条件下生成可执行动作。这一分解的深刻之处在于，它将“记忆检索”从传统的信息检索问题重新定义为强化学习中的动作选择问题：检索哪一个记忆，等同于在离散动作空间中选择一个动作，而这个动作的好坏最终由环境奖励来评判。

然而，传统的 RAG 方法通常使用固定的向量相似度（如余弦相似度）作为检索策略，即默认“语义相似就意味着有用”。这种假设在开放域问答等任务中或许成立，但在智能体任务中往往失效：两段经验可能在自然语言描述上高度相似，但一段导向成功，另一段却包含会导致失败的错误假设。为了克服这一问题，MEMRL 引入 Q 值函数 $Q (s, m)$ 来衡量在状态 $s$ 下检索记忆 $m$ 的期望效用。最优检索策略由此转化为：

μ^{*} (m ∣ s, M) = \arg max_{m \in M} Q (s, m) .

这个公式看似简单，却蕴含着重要的理论转向：检索不再是基于文本表面相似度的启发式操作，而是基于期望回报最大化的价值感知决策。Q 值在这里扮演了检索机制的“评论家”（critic）角色，区分哪些记忆真正有助于生成成功的动作，哪些只是语义上相关但功能上无益的噪声。

为了学习这些 Q 值，MEMRL 采用了非参数化的更新方式。当环境反馈 $r$ 到来后，系统可以采用时序差分（Temporal-Difference，TD）更新：

Q (s, m) \leftarrow Q (s, m) + α [r + γ max_{m^{'}} Q (s^{'}, m^{'}) - Q (s, m)],

也可以采用更简化的蒙特卡洛风格更新：

Q_{new} \leftarrow Q_{old} + α (r - Q_{old}) .

其中 $α$ 为学习率。蒙特卡洛更新可视为将后续状态 $s^{'}$ 视为终止状态时的 TD 特例，这种简化在计算复杂度和性能之间取得了良好平衡。每一次更新都使得 Q 值向该记忆在相似意图下的真实期望回报收敛。

理论分析进一步表明，在推理策略 $p_{LLM}$ 冻结且任务分布平稳的合理假设下，固定状态—记忆对 $(s, m)$ 的 Q 值估计误差 $e_{t} = Q_{t} - β (s, m)$ 满足递推关系 $e_{t + 1} = (1 - α) e_{t} + α (r_{t} - β (s, m))$ 。对该式取条件期望可得 $E [e_{t + 1} ∣ F_{t}] = (1 - α) e_{t}$ ，迭代后得到 $E [e_{t}] = (1 - α)^{t} E [e_{0}]$ ，因此当 $t \to \infty$ 时，Q 值估计在期望上无偏收敛到真实均值奖励 $β (s, m) = E [r_{t} ∣ s_{t} = s, m_{t} = m]$ 。同时，若奖励方差有限，则 Q 值的方差也被约束在 $\frac{α}{2 - α} Var (r_{t} ∣ s, m)$ 以内，说明常数步长更新不会导致无界震荡。

更具全局视野的理论结果是，作者将 MEMRL 重新诠释为广义期望最大化（Generalized Expectation-Maximization，GEM）过程。在该视角下，两阶段检索中的价值感知排序对应于策略改进的 E 步，而基于反馈的效用更新对应于值函数修正的 M 步。通过构造全局变分目标 $J (μ, Q)$ ，可以证明这两步交替优化单调提升目标函数，最终收敛到检索策略稳定、记忆效用全局稳定的不动点。这一理论保证直接回应了稳定性—可塑性困境（stability-plasticity dilemma）：智能体可以在持续学习新经验的同时，不会因为参数漂移而遗忘旧知识。

3. 技术架构

MEMRL 的技术实现可以看作一个围绕外部记忆库展开的闭环学习系统，其目标是在保持 LLM 权重完全冻结的前提下，让智能体通过与环境的交互不断演化其记忆使用策略。整个系统由三大核心组件构成：结构化的 Intent-Experience-Utility 记忆库、Two-Phase Retrieval 检索机制，以及 Runtime Utility Update 模块。这三个组件并非孤立运行，而是通过一条清晰的数据流相互协作，形成一个完整的运行时学习回路。

数据流的起点是用户意图或任务查询 $s$ 。系统首先利用嵌入模型（Embedding Model）将查询编码为向量表示，并进入 Two-Phase Retrieval 的第一阶段——基于相似度的召回（Similarity-Based Recall）。在该阶段，MEMRL 从记忆库 $M$ 中筛选出与当前查询语义一致的经验候选池 $C (s)$ ：

C (s) = {TopK}_{k_{1}} ({i ∣ sim (Emb (s), Emb (z_{i})) > δ}) .

这里的 $z_{i}$ 是第 $i$ 条记忆的意图表示， $δ$ 是稀疏性阈值， $k_{1}$ 是第一阶段召回数量。如果候选池为空，系统直接依赖冻结的 LLM 进行探索，这一设计保证了在冷启动或陌生任务上的基本能力。阈值 $δ$ 的设定具有重要作用：它相当于一道语义闸门，将明显无关的记忆排除在后续价值评估之外，从而避免低相关度记忆污染上下文。

进入第二阶段——价值感知选择（Value-Aware Selection）后，MEMRL 不再单纯依赖相似度，而是结合每条候选记忆的 Q 值进行综合排序。具体而言，候选记忆 $m_{i} = (z_{i}, e_{i}, Q_{i})$ 的最终得分由相似度和效用经 z-score 标准化后加权组合得到：

score (s, z_{i}, e_{i}) = (1 - λ) \cdot \hat{sim} (Emb (s), Emb (z_{i})) + λ \cdot {\hat{Q}}_{i} .

其中 $λ \in [0, 1]$ 控制探索与利用的平衡。当 $λ = 0$ 时，系统退化为纯语义检索；当 $λ = 1$ 时，系统完全依赖历史效用。实验表明， $λ = 0.5$ 通常能取得最佳效果，因为相似度保证了候选内容的相关性，而 Q 值确保了其功能性有用性。最终，系统从 $C (s)$ 中选择 top- $k_{2}$ 条记忆作为注入 LLM 推理上下文的 $M_{ctx} (s)$ 。

检索完成后，冻结的 LLM 基于 $M_{ctx} (s)$ 生成动作 $a$ ，该动作在环境中执行后产生奖励 $r$ 。奖励信号可以是二元的任务成败，也可以是标量化的任务得分。关键的学习步骤随之发生：对于实际被注入上下文的记忆，MEMRL 根据环境反馈更新其 Q 值，采用蒙特卡洛规则：

Q_{new} \leftarrow Q_{old} + α (r - Q_{old}) .

这个更新将刚刚观察到的奖励与历史估计进行指数移动平均，使得每条记忆的效用估计逐渐逼近其在相似意图下的真实期望回报。同时，系统还会利用 LLM 对当前轨迹进行总结，将成功或失败的经验以新的三元组 $(z, e_{new}, Q_{init})$ 形式写回记忆库，从而实现记忆库的持续扩展。由于整个过程中 LLM 的权重始终未被修改，学习完全发生在记忆结构内部。

MEMRL 的技术创新首先体现在“解耦”设计上。它将稳定的推理能力与可塑的记忆学习明确分离：LLM 负责高质量生成，记忆系统负责策略性检索与经验筛选。这种解耦不仅避免了微调带来的计算开销和灾难性遗忘，还使得记忆库可以在不同模型之间迁移——附录中的跨模型迁移实验显示，在 Gemini-3-pro 上训练的记忆库可以直接用于 Qwen3-235B、GPT-5.2 和 Gemini-3-flash，并取得显著提升。

其次，Two-Phase Retrieval 的设计是对传统 RAG 的重要扩展。它将检索过程从单一维度的语义匹配升级为“先召回、再精选”的双层过滤机制。第一阶段保证候选记忆与当前任务在语义上相关，第二阶段则通过价值函数剔除那些“看起来相关但实际有害”的干扰项。这种机制对于智能体任务尤为关键，因为智能体任务往往包含多步推理和隐性环境约束，表面相似的提示可能隐含截然不同的执行后果。

在实现层面，作者为不同基准测试设置了统一的超参数框架。学习率 $α$ 固定为 0.3，Q 值权重 $λ$ 固定为 0.5，初始 Q 值 $Q_{init}$ 设为 0.0。相似度阈值 $δ$ 根据各数据集任务描述的成对余弦相似度分布自适应确定，通常取前 20% 分位数，以确保只有最相关的经验进入候选池。Phase-A 召回数量 $k_{1}$ 和 Phase-B 选择数量 $k_{2}$ 则根据任务复杂度调整：在 BigCodeBench 和 Lifelong Agent Bench 上设为 $(10, 5)$ ，在 ALFWorld 和 HLE 上设为 $(5, 3)$ 。这些参数选择的背后是对上下文长度、噪声水平和任务结构复杂度的综合权衡。

如果用日常生活中的比喻来理解 MEMRL 的工作流程，可以将其想象成一位经验丰富的外科医生：面对一台新手术时，他首先会回忆与当前病例相似的过往案例（语义召回），然后从中挑选出那些真正手术成功、并发症少的方案（价值选择），最后在手术结束后根据本次结果更新对这些案例价值的评估（效用更新）。医生的专业技能（LLM 推理能力）保持稳定，但他对过往案例价值的判断却在不断精进。

4. 实验评估

为了验证 MEMRL 的有效性，作者在四个覆盖不同能力域的基准测试上进行了系统评估，包括代码生成（BigCodeBench）、操作系统与数据库交互（Lifelong Agent Bench 的 OS 和 DB 任务）、具身导航与操作（ALFWorld），以及多学科知识推理（Humanity's Last Exam，HLE）。这些基准测试的选择本身就体现了研究者的实验设计思路：它们既涵盖了单步生成任务，也包含多步交互任务；既考验智能体对结构化过程的学习能力，也测试其在开放知识领域的泛化能力。同时，为了避免模型能力过强导致天花板效应或过弱导致无学习信号，作者为每个基准匹配了不同规模的主干模型，例如 BigCodeBench 使用 GPT-4o，ALFWorld 使用 GPT-5-mini，HLE 使用 Gemini-3-pro。

实验设置了两种评估范式。第一种是运行时学习（Runtime Learning），即智能体在 10 个 epoch 内反复与同分布任务交互，评估其随时间推移不断提升的能力，主要指标包括每轮成功率（Success Rate，SR）和累积成功率（Cumulative Success Rate，CSR）。CSR 衡量的是至少成功过一次的任务比例，能够反映智能体是否在不断扩大可解问题的范围。第二种是迁移学习（Transferring），即在训练完成后冻结记忆库，在未见过的任务上测试其泛化能力，指标为成功率。

下表汇总了运行时学习的主要结果：

方法	BigCodeBench (Last/CSR)	Lifelong-OS (Last/CSR)	Lifelong-DB (Last/CSR)	ALFWorld (Last/CSR)	HLE (Last/CSR)	平均 (Last/CSR)
No Memory	0.485 / —	0.674 / —	0.860 / —	0.777 / —	0.357 / —	0.631 / —
RAG	0.475 / 0.483	0.690 / 0.700	0.914 / 0.916	0.887 / 0.930	0.430 / 0.475	0.679 / 0.699
Self-RAG	0.497 / 0.561	0.646 / 0.732	0.891 / 0.898	0.907 / 0.962	0.423 / 0.475	0.673 / 0.726
Mem0	0.487 / 0.495	0.670 / 0.702	0.920 / 0.926	0.894 / 0.969	0.436 / 0.470	0.681 / 0.712
MemP	0.578 / 0.602	0.736 / 0.742	0.960 / 0.966	0.885 / 0.919	0.522 / 0.570	0.736 / 0.760
MEMRL	0.595 / 0.627	0.788 / 0.804	0.960 / 0.972	0.949 / 0.981	0.570 / 0.606	0.772 / 0.798

从上表可以清楚地看到，MEMRL 在所有基准上都取得了最优或接近最优的表现。在 CSR 上，它比最强基线 MemP 平均高出 3.8 个百分点；在 ALFWorld 和 OS 任务这两个探索密集型环境中，优势高达 6.2 个百分点。这说明价值感知的检索机制能够有效识别并保留那些对多步 procedural 任务至关重要的经验模式，而 MemP 基于启发式的检索则难以过滤语义相关但功能低质的噪声。

迁移学习的结果进一步验证了 MEMRL 学到的记忆具有可迁移性：

方法	BigCodeBench	Lifelong-OS	Lifelong-DB	ALFWorld	平均
No Memory	0.485	0.673	0.841	0.836	0.709
RAG	0.479	0.713	0.920	0.950	0.765
Self-RAG	0.500	0.653	0.881	0.950	0.746
Mem0	0.485	0.686	0.935	0.950	0.764
MemP	0.494	0.720	0.928	0.921	0.766
MEMRL	0.508	0.746	0.942	0.979	0.794

在迁移设置下，MEMRL 平均比 MemP 高出 2.8 个百分点，在 ALFWorld 上优势达到 5.8 个百分点。这意味着 MEMRL 不仅能在训练任务上持续改进，还能将学习到的程序性知识泛化到同分布的新实例上。

消融实验进一步揭示了 MEMRL 各组件的作用。在 OS 交互环境中，作者对比了 MEMRL 与其非 RL 变体以及 RAG、MemP 的学习曲线，发现虽然初始性能相近，但随着 epoch 增加，MEMRL 的 CSR 曲线稳定上升并与基线拉开差距，这表明 RL 驱动的价值函数确实能够过滤噪声并巩固成功经验。关于 Q 值权重 $λ$ 的消融显示，性能呈现明显的倒 U 型趋势， $λ = 0.5$ 时最优；纯语义检索（ $λ = 0$ ）因无法识别功能干扰项而很快饱和，而过度依赖 Q 值（ $λ \to 1$ ）则会导致上下文漂移和波动。检索规模 $k_{1}$ 和 $k_{2}$ 的实验也呈现出类似的倒 U 型规律：稀疏设置提供的信息不足，密集设置引入过多噪声，中等规模 $(5, 3)$ 在 HLE 上取得了最佳信噪比。

下表展示了检索范围的消融结果，将跨任务检索的完整 MEMRL 与仅使用单任务反馈的精简版（概念上类似 Reflexion）进行比较：

设置	BigCodeBench	OS	DB	ALFWorld	HLE	平均
Single-Task Reflection	0.614	0.714	0.938	0.930	0.610	0.761
MEMRL (Cross-Task)	0.627	0.804	0.972	0.981	0.606	0.798

该表说明，在任务内部语义相似度较高的结构化环境（如 OS、DB、ALFWorld）中，跨任务检索带来的横向迁移收益显著；而在 HLE 这类学科跨度大、内部相似度仅为 0.186 的数据集上，跨任务优势不明显，智能体更多依赖单任务反馈进行运行时记忆。这一现象恰恰印证了 MEMRL 的设计逻辑：其价值感知检索在存在可迁移模式的任务中最为有效。

统计稳定性方面，作者还引入了遗忘率（Forgetting Rate）指标，定义为当前 epoch 中从先前成功变为当前失败的任务数占当前失败总数的比例，即 $F R = N_{lost} / N_{fail}$ 。MEMRL 的平均遗忘率为 0.041，低于 MemP 的 0.051；而若移除 z-score 归一化和相似度门控，遗忘率会上升至 0.073。这表明严格的过滤机制对于维持长期稳定性至关重要，也间接支持了理论分析中关于方差约束的结论。

5. 案例研究

附录 H 中提供的 OS 交互高价值失败记忆案例，生动地展示了 MEMRL 如何从“近失”经验（near-misses）中提取可迁移的程序性知识。以第一个案例（CS1）为例，原始任务是使用 sed 修改 SSH 守护进程配置文件，要求设置端口、禁止 root 登录、关闭 X11 转发、调整会话参数等。初始尝试的失败原因非常微妙：sed 命令没有处理被注释掉的配置行，导致新设置看似已写入但实际上未被生效。MEMRL 将这段失败经验总结为一条高价值记忆，其核心教训是“不要假设 sed 会自动替换注释行，必须先取消注释或显式追加新配置”。在后续遇到类似配置编辑任务时，这条记忆的效用得分高达 1.0（19 次被检索，19 次成功），说明系统准确识别了这段失败经验中的可迁移模式。

第二个案例（CS2）则展示了另一类常见陷阱。任务要求将 /app/settings.cfg 中的 DEBUG=True 替换为 DEBUG=False，并在修改后的行后追加 LOG_LEVEL=INFO。失败的原因是使用了多个 -e 选项的 sed 命令，导致 LOG_LEVEL=INFO 被重复追加。系统提炼出的教训是“避免使用会导致重复追加的多 -e sed 结构，应使用单次命令或先检查目标行是否存在”。这条记忆在后续同类型任务中的成功率同样达到 100%。值得注意的是，这些被保留的失败记忆并非简单地记录错误，而是被抽象为“模式避免”（Pattern to Avoid）和“正确做法”（Correct Approach）的结构化反思，使其能够跨越具体任务表面差异而发挥指导作用。

从这些案例中可以获得一个关键洞察：MEMRL 学到的 Q 值不仅仅是“这段记忆是否来自成功案例”的二元标签，而是对“这段记忆在何种程度上具有可重用指导价值”的连续度量。事实上，作者在图 7b 中的分析显示，即使在 Q 值最高的区间（0.9–1.0）内，仍有约 12% 的记忆来自失败经验。这说明 Q 函数能够识别失败中的“近失”价值——那些几乎成功、只差临门一脚的失败轨迹，往往包含着最宝贵的反面教材。相比之下，简单的成功重放机制会完全丢弃这些信息，从而损失大量可迁移知识。

这些案例也揭示了 MEMRL 的边界条件。当任务之间的语义相似度极低时，例如 HLE 中来自不同学科的问题，跨任务失败记忆的迁移价值会显著下降，系统更多依赖对同一问题的反复尝试。此外，如果失败的原因高度任务特定、无法抽象为通用模式，那么即使 Q 值较高，其迁移范围也会受限。因此，MEMRL 在高任务密度、高结构重复性的领域表现最佳，而在极度异构的领域则需要更丰富的单任务反馈或更高层次的抽象机制来补充。

6. 综合价值与局限

MEMRL 的理论意义在于它重新划定了“学习”在 LLM 智能体中的发生位置。传统上，我们将学习等同于模型参数的调整；而 MEMRL 证明，在保持模型权重冻结的情况下，通过对外部记忆使用策略进行价值优化，同样可以实现持续的性能提升。这一视角转变具有重要的概念价值：它将智能体的能力分解为“稳定的核心推理能力”和“可塑的情境经验策略”，为稳定性—可塑性困境提供了一个优雅的解决方案。同时，MEMRL 将 RAG 从信息检索框架提升到了决策优化框架，为记忆增强型智能体引入了 rigorous 的 RL 理论基础。

从实践影响来看，MEMRL 的潜在应用场景十分广泛。任何需要长期运行、持续从交互中改进的智能体系统都可能从中受益，包括自动化运维、客户服务机器人、科研辅助智能体、代码生成助手以及多步骤任务规划系统。由于无需微调，部署成本显著低于参数更新方法；而由于学习完全发生在记忆层面，不同智能体之间甚至可以共享或合并记忆库。附录中的跨模型迁移实验已经证明，一个强模型训练的记忆库可以让弱模型获得大幅提升，这为企业级知识复用和模型能力蒸馏提供了新思路。

本文的强项在于理论深度与实证广度的结合。作者不仅提出了清晰的算法框架，还从 EMA 收敛、方差有界性和 GEM 全局优化三个层次给出了稳定性证明；实验覆盖四个差异显著的基准测试，并提供了丰富的消融分析和定性案例。特别是遗忘率指标和 Q 值相关性的分析，为“非参数化学习可以避免灾难性遗忘”这一核心主张提供了令人信服的证据。

然而，MEMRL 也存在值得关注的局限。首先，其单步蒙特卡洛更新在长程轨迹中可能面临高方差问题：当一个复杂任务的成功或失败由多个检索到的记忆共同决定时，将所有功劳或责任归于这些记忆可能引入信用分配误差。作者也指出，未来可以借鉴多智能体强化学习中的值分解方法或合作博弈中的 Shapley 值来改进这一点。其次，当任务相似度较低时，MEMRL 容易退化为类似 Reflexion 的单任务反思模式，跨任务迁移的优势难以发挥。这意味着在实际部署中，需要确保智能体所处环境的任务密度足够高，或通过课程学习和层次化抽象来增强泛化。第三，系统对反馈质量高度敏感：如果环境验证器给出错误的正向信号（reward hacking），错误经验可能因其高 Q 值而被反复检索，导致行为模式固化。记忆安全性和攻击鲁棒性因此成为必须考虑的问题。

从更广阔的学科趋势看，MEMRL 处于“经验时代”学习范式的核心位置。Silver 和 Sutton 近期倡导的“era of experience”强调，未来人工智能的进步将更多来自智能体与世界的交互，而非静态数据集。MEMRL 提供了一种在不牺牲稳定性的前提下利用这些交互经验的机制，与这一趋势高度契合。它也可能与持续学习（Continual Learning）、测试时训练（Test-Time Training）以及元学习（Meta-Learning）等领域产生新的交叉，推动智能体从“预训练后使用”向“终身持续演化”转变。

7. 延伸阅读与思考

MEMRL 的提出建立在多个重要研究传统之上。在记忆增强型智能体方面，Shinn 等人（2023）的 Reflexion 率先引入语言化的自我反思机制，让智能体通过自然语言反馈改进行为；Packer 等人（2024）的 MemGPT 则将记忆管理形式化为操作系统式的分层结构；Fang 等人（2025）的 MemP 专注于程序性记忆的构建—检索—更新循环。与这些工作相比，MEMRL 的显著不同在于它将检索视为可学习的决策问题，并通过 Q 值为记忆赋予 rigorous 的效用度量，而非依赖启发式规则或固定相似度。在强化学习与 LLM 结合的方向上，Ouyang 等人（2022）的 RLHF、Guo 等人（2025）的 DeepSeek-R1 以及 Yu 等人（2025）的 DAPO 都将学习放在模型参数上，而 MEMRL 则将学习转移到记忆结构，避免了参数更新带来的成本与遗忘风险。在理论基础上，Zhou 等人（2025a）的 M-MDP 为记忆增强生成提供了形式化框架，MEMRL 在此基础上进一步引入了非参数化值学习方法。

针对同一问题——如何让智能体在部署后持续改进——还存在若干替代路径。持续学习通过正则化、经验回放或参数隔离来缓解微调中的遗忘问题，但本质上仍修改模型参数；测试时训练在推理阶段通过自监督信号调整模型，适用于分布漂移场景但通常需要额外的梯度计算；RAG 和智能体记忆系统则走非参数化路线，但多数依赖语义检索或手工规则。MEMRL 在哲学上更接近“外部可塑记忆 + 内部稳定推理”的人类认知模式，其优势在于明确区分了相关性与有用性，并通过强化学习自动发现哪些经验值得保留。

展望未来，MEMRL 打开了多个值得探索的研究方向。一是更新协议的改进：将单步蒙特卡洛更新扩展为多步 TD 或引入周期性记忆整合，可能进一步降低长程任务中的方差。二是精确的信用分配：当多个记忆同时被检索时，如何量化各自对最终结果的边际贡献，是一个尚未解决的难题。三是层次化与抽象化：在任务相似度较低的场景中，如何让记忆从具体轨迹中抽象出高层策略，将决定 MEMRL 能否拓展到更开放的领域。四是记忆安全与可信性：如何防止恶意或错误的记忆污染系统，并在发现问题后快速恢复，是实现工业级部署的前提。最后，多智能体共享记忆的研究也将变得日益重要：当多个智能体共享一个不断增长的记忆池时，如何管理知识的扩散、避免负迁移并保护隐私，将是一个充满挑战的课题。

最令人深思的是，MEMRL 暗示了一种新的智能体能力观：智能体最强大的地方或许不在于其初始模型参数中压缩了多少世界知识，而在于它能否在与世界的交互中持续识别、保存并复用那些真正有效的经验。在静态数据红利逐渐见顶的今天，这种从“交互经验”中持续学习的能力，很可能成为下一代人工智能系统的关键差异点。MEMRL 为这条道路铺设了坚实的理论基础和可行的工程路径，但其真正潜力还有待更多研究者和工程师在更复杂、更开放的真实场景中加以发掘和验证。

Topics: