ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory

基本信息

• 标题: ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory
• 第一作者: Siru Ouyang (University of Illinois Urbana-Champaign)
• 研究团队: Google Cloud AI Research, UIUC, Yale University
• 会议/期刊: arXiv:2509.25140v2 [cs.AI], 2026年3月16日
• 代码: https://github.com/google-research/reasoning-bank
• PDF 文件: [ReasoningBank Paper](file:///C:/Users/admin/.openclaw/workspace/attachment/papers/20260504_reasoningbank_scaling_agent_self_evolving_reasoning_memory.pdf)

研究摘要

随着大型语言模型（Large Language Model, LLM）智能体（agent）逐步从实验室演示走向持久化的真实世界部署，一个根本性的矛盾日益凸显：这些智能体能够处理需要多轮交互的复杂任务，却几乎无法从不断累积的交互经验中学习。每当面对新任务时，它们都以一片空白的状态重新开始，仿佛过去的成功与失败从未发生。这种"金鱼式"的交互模式导致智能体不可避免地重复相似的错误、丢弃从关联问题中获得的有价值洞察，并且最致命的是——它们缺乏任何自我进化（self-evolving）的能力，无法在时间推移中变得更加聪明。这正是本文所要解决的核心问题。

ReasoningBank 的提出，标志着对智能体记忆（agent memory）本质的一次重新定位。传统记忆系统大多停留在"存储与复用"的层面：它们或是直接保存原始交互轨迹（raw trajectories），如 Synapse 所代表的轨迹级记忆；或是从成功案例中抽象出固定的工作流（workflow），如 Agent Workflow Memory（AWM）所做的那样。这些方法的共同局限在于两点：其一，它们无法提炼出高层次的、可迁移的推理模式（reasoning patterns）；其二，它们几乎完全忽视了失败经验中蕴含的宝贵信号，将大量具有教育意义的错误尝试白白浪费。ReasoningBank 从根本上打破了这一范式——它将记忆重新定义为"可泛化的推理策略"（generalizable reasoning strategies），并且同等重视成功与失败两种经验来源。这种视角的转变，使得记忆不再是被动的历史档案，而成为主动指导未来决策的策略库。

基于这一强大的经验学习器，作者进一步提出了记忆感知测试时扩展（Memory-aware Test-Time Scaling, MaTTS），将测试时扩展（Test-Time Scaling, TTS）与记忆机制深度融合。传统 TTS 通过在单个问题上分配更多计算资源来提升性能，例如并行生成多条推理路径并选取最优解。然而，若缺乏有效的记忆系统，这些额外的探索不过是孤立的尝试，无法为未来的任务留下任何遗产。MaTTS 的核心洞见在于：扩展所产生的丰富成功与失败轨迹，为记忆提炼提供了极具价值的对比信号（contrastive signals）；而更高质量的记忆反过来又能引导扩展过程朝向更有前景的方向探索。这就形成了一个双向增强的正反馈循环——记忆驱动经验扩展（memory-driven experience scaling），从而开辟了一个全新的智能体扩展维度。

实验结果充分验证了上述理论洞见。在 WebArena、Mind2Web 和 SWE-Bench-Verified 三个挑战性基准上，ReasoningBank 相较于无记忆基线实现了最高达 20% 的相对成功率提升，同时将交互步数减少了最高 16%。更重要的是，配备 MaTTS 后的系统展现出持续增强的涌现行为（emergent behaviors），智能体在测试时学习过程中逐渐演化出从简单执行策略到复杂组合推理的多层次能力。这些发现不仅提供了具体的性能数字，更揭示了一条通往自适应、终身学习智能体的实践路径。

理论框架

要理解 ReasoningBank 的理论根基，有必要先回顾智能体记忆研究的演化脉络。早期记忆系统如 MemGPT 将记忆视为操作系统层面的资源管理问题，侧重于长上下文的分层存储与检索。随后，研究者们开始关注如何利用过往信息来增强智能体表现，催生了多种记忆组织形式——从纯文本片段到潜空间嵌入（latent embeddings），再到结构化知识图谱。然而，在"从经验中学习"这一特定支线上，大多数现有工作仍聚焦于个性化（personalization）或长上下文管理，而非经验的抽象与迁移。ReasoningBank 正是在这一背景下，将研究重心从"如何存储"转向"如何提炼"，从而填补了经验学习（experience learning）与策略迁移（strategy transfer）之间的理论空白。

本文的核心理论概念围绕"推理记忆"（reasoning memory）展开。与传统的轨迹记忆（trajectory memory）记录每一个动作和观察不同，推理记忆旨在提取具有策略高度的知识单元：它不关心智能体点击了哪个具体元素，而是关心智能体为何选择在当前状态下点击该类元素；它不记录页面上的具体文本，而是记录面对信息检索任务时应遵循的系统性导航原则。这种抽象层次上的跃迁，使得记忆条目能够在不同任务、不同网站甚至不同领域之间迁移。作者在图1中通过对比直观展示了这一点：轨迹记忆充斥着低级的 DOM 操作和页面特定 ID，工作流记忆虽然有所抽象但仍绑定于特定操作流程，而 ReasoningBank 记忆则以自然语言描述可泛化的策略原则，例如"优先检查用户账户区域以获取个人专属数据"或"在历史记录中搜索时，先检测分页模式并检查所有相关条目"。

从数学角度刻画，智能体的决策过程可形式化为一个受记忆条件化的策略：

其中 $L$ 表示骨干大语言模型，$M$ 为记忆模块（即 ReasoningBank），$A$ 为动作空间。环境的状态转移遵循转移函数 $T(s_{t+1}\mid s_t,a_t)$，其中 $s_t$ 为时刻 $t$ 的环境状态，$a_t$ 为智能体采取的动作。智能体在每一步生成观察-动作轨迹 $(o_{0:t},a_{0:t})$，观测 $o_t$ 来源于当前状态 $s_t$。在测试时学习（test-time learning）设定下，任务查询以流式方式依次到达 $Q=\{q_1,q_2,...,q_N\}$，智能体必须在无法获取未来任务信息、也无法依赖外部真值标签的条件下，仅凭借自身轨迹和自验证机制持续进化。这一设定刻意模拟了真实部署场景：一个长期运行的智能体无法等待人类标注来确认每一步是否正确，而必须发展出自我评判的能力。

为此，作者引入了 LLM-as-a-Judge 机制作为代理正确性信号（proxy correctness signal）的来源。这是一个二元分类器，由与智能体同型号的骨干模型担任，输入为完整轨迹和用户查询，输出为"成功"或"失败"的判别。值得注意的是，这一设计并非完美无缺——若评判模型自身出错，便会向记忆系统注入噪声。然而作者在后续分析中证明，ReasoningBank 对评判噪声具有显著的鲁棒性：即使模拟的评判准确率从 100% 降至 70%，系统成功率仍保持在相近水平。这暗示了推理记忆机制本身具有内在的纠错和平均化能力，不会因个别标签错误而严重偏离。

在理论连接的层面，ReasoningBank 的三个核心操作——记忆检索（memory retrieval）、记忆提取（memory extraction）和记忆巩固（memory consolidation）——构成了一个闭合的学习环路。检索阶段通过嵌入相似度搜索将相关记忆注入当前决策上下文；提取阶段利用 LLM 将完整轨迹蒸馏为结构化记忆条目；巩固阶段将新条目追加至记忆库。这一环路没有外部监督的介入，完全依赖智能体自身的交互历史和自我评判，理论上具备了终身学习的雏形。然而，该框架也隐含着几项关键假设：首先，它假设经验中存在可提炼的、具有一定泛化性的模式，而非完全随机的噪声；其次，它假设嵌入空间的相似度能够有效地关联语义相近的任务，这对于涉及复杂多跳推理的查询可能并不总是成立；最后，它假设同模型担任评判者时具有足够的判别能力，这在面对需要领域专业知识的任务时可能存在局限。

技术架构

ReasoningBank 的技术实现可以被理解为一个围绕记忆生命周期构建的简洁而精巧的流水线，其设计哲学是有意保持核心机制的纯粹性，以便清晰隔离"记忆内容质量"这一变量的贡献。整个系统由三个顺序衔接的模块组成，它们共同构成一个自我强化的经验处理工厂。

在数据流入端，系统首先执行记忆检索。当新的用户查询 $q_i$ 到达时，系统使用 gemini-embedding-001 模型将查询文本映射为稠密向量，并在记忆库的查询嵌入集合中执行基于余弦距离的相似度搜索，选取最相关的 top-$k$ 条经验（默认 $k=1$）。这些检索到的记忆条目被格式化为系统提示（system prompt）的一部分，注入智能体的决策上下文。作者特别设计了一条指令，要求智能体在每一步行动前"显式讨论是否以及如何使用每一条检索到的记忆"，这种元认知式的要求强制智能体主动思考过往经验与当前处境的关联，而非被动接受提示的引导。值得注意的是，作者并未采用更复杂的自适应检索或多跳检索策略，而是刻意保持检索机制的简单，以确保观测到的性能增益可归因于记忆内容本身。

当智能体完成与环境的交互、生成完整轨迹后，数据流进入核心的记忆提取阶段。此时，LLM-as-a-Judge 首先对轨迹进行二元标注，判断任务是否成功。这一标注结果决定了后续提取策略的分支走向：对于成功轨迹，提取指令要求模型分析"为何这条轨迹成功了"，并总结出可迁移的成功策略；对于失败轨迹，指令则要求模型反思"失败的原因是什么"，并推导出预防性策略。每条轨迹最多可提取 3 个记忆条目，每个条目严格遵循三字段结构：标题（title）作为简洁的策略标识符，描述（description）提供一句话概述，内容（content）记录提炼后的推理步骤、决策依据或操作洞察。这种结构化设计使得记忆条目同时满足人类可读性与机器可用性——人类可以像阅读操作手册一样理解智能体学到的经验，而机器则可以直接将这些文本作为提示注入使用。

记忆巩固阶段的设计体现了极简主义：新提取的记忆条目被直接追加到记忆池中，不执行合并、去重或遗忘操作。作者坦承这一设计是为了避免引入额外的混淆因素，但也指出更复杂的巩固机制（如基于语义相似度的条目合并、基于使用频率的衰减更新）在未来研究中具有明确的提升空间。记忆库以 JSON 格式持久化存储，每个条目包含原始查询、完整轨迹以及对应的结构化记忆条目，嵌入向量单独缓存以加速检索。

在 ReasoningBank 的基础之上，MaTTS 将测试时扩展的理念注入了上述流水线。这里需要区分三种不同形态的扩展策略。第一种是朴素 TTS（vanilla TTS），对应图3(a)所示：对同一查询独立生成多条轨迹，分别提取记忆并直接加入记忆库。这种做法虽然增加了经验数量，但未能利用多条轨迹之间的内在关联，其性能增益受限。第二种是并行扩展（parallel scaling），对应图3(b)：同时生成 $k$ 条轨迹，然后通过自对比（self-contrast）机制分析它们之间的差异——哪些推理模式在多个成功轨迹中一致出现，哪些错误在失败轨迹中反复发生。这种对比为记忆提炼提供了远比单条轨迹更可靠的信号，因为它能有效过滤掉偶然的成功或孤立的失误，提炼出真正稳健的策略。第三种是顺序扩展（sequential scaling），对应图3(c)：在单条轨迹生成完成后，智能体被要求迭代地重新检查自己的推理步骤和动作选择（self-refinement），并在检查过程中捕捉中间反思作为额外的记忆信号。这些中间反思记录了推理尝试、修正过程和顿悟时刻，其价值甚至超过最终解本身。两种扩展策略共享一个超参数 $k$——在并行设置中表示轨迹数量，在顺序设置中表示反思轮数——从而实现了统一的扩展因子概念。

从技术架构的整体视角来看，MaTTS 与 ReasoningBank 的协同关系可以类比为一个探索-利用的增强回路：更多的计算资源投入（扩展）产生了更丰富、更多样化的经验样本，这些样本经 ReasoningBank 提炼后形成更高质量的策略记忆；而这些策略记忆又指导后续扩展过程朝向更高价值的搜索空间，减少了在低效路径上的浪费。这种双向增强的机制，正是"记忆驱动经验扩展"作为新扩展维度的技术内核。

实验评估

为了全面验证 ReasoningBank 与 MaTTS 的有效性，作者在三个具有代表性的智能体基准上开展了大规模实验：WebArena 用于评估通用网页导航能力，Mind2Web 用于检验跨场景泛化性能，SWE-Bench-Verified 用于测试代码工程任务中的实际应用。WebArena 包含购物、管理后台、GitLab、Reddit 和跨域多站点五个子集，共计 684 个测试实例；Mind2Web 包含跨任务、跨网站和跨域三种泛化设置，共计 1341 个实例；SWE-Bench-Verified 则包含 500 个经人工验证的仓库级缺陷修复任务。这种多领域、多难度的实验布局，确保了结论的广泛适用性。

在对比方法的选择上，作者构建了一条从"无记忆"到"结构化记忆"的完整基线谱系。"No Memory"基线代表纯粹的即时推理，不利用任何过往经验；Synapse 是轨迹级记忆的代表，将过去成功案例的完整交互序列作为上下文范例直接注入；AWM（Agent Workflow Memory）则代表了工作流抽象记忆，从成功轨迹中提炼可复用的程序性流程。这三条基线与 ReasoningBank 形成了清晰的递进对照：Synapse 保存原始数据，AWM 保存成功模式，而 ReasoningBank 保存跨案例的推理原则。实验采用了三种不同的骨干模型——Gemini-2.5-Flash、Gemini-2.5-Pro 和 Claude-3.7-Sonnet——以检验记忆机制是否具备跨模型族的普适性。

评估指标聚焦于有效性与效率两个维度。有效性以成功率（Success Rate, SR）衡量，其数学定义为 $SR=\frac{1}{N}\sum _{i=1}^N\text{isSuccess}(q_i)$，其中 $\text{isSuccess}(q_i)$ 为二元指示函数，仅当智能体最终输出或状态精确匹配预设目标时取值为 1。效率则以平均步数（Average Steps, AS）衡量，定义为 $AS=\frac{1}{N}\sum _{i=1}^N\text{Steps}(q_i)$，反映完成任务所需的交互轮次。对于 Mind2Web，由于每任务包含固定步数，额外报告元素准确率（EA）、动作 F1（AF1）、步骤成功率（SSR）和任务级成功率（SR）等多粒度指标。

实验结果呈现出高度一致且令人信服的图景。在 WebArena 上（见下表），ReasoningBank 在所有模型和子集上均稳定超越全部基线。以 Gemini-2.5-Flash 为例，整体成功率从 No Memory 的 40.5% 提升至 48.8%，相对增益达 20.5%；搭配 MaTTS（并行扩展，$k=5$）后进一步提升至 51.8%。这一跨越不仅体现在总体数字上，更在特定子集中展现出差异化优势：在需要跨站点迁移能力的 Multi 子集上，ReasoningBank 取得了 13.8% 的成功率，而最强的对比基线 AWM 仅为 3.4%——这强烈说明基于推理原则的记忆远比基于固定流程的记忆更具迁移性。

表1：WebArena 上 ReasoningBank 与 MaTTS（并行扩展，$k=5$，pass@1）的实验结果。SR 为成功率（越高越好），Step 为平均交互步数（越低越好）。

效率方面的发现同样值得关注。ReasoningBank 不仅提高了成功率，还系统性地减少了交互步数。在 WebArena 上，Gemini-2.5-Flash 的平均步数从 9.7 降至 8.3，降幅达 14.4%；在 SWE-Bench-Verified 上，步数从 30.3 降至 27.5。深入分析（见表4）揭示了一个更为精细的模式：步数减少主要来自成功轨迹，失败轨迹的步数降幅相对较小。例如 Shopping 域的成功案例步数从 6.8 降至 4.7（减少 2.1 步，相对降幅 30.9%），而失败案例仅从 8.7 降至 7.6（减少 1.1 步）。这说明 ReasoningBank 并非通过简单地截断失败尝试来节省成本，而是通过强化正确路径上的推理能力，帮助智能体以更少的交互达成目标。这种"靶向式效率增益"是记忆真正发挥指导作用的证据——它让智能体"走对路"，而非"走得少但错"。

消融实验进一步揭示了设计决策的价值。在纳入失败轨迹的对比中（图7），Synapse 和 AWM 由于缺乏处理失败经验的机制，在加入失败数据后表现停滞甚至倒退：Synapse 从 40.6% 微升至 41.7%，AWM 从 44.4% 跌至 42.2%。相比之下，ReasoningBank 从仅使用成功轨迹的 46.5% 跃升至同时使用失败轨迹的 49.7%。这一 3.2 个百分点的差距清晰地表明，失败经验中蕴含的负向信号和避坑指南，是记忆系统不可或缺的营养来源。此外，检索经验数量的消融显示，检索 1 条经验时效果最佳（49.7%），随着数量增加到 2、3、4 条，成功率反而逐步下滑至 46.0%、45.5% 和 44.4%。这提示记忆质量远比数量重要，过多经验可能引入冲突和噪声，干扰当前决策。

MaTTS 的深入分析则展现了扩展策略的动态特性。在 WebArena-Shopping 子集上，随着扩展因子 $k$ 从 1 增至 5，并行扩展的成功率从 49.7% 稳步攀升至 55.1%，顺序扩展则达到 54.5%。两种策略各有千秋：顺序扩展在小 $k$ 时表现更优，因为它能通过迭代反思快速修正轨迹中的瑕疵；但当 $k$ 增大时，其收益迅速饱和——一旦模型在初次尝试中已经明确成功或失败，后续反思能带来的新洞察有限。相反，并行扩展在大 $k$ 时持续提供多样化的 rollout，为自对比分析提供更丰富的素材，从而在大规模计算投入下展现出更优的边际收益。这一发现对实际部署具有指导意义：计算预算有限时优先考虑顺序反思，计算资源充裕时则选择并行探索。

案例研究

实验数字虽然有力，却难以传达智能体在学习过程中展现出的生动演化。本节通过论文中提供的典型案例，深入观察 ReasoningBank 如何在实践中塑造智能体的行为。

最具启发性的案例莫过于图6所示的"涌现式策略演化"现象。作者追踪了一条名为"用户专属信息导航"的记忆条目在测试时学习过程中的生命周期演变。在初始阶段，这条记忆表现为程序化的执行策略，例如"查找导航链接"——智能体遵循简单的动作规则，按部就班地点击可见的菜单项。随着经验的累积，它进化为自适应的自我反思形式："重新验证元素标识符以减少简单错误"，智能体开始发展出对自身操作的元认知监控能力。继续学习后，同一记忆条目进一步升华为自适应检查策略："系统性地利用可用的搜索或过滤功能，在汇报结果前确保完整性"——这标志着一个质的飞跃，智能体不再是被动的执行者，而成为了主动的问题求解规划者。最终，这条记忆成熟为高度组合化的复合策略："定期将当前视图与任务需求进行交叉比对，若数据不符合预期则重新评估可用的导航选项，如特定页码、搜索过滤器或替代区域"。这一演化轨迹与人类技能习得过程惊人地相似：从机械模仿到规则内化，再到策略性调整，最终达到灵活的综合运用。关键在于，这种层次跃迁并非由外部课程设计引导，而是完全 emergent（涌现的）——它是大量经验在 ReasoningBank 中持续沉淀、对比和提炼的自然结果。

图15展示了一个具体的效果案例。用户查询为"我在这个网站上第一次购买是什么时候"。无记忆基线智能体访问"我的账户"页面后，仅查看了"近期订单"表格，便错误地将最近一笔订单的日期作为答案返回——它未能意识到"近期"与"首次"之间的语义鸿沟。而配备了 ReasoningBank 的智能体，在检索到过往关于"订单历史完整导航"的记忆后，明确意识到需要访问完整的订单历史而非仅浏览近期记录，通过点击"查看全部"链接进入完整订单列表，并最终翻页找到最早的订单记录。这一案例完美诠释了推理记忆的价值：它不是提供具体答案，而是提供寻找答案的思维方式。

效率方面的案例同样令人印象深刻（图16）。在一个需要从"男鞋"类别中购买评分最高、至少有5条评论且价格最低的商品的任务中，无记忆基线消耗了 29 步，其中 8 步浪费在反复寻找"Men"分类筛选器的低效浏览中，最终因无法正确过滤而陷入困境。而 ReasoningBank 智能体通过调用记忆中关于"类别过滤导航"的推理策略，直接定位到正确的筛选路径，仅用 10 步便高效完成任务。这种从 29 步到 10 步的跨越，不是简单的路径缩短，而是认知策略升级带来的根本性效率重构——智能体学会了"在哪里寻找什么"，而非盲目尝试。

最后，图17呈现了一个从失败中学习的典范。用户要求获取索尼蓝牙耳机的完整型号名称及价格范围。原始轨迹失败的原因在于智能体使用了过于宽泛的搜索词，导致返回结果过多且包含大量无关项，智能体陷入了无尽翻页的泥潭。ReasoningBank 对这条失败轨迹进行反思后，诊断出核心症结："智能体在'下一页'上花费了无尽步骤，耗尽了交互限制却未能提供用户所需信息"。由此提炼出的记忆条目包含了三条具体策略："搜索查询优化"以避免无关结果并确保精确性，"调整每页显示条目数"以加速浏览，以及"善用可用过滤器"。这些策略一旦被记忆库收录，就能在未来面对任何涉及大规模列表检索的任务时提供避坑指南——失败的成本被一次性支付，但其教训却被永久复用。

综合价值与局限

从理论层面审视，ReasoningBank 的贡献超越了具体的性能数字，它从根本上重塑了我们对于"智能体应当如何记忆"的概念理解。在此之前，记忆研究领域长期存在一种隐性的成功偏见（success bias）：人们理所当然地认为只有成功轨迹才值得保存，失败经验不过是需要遗忘的噪音。ReasoningBank 用扎实的实验证据打破了这一偏见，证明失败经验中蕴含的负向信号——那些关于"什么做法不可行"的约束性知识——与正向策略同样宝贵，甚至在某些泛化场景下更为稀缺。这一认识论层面的转变，为后续研究开辟了一个此前被忽视的维度：如何设计更精细的失败分析机制，如何从不同类型的失败（可恢复错误 vs 根本性误判）中提取差异化的教训，以及如何避免将失败经验转化为过度保守的行为模式。

在实践应用层面，ReasoningBank 展现出极高的成本效益比，这对于真实世界部署至关重要。根据表5的推理成本分析，ReasoningBank 相比无记忆基线仅增加了约 4.3% 的总 token 消耗（从 50847 增至 53055），却换来了 20.5% 的成功率提升。相比之下，Synapse 和 AWM 虽然也增加了 token 开销，但性能增益远不及 ReasoningBank，形成了鲜明的性价比反差。这种轻量级增量意味着企业可以在现有智能体架构上以极低的额外成本部署 ReasoningBank，而无需重构底层基础设施。无论是客户服务机器人、自动化软件工程助手，还是科学研究辅助智能体，任何需要在持续交互中积累经验的应用场景都能从中受益。

然而，作为一篇以内容创新为核心的工作，ReasoningBank 也坦诚地指出了自身的边界。首先，研究刻意聚焦于"记忆应该存什么"，而非"记忆应该如何组织"，因此并未与 episodic memory（情景记忆）或 hierarchical memory（分层记忆）等成熟架构进行充分对比和整合。这种聚焦使得因果解释更为清晰，但也意味着系统的扩展性可能受限于扁平的记忆组织结构。其次，检索和巩固环节采用了极简策略——嵌入相似度检索加上直接追加存储——这虽然有效地隔离了变量的影响，却也放弃了自适应检索、动态遗忘、语义合并等可能进一步提升性能的工程优化。未来的迭代版本完全可以将 ReasoningBank 的内容提炼哲学与更先进的记忆架构相结合，实现内容与形式的双重进化。

另一个不容忽视的局限是对 LLM-as-a-Judge 的依赖。尽管实验证明系统对评判噪声具有鲁棒性，但当前设计将轨迹标注的可靠性完全寄托于单一模型的判别能力。在涉及细微语义差别、多标准权衡或领域专属知识的任务中，自动评判可能产生系统性偏差，进而污染记忆库。引入更强壮的验证器——例如基于规则的检查器、多模型 ensemble 投票、或人机协同反馈回路——将是提升系统可信度的自然下一步。此外，实验目前仅覆盖网页浏览和软件工程两个领域，在需要物理交互、多模态感知或长期社会协作的场景中，推理记忆的提炼逻辑可能需要相应调整。

从更宏观的视角来看，ReasoningBank 与 MaTTS 的组合暗示了一个正在形成的研究趋势：智能体能力的提升不再仅仅依赖于预训练参数量的堆砌，也不仅仅依赖于测试时计算资源的 brute-force 扩展，而是可以通过"经验的结构化积累与复用"这一维度实现质的飞跃。这种记忆驱动的扩展范式，为资源受限场景下的智能体持续改进提供了可行路径，也为理解人类学习的本质提供了计算层面的类比模型。

延伸阅读与思考

ReasoningBank 的提出并非孤立事件，而是建立在多条研究脉络交汇的基础之上。在记忆机制领域，Synapse（Zheng et al., 2024）首次将轨迹作为上下文范例引入智能体决策，展示了直接复用过往经验的可行性；AWM（Wang et al., 2025d）则进一步抽象出程序化的工作流记忆，证明了结构化优于原始记录。然而，这两条路径都未触及策略层面的迁移学习。ReasoningBank 正是在这一递进关系中，完成了从"记录动作"到"提炼推理"的第三次跃迁。在测试时扩展领域，Snell et al. (2025) 奠定了 TTS 在数学推理和编程任务中的有效性基础，而 MaTTS 将这一范式首次系统地引入多轮交互式智能体场景，并揭示了记忆与扩展之间的协同增效——这是此前专注于单次推理链条的 TTS 研究未曾触及的视角。

与 ReasoningBank 同期的相关研究呈现出有趣的互补格局。在记忆内容方面，AutoGuide（Fu et al., 2024）和 EXPel（Zhao et al., 2024）同样探索了从经验中提取指导原则，但它们主要聚焦于成功案例，且未将记忆机制与测试时计算扩展相结合。在强化学习（Reinforcement Learning, RL）与记忆交叉的方向上，Yu et al. (2025a) 和 Zhou et al. (2025) 利用 RL 优化记忆管理策略，但这些方法通常需要密集的环境反馈和梯度更新，而 ReasoningBank 的纯提示工程方法在部署门槛上显著更低。与此同时，动态作弊表（Dynamic Cheatsheet, Suzgun et al., 2025）等测试时学习工作也与本研究共享"在推理时适应"的哲学，但它们的适应粒度通常停留在实例级别，缺乏跨任务的策略抽象能力。

展望未来，ReasoningBank 打开了若干富有前景的研究方向。首先是模块化与组合式记忆的探索：当前框架中每条经验被独立提炼为多个记忆条目，检索时也是独立使用。若记忆能够按照功能类型（如规划记忆、工具使用记忆、用户偏好记忆）进行模块化提取，并通过组合检索实现跨类型的策略拼装，智能体在复杂长程任务中的泛化能力将获得质的飞跃。其次是记忆架构的深度整合：将 ReasoningBank 的内容提炼能力嵌入 episodic-short-term-long-term 分层记忆栈中，并引入基于不确定性和成本的自适应检索路由，有望构建出真正产品级的记忆服务。最后，在评估方法论层面，当前依赖自动评判的做法可以向着人机协同验证、在线 A/B 测试和长期用户满意度追踪等更丰富的维度拓展。

个人而言，本文最令人深思之处在于它所展现的"涌现行为"图谱。当我们观察到智能体在没有显式课程设计的情况下，自发地从程序化执行进化到元认知反思，再进化到组合策略运用时，很难不联想到人类认知发展的某些片段。这引发了一个深刻的问题：如果持续运行足够长的时间、积累足够多的经验，基于 ReasoningBank 的智能体是否可能展现出我们今天无法预见的、更为复杂的策略层次？这种由经验积累和结构化提炼所驱动的能力涌现，或许为理解智能的渐进式起源提供了一个简约而有力的计算模型。如果要进一步探索，我最感兴趣的将是 ReasoningBank 在不同错误类型上的差异化学习动态——系统是否对某些类型的失败学得更快，是否会出现"过度学习"导致的保守主义偏差，以及这些记忆演化轨迹是否能被外部监控和干预。这些问题不仅关乎技术优化，更触及我们对"机器如何学习"这一根本命题的理解深度。

笔记创建时间: 2026-05-04
阅读方式: L2 深度阅读

Topics:

• "self_evolving_agents"
• "reasoning_memory"
• "test_time_scaling"
• "agent_architecture"
• "memory_mechanism"
  References:
• "google_cloud_ai_research"
• "webarena"
• "mind2web"
• "swebench_verified"