A Survey of Self-Evolving Agents: What, When, How, and Where to Evolve on the Path to Artificial Super Intelligence

基本信息

标题: A Survey of Self-Evolving Agents: What, When, How, and Where to Evolve on the Path to Artificial Super Intelligence
第一作者: Huan-ang Gao (Princeton University / Tsinghua University)
研究团队: Princeton University, Tsinghua University, CMU, University of Sydney, SJTU, Penn State, University of Michigan, Oregon State University, CUHK, Fudan University, HKUST(Guangzhou), University of Hong Kong, UC Santa Barbara, UC San Diego, University of Edinburgh, UIUC
会议/期刊: Transactions on Machine Learning Research (TMLR), 2026
代码: https://github.com/CharlesQ9/Self-Evolving-Agents
PDF 文件: [Self-Evolving Agents Survey](file:///C:/Users/admin/.openclaw/workspace/attachment/papers/20260504_self_evolving_agents_survey_asi.pdf)

研究摘要

在人工智能发展的漫长历程中，我们见证了一个根本性的范式转移正在悄然发生。这篇由来自全球顶尖研究机构的二十余位学者共同撰写的综述论文，系统地审视了一个令人振奋又充满挑战的新兴领域——自进化智能体（Self-Evolving Agents）。传统的大语言模型（LLM）虽然在众多任务上展现出惊人的能力，但其本质仍是静态的：一旦训练完成，模型参数便凝固不变，无法适应新任务、evolving knowledge domains，或是在动态交互情境中实时调整。当这些模型被部署到开放、持续演化的真实世界环境中时，这种静态性构成了一个致命的瓶颈。

本文的核心洞见在于：人工智能的未来不在于继续堆砌静态模型的规模，而在于构建能够持续自我进化、自我适应的智能体系统。作者们敏锐地指出，这一范式转移——从扩展静态模型到发展自进化智能体——正在推动我们走向一个更具变革性的目标：人工超级智能（Artificial Super Intelligence, ASI）。在这个愿景中，智能体不仅能以不可预测的速度从经验中学习和进化，还能在广泛的任务阵列上达到或超越人类智能水平。这种转变的意义远超技术层面的改进，它重新定义了我们对于智能系统的根本理解：智能不再是预先编码的固定能力，而是一种动态的、可生长的、与环境持续交互中涌现的属性。

与以往关于智能体的综述不同，本文首次将自进化作为一个独立且核心的研究范式进行系统性考察。现有的调研往往将进化机制作为综合智能体分类体系中的一个附属部分，而本文则直接追问三个根本性问题：智能体的哪些方面应当进化（what to evolve）？何时应当启动进化（when to evolve）？以及如何实现这种进化（how to evolve）？围绕这三个维度，作者们构建了一个统一的理论框架，将分散在各类文献中的异构机制整合为连贯的知识体系。具体而言，他们系统性地检视了智能体系统的各个组件——包括模型（models）、记忆（memory）、工具（tools）乃至整体架构（architecture）——各自的进化机制；按照时间维度将进化方法区分为测试时内进化（intra-test-time）和测试间进化（inter-test-time）；并分析了驱动进化的各类信号，从标量奖励到文本反馈，从单智能体系统到多智能体协作。

本文的理论贡献在于建立了自进化过程的特征化统一框架，为未来的自进化智能体设计提供了清晰的设计指导。其实践贡献则体现在：系统梳理了面向自进化智能体的评估基准和环境，强调了评估与智能体之间协同进化（co-evolution）的重要性；展示了包括自主软件工程、个性化教育、医疗保健和智能虚拟助手在内的关键实际应用；并识别出安全性、个性化、多智能体协同进化和可扩展性等关键开放挑战与有前景的未来研究方向。这项工作不仅填补了该领域的系统性空白，更为整个研究社区提供了一张理解、比较和推进自进化智能体研究的结构化路线图。

理论框架

要真正理解自进化智能体这一范式，我们必须首先深入其理论根基。本文的作者们在此展现了严谨的学术素养，他们没有急于罗列各种技术方案，而是首先建立了严格的数学形式化体系，为整个领域奠定了概念基础。这种形式化的努力至关重要，因为自进化智能体涉及的概念边界模糊，与课程学习（Curriculum Learning）、终身学习（Lifelong Learning）、模型编辑（Model Editing）和机器遗忘（Unlearning）等既有范式存在交叉但又各具独特性。通过形式化，作者们精确地划定了自进化智能体的理论疆域。

环境的形式化定义

作者们将智能体所处的环境（包括用户和执行环境如Linux shell）定义为一个部分可观测的马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP），这是一个在强化学习和智能体研究中被广泛采用但在此被精心适配于LLM智能体场景的框架。该POMDP被表示为一个八元组：

E = (G, S, A, T, R, Ω, O, γ)

其中每个变量都被赋予了明确的语义内涵： $G$ 代表潜在的 goals 集合，每一个 $g \in G$ 都是智能体需要完成的具体任务目标，例如一个用户查询； $S$ 是状态集合，每个 $s \in S$ 表示环境的内部状态； $A$ 是动作集合，每个动作 $a \in A$ 可以是文本推理、外部知识检索和工具调用的组合； $T$ 是状态转移概率函数，接收一个状态-动作对 $(s, a)$ 并输出下一状态的概率分布 $T (s^{'} | s, a)$ ； $R : S \times A \times G \to R$ 是反馈/奖励函数，以具体目标 $g \in G$ 为条件，反馈 $r = R (s, a, g)$ 通常以标量分数或文本反馈的形式出现； $Ω$ 是智能体可获取的观测集合； $O$ 是观测概率函数，输出下一观测的概率分布 $O (o^{'} | s, a)$ ；而 $γ$ 则是折扣因子，用于平衡即时回报与未来回报。这一形式化捕捉了智能体在真实世界中行动的核心特征：环境是部分可观测的（智能体无法获知完整的内部状态），动作空间是异构的（结合了语言推理和工具执行），反馈是目标依赖的（同一动作在不同任务下可能获得不同评价）。

智能体系统的形式化定义

在环境之上，作者们进一步定义了（多）智能体系统 $Π = (Γ, {ψ_{i}}, {C_{i}}, {W_{i}})$ 。其中 $Γ$ 决定了智能体系统的控制流或多个智能体之间的协作结构，通常表示为由图或代码结构组织的节点序列 $(N_{1}, N_{2}, . . .)$ 。每个节点 $N_{i}$ 由三个核心组件构成： $ψ_{i}$ 代表底层的LLM/MLLM（多模态大语言模型）， $C_{i}$ 是上下文信息（如提示 $P_{i}$ 和记忆 $M_{i}$ ），而 $W_{i}$ 是可用的工具/API集合。在每个节点上，智能体的策略是一个函数 $π_{θ_{i}} (\cdot | o)$ ，它接收观测并输出下一动作的概率分布，其中 $θ_{i} = (ψ_{i}, C_{i})$ 。值得注意的是，实际的动作空间是自然语言空间与工具空间 $W_{i}$ 的并集，这一设计精确地反映了现代LLM智能体的本质：它们既通过生成文本来推理，又通过调用工具来执行。

自进化策略的形式化定义

基于上述定义，作者们给出了自进化策略的严格数学表述。一个自进化策略 $f$ 是一个变换，它将当前智能体系统映射到一个新状态，以生成的轨迹 $τ$ 和外部/内部反馈 $r$ 为条件：

f (Π, τ, r) = Π^{'} = (Γ^{'}, {ψ_{i}^{'}}, {C_{i}^{'}}, {W_{i}^{'}}) (1)

这一定义简洁而深刻地揭示了自进化的本质：它不仅改变模型参数 $ψ_{i}$ ，还可能改变上下文状态 $C_{i}$ 、工具集 $W_{i}$ ，乃至整体架构拓扑 $Γ$ 。这种全方位的可变性将自进化与仅仅调整模型参数的常规训练方法明确区分开来。

进一步地，设 $U$ 是衡量智能体系统 $Π$ 在给定任务 $T$ 上表现的效用函数，赋予标量分数 $U (Π, T) \in R$ 。给定一系列任务 $(T_{0}, T_{1}, . . ., T_{n})$ 和初始智能体系统 $Π_{0}$ ，自进化策略 $f$ 递归地生成一个进化序列：

Π_{j + 1} = f (Π_{j}, τ_{j}, r_{j}) (2)

其中 $τ_{j}$ 和 $r_{j}$ 是在任务 $T_{j}$ 上的轨迹和反馈。自进化智能体的总体目标便是构造策略 $f$ 使得跨任务的累积效用最大化：

max_{f} \sum_{j = 0}^{n} U (Π_{j}, T_{j}) (3)

这一定义将自进化置于一个统一的优化框架之中：它不是追求在单个任务上的最优表现，而是在整个任务序列上最大化累积效用。这意味着一个真正的自进化智能体必须权衡探索与利用，必须考虑知识保留与遗忘的trade-off，必须在即时适应与长期发展之间找到平衡。

操作性定义与纳入标准

为了使这一框架具有实际的可操作性，作者们进一步提出了一个操作性定义（operational definition）：自进化智能体是基于自身轨迹或反馈信号，修改其内部参数、上下文状态、工具集或架构拓扑，并以明确目标改善未来表现的智能体。这一定义包含三个纳入标准：（i）更新必须是经验依赖的（experience-dependent），由轨迹、自生成数据或环境反馈驱动，专门针对智能体策略的局限性或能力边界，而非通用的数据合成；（ii）更新必须产生持久的、改变策略的效果，而非瞬时的指令遵循行为；（iii）系统必须具备自主探索或自我启动学习的机制，即使它也利用预收集的数据。

这一操作性定义具有深刻的理论意义。作者们区分了"被动"（passive）学习——完全由外部提供的数据或时间表触发的学习，以及"主动"（active）学习——由自我启动的探索、反思或结构性修改驱动的学习。他们将后者明确排除在自进化的范畴之外，从而划定了自进化与标准蒸馏（其中数据生成与智能体的交互历史无关）之间的边界。同时，作者们也表现出学术上的审慎：由于该领域正在快速形成，完全自主的、无需人类干预的自进化更多是一个 aspirational goal 而非当前常态。因此，他们分析自进化范式的范围从"原型进化"（proto-evolution，如迭代自举或反馈驱动的提示）到"强自进化"（strong self-evolution，完全自主的诊断和重新配置），这种包容性定义既保证了前沿性又兼顾了现实性。

与相关范式的理论辨析

在建立自身理论框架之后，本文的一个重要贡献是通过双重视角——问题设置视角（problem-setting lens）和解决方案范式视角（solution-paradigm lens）——来厘清自进化智能体与其他学习范式之间的关系。课程学习和终身学习是从具体学习问题中产生的：前者关注如何按照难度递增的顺序组织训练样本，后者关注如何在获取新能力的同时避免灾难性遗忘。这些范式主要由它们旨在解决的问题驱动，规定了经验如何组织给学习者，而非智能体本身如何超越参数更新来适应。相比之下，模型编辑和自进化智能体是作为解决方案出现的：它们提出了更新或修改系统的机制。模型编辑提供有针对性的程序——通常是局部参数调整——来纠正或插入知识。自进化智能体则将这一思想推广，将适应视为一种一等能力，不仅允许参数更新，还允许对运行时上下文、记忆、工具和工作流结构的改变，由智能体自身的轨迹和反馈信号驱动。通过这种双重视角的分析，作者们清晰地定位了自进化智能体的理论位置：它是系统级的解决方案范式，包含了参数级编辑作为一种更新路径，同时实现了更广泛的、持久的、交互驱动的跨智能体多个组件的进化。

技术架构

自进化智能体的技术架构是一个多层次、多维度的复杂系统。本文在这一部分展现了极强的系统性，将技术空间按照"什么进化"、"何时进化"和"如何进化"三个正交维度进行分解，每个维度之下又包含丰富的子类别和具体方法。这种分解方式不仅使得庞大的技术图景变得清晰可导航，更揭示了不同技术选择之间的内在关联和权衡。

What to Evolve：进化的焦点

在"什么进化"这一维度上，作者们识别出四个主要的进化焦点（evolutionary loci），它们对应于智能体系统的核心组件：模型（Models）、上下文/记忆（Context/Memory）、工具（Tools）和架构（Architecture）。

模型进化（Models） 位于智能体的认知核心。与静态系统依赖人工标注数据集和固定训练机制不同，自进化模型能够通过交互、自监督数据生成和动态学习循环来改进自身。这一维度主要沿着两个主轴展开：策略进化（Policy）和经验进化（Experience）。在策略进化方面，Self-Challenging Agent (SCA) 采用了一种巧妙的自我对抗机制：语言模型交替扮演挑战者（生成可执行的 Code-as-Task 问题）和执行者（解决这些问题）的角色，然后使用成功解决轨迹的反馈来微调自身参数。Self-Rewarding Self-Improving 框架则更进一步，实现了内部的自我评判机制，使模型能够自主生成问题、解决问题并评估自身表现，从而在没有外部标注的情况下产生自包含的微调数据。在经验进化方面，AgentGen 将概念扩展到完整的环境生成，合成多样化的模拟世界（PDDL或Gym风格格式），实现双向进化循环，动态调整任务难度。Reflexion 引入了自我反思机制，智能体迭代记录对先前行为的自然语言批评，指导未来行为以避免重复错误。AdaPlanner 则实现了闭环自适应规划，根据环境反馈实时调整策略。这些方法的共同点在于，它们将智能体从被动的数据消费者转变为积极的环境互动者和自我教育者。

上下文进化（Context） 塑造智能体的行为方式，包含两个密切相关的概念：记忆进化（Memory Evolution）和提示优化（Prompt Optimization, PO）。记忆进化关注"智能体应当保留、遗忘和检索哪些过去信息以保持信息灵通并表现得更好"。SAGE 使用艾宾浩斯遗忘曲线来决定记忆或遗忘的内容；Mem0 引入了双阶段流水线，智能体首先从近期对话中提取显著事实，然后决定如何更新长期记忆——可以添加新事实、合并/更新冗余信息或删除矛盾信息；Memory-R1 更进一步，提出用强化学习框架训练专门的记忆管理智能体，学习选择结构化操作（ADD、UPDATE、DELETE）。这些工作表明，有效的记忆管理不仅是存储问题，更是一个动态的、有选择性的、目标导向的信息管理过程。提示优化则关注"如何措辞或结构化指令以使LLM表现更好"。APE 将指令设计视为搜索问题，生成候选提示并在验证样例上评分；PromptAgent 将提示发现视为蒙特卡洛树搜索（MCTS），策略性地探索指令空间；PromptBreeder 采用进化方法，维护一个群体以发现越来越有效的指令；SPO 创造了完全自包含的循环，模型生成自己的训练数据并使用成对偏好比较来优化提示。这些方法的演进轨迹清晰地展示了一个趋势：从外部设计的静态提示到智能体自主优化的动态提示，提示本身从一个固定输入变成了一个可与经验协同进化的可学习组件。

工具进化（Tools） 标志着智能体从单纯的工具使用者向自主工具制造者的关键转变。这一进化前沿沿着三个相互关联的方向展开：自主发现与创建、通过迭代精炼掌握、以及可扩展的管理与选择。在工具创建方面，Voyager 通过 Minecraft 等开放环境中的涌现试错，构建不断扩展的技能库；ATLASS、Alita 和 Live-SWE-Agent 在识别到能力缺口时，从 scratch 创建新工具或使用检索增强生成（RAG）搜索开源代码仓库；CREATOR 则将抽象工具创建（如推理一个可复用的、计算N天平均温度的函数的一般结构）与具体工具使用（决定如何将这个函数应用到特定城市和时间范围）解耦，增强了模块化和可复用性。在工具掌握方面，LearnAct 和 From Exploration to Mastery 建立了关键的自我校正循环，智能体分析包括编译器错误、意外API返回值、环境状态变化在内的多种反馈信号，不仅调试工具的底层代码，还改进其文档（如docstring和参数描述）。在工具管理方面，ToolGen 代表了一个根本性的范式转移：将工具编码为语言模型词汇表中的唯一 token，将工具检索重新框架为生成问题，利用transformer的模式识别能力来预测最合适的工具。随着工具库增长到数百或数千个，AgentSquare 通过元学习自动搜索智能体的模块化设计空间，而 Darwin Gödel Machine 则提出了一个更为激进的愿景：智能体能够根本性地重写自己的核心代码，导致自我改进的递归级联。

架构进化（Architecture） 代表了最高层次的自组织能力，智能体将其自身的内部逻辑和协作结构视为可优化的组件。在单智能体优化方面，研究沿着两个主要策略展开：一是优化固定智能体拓扑中的节点，如 TextGrad 受反向传播启发，使用"文本梯度"将反馈从最终输出向后传播到工作流中的每个节点；二是将组件级优化直接整合到系统架构的搜索中，如 EvoFlow 使用进化算法构建异构工作流，为每个任务从多样化池中选择最合适的LLM。在多智能体优化方面，ADAS 和 AFlow 将系统设计正式定义为搜索和优化问题：ADAS 通过将系统设计框架为基于代码配置的图灵完备空间搜索，设定了理论愿景；AFlow 则通过引入代表常见智能体模式的可复用算子，并使用MCTS高效导航巨大的设计空间，使这一愿景变得实用。后续研究迅速多样化，创造出为每个具体查询定制的智能体系统，如 ScoreFlow 训练生成器使用新颖的偏好优化方法，FlowReasoner 使用强化学习训练元智能体动态构建定制工作流。多智能体协同进化方面，ReMA 使用多智能体强化学习（MARL）协作训练高级元思考者和低级执行者，而 GiGPO 通过聚合轨迹提供更精确的信用分配，提升长程任务的成功率。

When to Evolve：进化的时机

"何时进化"的维度关乎学习过程与任务执行的时间关系。作者们提出了一个清晰的分类：测试时内自进化（Intra-test-time self-evolution）和测试间自进化（Inter-test-time self-evolution）。

测试时内自进化发生在任务执行过程中，智能体识别自身在特定问题上的局限性并启动有针对性的学习机制来实时增强能力。其特点是与手头任务的即时耦合：智能体为遇到的特定问题提升问题解决能力，在表现和适应之间创造动态互动。在ICL（上下文学习）范式下，Reflexion 利用模型的上下文窗口作为动态记忆系统进行即时适应，无需修改参数；AdaPlanner 将任务分解为可管理的子目标，在执行过程中区分计划内反馈（与预测一致的观测）和计划外反馈（偏离观测），对后者主动修订整个计划。在SFT范式下，自适应语言建模（Self-adaptive language modeling）生成"自编辑"（self-edits），即元级指令，可以重组信息表示、指定优化超参数或调用工具进行数据增强和梯度计算，触发即时的监督微调。在RL范式下，LADDER 通过其测试时强化学习（TTRL）机制：在识别到特别困难的问题时，系统生成一组聚焦的相关问题变体并进行密集、有针对性的强化学习。

测试间自进化发生在任务完成之后，利用累积的经验来改善未来表现。在ICL范式下，智能体将先前任务的执行结果和反馈作为未来问题解决的上下文信息。在SFT范式下，SELF 开创了元认知训练，模型首先获得自我反馈和自我改进能力，然后迭代生成对未标注指令的响应并通过自我批评增强它们。STaR 和 Quiet-STaR 专注于通过合理化（rationalization）改进推理——模型尝试解决问题，然后为它们最初未能正确解答的正确答案生成解释，创造结合了成功尝试和事后推理的增强训练数据。在RL范式下，RAGEN 和 DYSTIL 采用在线强化学习进行多轮交互任务，在模拟对话中通过同策略学习持续优化策略；WebRL 开发自我进化课程，自动根据表现调整任务复杂度；DigiRL 使设备控制智能体能够通过自主强化学习掌握野外交互。

How to Evolve：进化的方法论

"如何进化"的维度聚焦于实现自进化的具体策略 $f$ ，即如何将智能体系统 $Π$ 变换到新状态 $Π^{'}$ 。研究在这一维度上沿着三个主要范式演进：基于奖励的进化、模仿与演示学习、以及基于群体与进化的方法。

基于奖励的自进化以奖励信号的设计为核心，分为文本反馈、内部奖励、外部奖励和隐式奖励四个类别。文本反馈利用LLM的原生模态——自然语言——提供详细、可解释的改进指令。Reflexion 提出"语言强化学习"，智能体用自然语言反思过去的尝试，将这些反思存储为情景记忆来指导未来决策。内部奖励利用模型自身的概率估计或置信度等内部指标来指导改进，如 CISC 通过置信度分数加权推理路径，Self-Rewarding Language Models 展示了模型可以作为自己的奖励函数。外部奖励来自模型外部的来源，如环境、多数投票或显式规则，如 SWE-Dev 和 SICA 中的工具信号、AutoRule 中基于规则的奖励。隐式奖励假设LLM即使在没有明确标记为奖励的情况下也能从反馈信号中学习，如 "Reward Is Enough" 展示了LLM可以使用嵌入上下文窗口的简单标量信号进行上下文强化学习，Endogenous reward 揭示了标准下一token预测隐式学习了一个通用奖励函数。

模仿与演示学习涉及智能体通过模仿完整、高质量的行为示例（即演示）来学习。在自进化智能体的背景下，这些"专家示例"通常由智能体自身或其他智能体生成。STaR 系列工作使语言模型能够通过迭代自训练来引导其推理能力：生成问题的推理链，在正确答案上微调，重复此循环以逐步提高性能。多模态自训练方面，GENIXER 赋予多模态大语言模型作为强大数据生成器的能力，通过高级提示工程和质量过滤机制产生跨不同模态和任务的多样化训练示例。跨智能体演示学习中，SiriuS 维护包含不同智能体生成的成功交互轨迹的经验库，促进高效知识共享和协作改进。

基于群体和进化的方法从生物进化和集体智能中汲取灵感，维护智能体变体或协作智能体的群体，利用选择、突变、交叉和竞争等机制并行探索解空间。单智能体进化方面，Darwin Gödel Machine (DGM) 通过开放进化实现自我改进智能体，维护所有历史版本的存档，能够从任何过去的"物种"分支而非线性优化。GENOME 直接应用遗传算法到语言模型参数进化，维护群体并对模型权重使用交叉、突变和选择算子。自博弈（Self-Play）是这一范式中的特殊机制，智能体通过与自身版本迭代交互来改进，如 AlphaZero 所示。Absolute Zero 和 R-Zero 采用"挑战者"或"提议者"智能体为"求解者"智能体生成处于能力前沿的问题；SPIN 建立当前模型与先前版本竞争的基础方法，创造进化压力。

多智能体进化将基于群体的方法扩展到整个智能体团队或网络的进化。EvoMAC 模拟神经网络训练用于多智能体系统，实现"文本反向传播"，其中编译错误和测试失败作为损失信号驱动智能体团队组成和个体提示的迭代修改。Puppeteer 聚焦于协调策略进化而非团队组成变化，系统采用集中式编排器通过强化学习进化其决策策略。知识型进化方面，MDTeamGPT 通过双知识库系统建立基础，实现 CorrectKB 存储成功案例和 ChainKB 捕获失败反思；MedAgentSim 将此类知识型进化应用于真实诊断场景。

跨维度的正交分析

在对三个核心范式进行梳理之后，作者们进一步分析了贯穿这些范式的横向维度，揭示了不同设计选择如何在反馈类型、数据源和学习稳定性之间取得平衡。这些横向维度包括在线与离线学习（online vs offline learning）、同策略与异策略学习（on-policy vs off-policy learning）以及奖励粒度（reward granularity）。

在线学习使智能体在与实时环境持续交互的同时学习和适应，如 Voyager 在Minecraft中通过持续探索、生成自己的课程任务并从直接经验构建持久技能库。离线学习则将学习阶段与实时任务执行解耦，通常涉及离线数据生成、过滤和模型微调的循环，如 Self-Instruct 展示语言模型如何通过生成新指令及其自己的响应来自举其指令遵循能力。同策略方法要求智能体仅从当前策略生成的经验中学习，确保策略一致性但通常以样本效率为代价，如 Reflexion 的迭代自我反思机制。异策略方法允许智能体从不同策略生成的经验中学习，包括先前版本、其他智能体或人类演示，显著提高样本效率但可能面临分布不匹配的问题，如 Yuan et al. (2024c) 展示了模型 $M_{t + 1}$ 如何从先前版本 $M_{t}$ 生成的偏好数据中学习。奖励粒度从粗粒度的结果导向奖励（outcome-based），如 DPO 直接最大化偏好响应的可能性同时最小化与参考策略的KL散度，到细粒度的过程导向奖励（process-based），如 Math-Shepherd 使用蒙特卡洛树搜索自动进行过程标注，再到混合奖励（hybrid），如 GiGPO 引入双层级奖励机制，同时提供基于整个轨迹最终成功的 episode-level 奖励和基于中间动作的 step-level 奖励。

实验评估

评估自进化智能体呈现出一系列超越传统静态AI系统评估的独特挑战。本文在这一部分不仅罗列了现有的基准测试，更重要的是构建了一个从评估目标、指标到评估范式的完整框架，深刻揭示了当前评估实践中的盲点和局限。

评估目标的五维框架

作者们提出，一个真正有能力且令人满意的自进化智能体不仅必须学习和改进，还必须记住过去知识、将其转移到新情境、可持续地运行并负责任地行动。基于这些关键要求，他们将核心评估目标归纳为五个维度：适应性（Adaptivity）、保留性（Retention）、泛化性（Generalization）、效率（Efficiency）和安全性（Safety）。

适应性衡量智能体通过经验提高领域内任务表现的能力，关注学习曲线和随着智能体迭代和进化在特定领域内的表现提升程度。典型指标包括按迭代步数的成功率（Success Rate by Iteration Steps），追踪智能体随交互历史在下游任务上的表现。保留性关注智能体知识库的稳定性，聚焦于灾难性遗忘这一终身学习中的常见问题。两个关键指标是遗忘度（Forgetting, FGT）和后向迁移（Backward Transfer, BWT）。具体地，设 $J_{i, t}$ 表示完成 $t$ 个任务后在任务 $i$ 上的表现：

F G T_{t} = \frac{1}{t - 1} \sum_{i = 1}^{t - 1} [max_{j \in {i, . . ., t}} J_{i, j} - J_{i, t}]

B W T_{t} = \frac{1}{t - 1} \sum_{i = 1}^{t - 1} (J_{i, t} - J_{i, i})

正的BWT表明新学习对旧任务产生了积极益处，标志着成功的知识转移和更稳健、稳定的学习过程。泛化性衡量智能体将累积知识应用于新的、未见过的领域或任务的能力，通过多领域测试套件（如 AgentBench）和分布外（Out-of-Domain, OOD）评估来衡量。效率量化智能体在学习和操作过程中的资源利用情况，包括token消耗、时间消耗、步骤数、工具调用等。作者们特别提出了"每收益成本"（Cost-per-Gain, CPG）指标：

C P G_{t} = \frac{{Total Cost}_{t}}{{Performance Gain}_{t} + ϵ}

其中成本可以用token、时间、内存、人力或标准化复合指标（如货币成本）衡量，表现收益是在时间范围 $t$ 上相对于基线的改进。较低的CPG表示更高效的学习。安全性从自进化的视角审视智能体是否在持续进化过程中发展出不安全或不良的行为模式，关键指标包括安全分数（Safety Score）、伤害分数（Harm Score）、策略遵守完成度（Completion Under Policy, CuP）、风险比率（Risk Ratio）、拒绝率（Refusal Rate）和泄露率（Leakage Rate）。

评估范式的时间维度

基于时间范围，当前评估范式可分为三类：静态评估（Static Assessment）、短程自适应评估（Short-horizon Adaptive Assessment）和长程终身学习能力评估（Long-horizon Lifelong Learning Ability Assessment）。

静态评估在特定时间点评估智能体的瞬时表现，与传统AI评估一致，聚焦于固定环境中的即时表现。外部任务解决评估（External Task-Solving Evaluation）测量在科学数据分析（ScienceAgentBench）、网页搜索/浏览（WebArena、WebShop）、软件工程（SWE-bench）、计算机使用（OSWorld）等领域完成端到端任务的能力。内部智能体组件评估（Internal Agent Components Evaluation）则聚焦于规划（PlanBench、Natural Plan）、工具使用（ToolBench、ToolSandbox）、记忆管理（LTMBenchmark、MemoryAgentBench）和多智能体协作（MultiAgentBench、SwarmBench）等基础能力。典型指标包括准确率、成功率、通过率等。

短程自适应评估在相对较短的时间或有限交互次数内评估智能体的适应和改进能力。许多研究利用现有基准但引入新维度来追踪随时间的表现，如 ADAS 在ARC基准上评估随智能体系统迭代次数的保留测试准确率；AWM 研究在线评估过程中随示例数量的累积成功率。一些基准专为短程动态学习而设计，如 MemoryAgentBench 包含"测试时学习"（Test-Time Learning, TTL）维度，评估智能体在单次交互会话中直接从新任务学习的能力。主要指标包括按迭代步数的成功率、学习曲线分析以及适应速度。

长程终身学习能力评估对于真正评估自进化智能体至关重要，聚焦于智能体在多样、可能无限变化的任务或环境序列上持续获取、保留和重用知识的能力。专门基准正在涌现：LTMBenchmark 专注于长期记忆评估，通过动态对话测试评估LLM智能体的记忆保留和持续学习；LifelongAgentBench 构建跨数据库（DB）、操作系统（OS）和知识图谱（KG）等领域的相互依赖任务序列，要求智能体逐步建立在先前获得技能的基础上。AutoEnv 引入从可分解规则分布自动生成异构世界的框架，贡献 AUTOENV-36 数据集系统测量智能体的跨环境学习和适应能力。动态基准方面，Benchmark Self-Evolving 提出通过迭代持续更新现有基准，TRACE 框架通过测试时探索使智能体将任务进化到更高难度。长程指标超越简单成功率，包括 FGT/BWT 和遗忘曲线、时序和聚类OOD泛化、随时间变化的CPG和效率漂移，以及长期安全指标如安全事件发生率和策略遵守度。

当前评估实践的局限与标准化倡议

作者们坦诚地指出了当前评估实践中的显著盲点。适应性评估虽然拥有最丰富的基准生态系统，但受限于预设的学习协议而非评估智能体是否自主发现有效的适应策略。保留性是服务最不足的维度：绝大多数现有基准采用episodic评估，智能体状态在任务间重置，从根本上排除了知识累积或退化的测量——这正是区分自进化智能体与静态系统的关键现象。泛化性评估依赖静态快照，没有追踪跨领域迁移是否在智能体在领域内专业化后退化。效率评估缺乏对进化特定成本（token、时间、工具调用）的一致报告。安全性评估主要捕获孤立episodes中的风险，没有基准追踪扩展进化过程中的安全轨迹。

为解决这些异质性问题，作者们进一步提炼出短程和长程评估的标准化协议（表10）。短程协议假设无跨任务状态持久性，施加每任务进化预算 $K_{short}$ （迭代、工具调用、token或挂钟时间），要求每次迭代的种子、提示、模型/工具版本、完整推理/动作轨迹和成本分解的日志，并通过按迭代成功率曲线和学习曲线下面积报告适应性。长程协议假设模型参数、提示、记忆和工具集的完全持久性，指定阶段级和累积进化预算 $K_{stage}$ 和 $K_{total}$ ，以及显式的记忆/工具增长策略，并要求更丰富的日志：可重放轨迹、持久检查点、定时保留探测、进化决策日志和人机协同统计。长程主要指标扩展到保留性（FGT/BWT和遗忘曲线）、时序和聚类OOD泛化、随时间变化的CPG和效率漂移，以及长期安全指标。EvoAgent 的工作示例展示了可行性：它已经满足长程协议的关键要素——持久世界模型和经验更新、每子任务步骤上限、报告SR/EE和挂钟效率——但在标准化保留指标、显式CPG/token漂移和长期安全漂移追踪等许多推荐轴上尚未报告，为未来自进化智能体评估指明了具体的改进方向。

案例研究

案例一：Voyager —— 开放环境中的自进化智能体

Voyager 是展示自进化智能体在开放环境中能力的典范。部署于 Minecraft 这一几乎无限可能的沙盒世界，Voyager 面临着没有预设目标、没有明确成功标准、环境动态变化的真实挑战。它的自进化机制完美诠释了"what/when/how"三维框架的协同运作。

在"什么进化"维度上，Voyager 进化三个核心组件：其一，自动课程（automatic curriculum）——一个不断调整的任务目标集合，基于智能体进度由GPT-4提出适当的下一个任务；其二，技能库（skill library）——一个通过迭代提示和环境反馈构建的、不断增长的代码技能集合；其三，动作策略——通过环境反馈持续优化的执行机制。在"何时进化"维度上，Voyager 采用测试间进化（inter-test-time）和在线学习（online learning）的混合策略：它在任务执行过程中持续收集经验，在任务间隙整合这些经验到长期记忆中，并在遇到新任务时实时检索和重组已有技能。在"如何进化"维度上，Voyager 依赖环境反馈（外部奖励）和自生成的课程（内部驱动），通过ICL（将经验存储在上下文中）和技能库的持续扩展来实现进化。

Voyager 的案例深刻揭示了自进化智能体在开放环境中的行为特征：它不追求单个任务的最优解，而是构建一个可复用的、可组合的能力组合。当遇到新任务时，它往往不是从零开始规划，而是检索和组合已有的技能模块，这种组合可能产生全新的行为策略。这一案例也暴露了一个关键挑战：在开放环境中，评估智能体的进步变得异常困难。传统的成功率指标难以捕捉智能体能力的真正增长——一个智能体可能成功率不高，但其技能库的广度和深度可能在稳步扩展，为未来突破奠定基础。

案例二：SICA —— 自我改进的编程智能体

SICA（Self-Improving Coding Agent）代表了自进化智能体在专业领域——特别是软件工程——中的深度应用。与Voyager的开放探索不同，SICA展示了在约束明确、反馈可验证的领域中，自进化如何实现精准的能力提升。

在"什么进化"维度上，SICA 的核心创新在于它能够自主编辑自己的底层代码和工具，通过直接的自我修改来迭代增强核心推理能力。这意味着SICA的进化不局限于调整提示或记忆，而是深入到自身的执行逻辑——这是最高层次的自进化。在"何时进化"维度上，SICA 采用测试时内进化（intra-test-time）策略：在编码任务执行过程中，它分析编译器错误、测试失败和运行时异常，立即调整代码生成策略和工具使用方式。在"如何进化"维度上，SICA 利用可验证的环境反馈（编译和测试结果）作为精确的奖励信号，结合自我反思机制识别错误的根本原因。

SICA 的案例凸显了专业领域自进化的独特优势：编程任务拥有客观、即时的验证机制（代码要么编译通过要么失败，测试要么通过要么失败），这种明确的反馈极大地降低了信用分配（credit assignment）的难度。同时，它也揭示了高风险：自主修改代码的能力意味着智能体可能引入难以预料的bug或安全漏洞。这一 tension 在专业领域自进化中普遍存在——越高的自主权带来越大的潜在收益，但也伴随越大的风险。

综合价值与局限

理论意义

本文的理论贡献远超一篇普通综述。它首次将"自进化"从一个模糊的概念提升为具有严格形式化定义的研究范式。通过POMDP框架和自进化策略的数学表述，作者们为整个领域建立了共同的概念语言和理论基础。更重要的是，本文提出的双重视角分析——问题设置视角与解决方案范式视角——不仅厘清了自进化与课程学习、终身学习、模型编辑等邻近领域的边界，更揭示了不同范式之间的深层结构关系。这种理论澄清对于避免未来研究中的概念混淆和方法论错位具有重要价值。此外，本文将自进化的范围从"原型进化"到"强自进化"的连续谱系定义，既包容了当前的技术现实，又为未来的发展方向预留了空间，展现了一种既脚踏实地又富有远见的研究态度。

实践影响

在实践层面，本文的最大价值在于提供了一张导航图。面对自进化智能体这一快速膨胀、边界模糊的研究领域，新进入者往往感到无从下手。本文的三维分类框架（what/when/how）加上应用领域和评估维度，构成了一个多维坐标系，使研究者能够定位自己的工作在整个版图中的位置，找到与自身最相关的文献和方法。对于实践者而言，本文详细梳理的各类方法——从提示优化到架构搜索，从单智能体自博弈到多智能体协同进化——提供了丰富的技术选型参考。特别是在评估部分提出的标准化协议和五维评估框架，有望缓解当前领域评估碎片化的困境，促进更公平、更可比较的研究进展。

核心优势

本文最令人印象深刻的方面是其系统性和全面性。作者们没有局限于某一流派或某一类方法，而是 genuinely 尝试覆盖整个领域的技术全景。这种全面性在图2的详细分类学和表3、表4的跨维度比较中体现得淋漓尽致。另一个突出优势是批判性视角——作者们不仅总结现有工作，更系统性地指出了每个评估维度的覆盖空白（coverage gaps），如保留性是最服务不足的维度、效率评估缺乏成本分解、安全性评估缺乏长期追踪等。这种批判性分析为未来研究指明了最直接的突破口。此外，本文在安全性和隐私方面的讨论展现了罕见的前瞻性和责任感，提出了数据最小化、设备端个性化、记忆衰减和偏见监控等治理原则。

诚实局限

尽管本文成就显著，但一些诚实的局限也值得指出。首先，由于领域处于快速形成期，本文的边界划定必然带有一定的主观性。某些被纳入的方法可能严格来说自进化程度有限，而某些未被充分涵盖的方向（如神经符号方法）可能代表了重要的进化路径。其次，作为综述而非原创研究，本文在形式化框架的深度上存在固有限制——POMDP框架虽然严谨，但对于LLM智能体的独特特性（如基于自然语言的推理、工具调用的组合复杂性、长程上下文依赖）的形式化建模仍有待深化。第三，本文在技术深度的取舍上偏向广度：对于每个具体方法，读者能获得概念性的理解，但若想实现这些方法，仍需回溯原始论文获取实现细节。最后，本文虽然识别了评估标准化的重要性，但提出的协议本身尚需社区广泛采纳和迭代完善才能真正发挥作用。

更广泛的影响

从更宏观的视角看，本文出现在人工智能发展的一个关键节点。随着LLM基础能力趋于平稳，研究社区正在寻找下一个突破方向。本文所倡导的自进化范式——将智能体视为持续学习、自主适应的系统而非静态工具——可能代表了这一突破的重要路径。它不仅连接了深度学习、强化学习、进化计算等AI子领域，更触及了认知科学中关于学习、记忆和技能习得的基本问题。在应用层面，自进化智能体有潜力改变软件工程（自主编程和调试）、科学发现（自主假设生成和实验设计）、教育（个性化自适应辅导）和医疗（持续进化的诊断系统）等众多领域的实践方式。然而，正如本文所警示的，这种潜力伴随着真实的自主性风险——价值漂移、奖励黑客、工具安全等问题若不加以妥善管控，可能导致不可预见的负面后果。

延伸阅读与思考

基础工作

理解自进化智能体需要回溯若干奠基性工作。在强化学习领域，Kaelbling et al. (1996) 的经典综述为奖励驱动学习奠定了理论基础；Silver et al. (2017) 关于 AlphaZero 的工作展示了自博弈（self-play）在复杂游戏中通过完全自主学习达到超人水平的可能性，这一原理被本文中的多项工作所继承。在进化计算领域，Holland (1976) 关于遗传算法的开创性工作和Koza (2010) 关于遗传编程的人级竞争成果，为将进化思想应用于程序生成提供了历史先例。在终身学习领域，McCloskey & Cohen (1989) 和 Rolnick et al. (2019) 关于灾难性遗忘和经验回放的研究，构成了理解持续学习挑战的知识基础。在LLM智能体领域，Shinn et al. (2023) 的 Reflexion 和 Wang et al. (2022) 的 Self-Instruct 是展示语言模型自我改进可能性的早期里程碑，而 Khattab et al. (2023) 的 DSPy 则为提示优化提供了系统化的编程框架。

未来方向

本文展望了几个有前景的未来方向。个性化AI智能体（Personalize AI Agents）要求智能体能够准确捕捉和适应用户的独特行为模式或偏好，同时解决冷启动问题、长期记忆管理和偏见避免等挑战。可扩展架构设计需要在专业化与泛化之间找到平衡，随着复杂度和范围的增加维持性能。跨领域适应要求智能体不依赖领域特定微调就能转移到新环境，测试时缩放（test-time scaling）和元学习提供了有前景的路径。持续的灾难性遗忘缓解仍然是基础模型时代的关键开放问题。知识可转移性方面，需要深入理解一个智能体获得的知识在何种条件下可以可靠地泛化并传达给其他智能体。

开放问题

最深层的未解挑战包括：如何确保自进化系统在长期运行中保持与人类价值观的对齐？自主探索的边界在哪里——智能体应当被允许尝试什么、不应当尝试什么？如何建立可靠的自我评估机制，使智能体能够准确判断自己的进步和局限？多智能体系统中的协同进化是否会涌现出集体智能，还是不可避免地陷入协调失败？这些问题的回答将决定自进化智能体能否从研究原型发展为值得信赖的社会基础设施。

个人反思

通读这篇综述，最令人深思的不是任何单一技术，而是整个领域所展现出的范式雄心。自进化智能体代表了AI研究从"设计智能"到"培育智能"的潜在转变——我们不再是手工构建系统的每一个细节，而是创造能够自我成长、自我组织的生命式系统。这种转变既有科学上的吸引力（理解智能作为生长过程的内在机制），也有工程上的必要性（面对真实世界无限多样性，手工设计注定捉襟见肘）。然而，这种"生命式"隐喻也带来了真正的哲学和实践挑战：如果智能体开始真正自主地进化，我们如何保持对它们行为的理解和控制？本文在安全部分的讨论虽然提出了沙盒、审计、回滚等实用措施，但更深层的 tension 在于——一个系统的自主性越强，外部监督的效能就越弱。找到这条细线上的平衡点，可能是通往人工超级智能道路上最核心也最困难的课题。正如达尔文所言（或被归于他之言）：生存下来的不是最强或最聪明的物种，而是最能适应变化的物种。自进化智能体的研究，本质上是在尝试将这一生物进化的核心原理工程化地实现于人工系统之中。这一尝试的成败，将在很大程度上定义人工智能的未来走向。

笔记创建时间: 2026-05-04
阅读方式: L2 深度阅读

Topics: