AgentEvolver: Towards Efficient Self-Evolving Agent System

Authors: Yunpeng Zhai, Shuchang Tao, Cheng Chen, Anni Zou, Ziqian Chen, Qingxu Fu, Shinji Mai, Li Yu, Jiaji Deng, Zouying Cao, Zhaoyang Liu, Bolin Ding, Jingren Zhou

Affiliation: Tongyi Lab, Alibaba Group

Venue: arXiv (2025-11-14)

Code: https://github.com/modelscope/AgentEvolver

Pages: 29

1. 研究摘要

自主智能体（Autonomous Agents）在大语言模型（LLM）的推动下，已经展现出通过推理、工具调用和在多样化环境中执行复杂任务来显著提升人类生产力的巨大潜力。然而，当前构建这类智能体的方法仍然面临着成本高昂且效率低下的根本性困境。传统的基于强化学习（Reinforcement Learning, RL）的智能体训练范式通常依赖于人工精心构建的任务数据集和复杂的RL流水线，这些方法需要大量的随机探索来收集训练样本，导致数据构建成本居高不下、探索效率极其低下，并且样本利用率差强人意。正是在这一背景下，AgentEvolver应运而生，它试图回答一个核心问题：既然大语言模型已经具备了强大的语义理解和推理能力，为何不让模型本身在学习过程中扮演更主动的角色，从而摆脱对僵化的人工设计流水线的依赖？

AgentEvolver的核心思想在于构建一个自我进化（self-evolving）的智能体系统，通过将训练主动权从人类设计的固定管道转移到大语言模型自主引导的改进循环中，实现可扩展、低成本且持续进化的智能体能力。该框架并没有简单地套用现有的RL方法，而是重新构思了整个智能体训练的数据流——从环境到任务、从任务到轨迹、再从轨迹到策略——并在这一流程中引入了三个相互协同的核心机制。首先是自我提问（self-questioning）机制，它使得LLM能够以好奇心驱动的方式在未知环境中自主探索，发现环境的状态-动作空间边界并生成多样化的训练任务，从而大幅降低对昂贵的手工标注数据集的依赖。其次是自我导航（self-navigating）机制，它通过复用和泛化过去的经验，结合混合策略学习和轨迹引导，将原本盲目的试错式探索转化为更有目标性的高效探索。最后是自我归因（self-attributing）机制，它通过为长轨迹中的每个中间状态和动作分配差异化的奖励信号，解决了传统方法中所有动作被等同对待的低效问题，从而显著提升了样本效率。

这三个机制并非孤立运作，而是构成了一个统一的自我进化框架，系统性地解决了任务稀缺性（task scarcity）、探索效率低下（inefficient exploration）和样本利用率不足（low sample utilization）这三大长期困扰RL驱动智能体训练的瓶颈问题。实验结果表明，AgentEvolver在AppWorld和BFCL-v3等具有挑战性的长程工具交互基准测试上，使用参数量显著更小的模型就能超越规模更大的基线模型，在任务完成率上实现了质的飞跃。对于7B参数的Qwen2.5模型，AgentEvolver将平均任务完成率从15.8%提升至45.2%，而14B模型的表现更是从29.8%跃升至57.6%。这些结果有力地证明，通过赋予LLM更大的自主性来驱动其自身的学习过程，我们不仅能突破当前训练范式的效率瓶颈，更有可能开辟出一条通向可扩展、持续改进的智能系统的新路径。这项工作的重要意义在于，它为智能体的自我进化提供了一个从理论到实践的完整方法论框架，预示着未来智能体系统将能够像人类学习者一样，通过自主探索、经验积累和精细反思来不断成长。

2. 理论框架

AgentEvolver的理论根基建立在对传统强化学习范式的深刻反思之上。在标准RL框架中，环境通常被建模为一个马尔可夫决策过程（Markov Decision Process, MDP），其形式为 $E = (S, A, P, r, γ)$ ，其中 $S$ 表示状态空间， $A$ 表示动作空间， $P (s^{'} ∣ s, a)$ 刻画了状态转移的动力学， $r$ 是预定义的奖励函数，而 $γ$ 则是折扣因子。然而，在真实世界的智能体应用场景中，环境的功能边界往往未知，奖励信号稀疏且难以预先设计，这使得标准MDP假设在实际中难以满足。为了刻画这种开放且缺乏先验目标的场景，AgentEvolver提出了交互沙箱（Interaction Sandbox）的概念，将其形式化为一个剥离了奖励函数和折扣因子的三元组：

E = (S, A, P)

这一简洁但意义深远的修改，从根本上改变了问题的性质：智能体不再是被动的奖励最大化者，而是必须主动在环境中发现目标、生成学习信号的自我进化者。这个设定将智能体学习问题重新诠释为一个从无目标的环境中自主构建训练目标的过程。

在这一基础上，论文进一步形式化了智能体面临的完整学习图景。一方面，存在一个未知的目标任务分布 $p_{target} (g)$ ，其中每个任务 $g \in G$ 都关联着一个期望达到的终端状态 $s_{g} \in S$ 。对于每个任务，存在一个ground-truth的奖励函数 $R_{g} (s, a)$ 来衡量在状态 $s$ 下采取动作 $a$ 对达成目标 $s_{g}$ 的效用。智能体的终极目标是学习一个目标条件策略 $π_{θ} (a ∣ s, g)$ ，使其在目标任务分布上的期望回报最大化：

J_{target} (θ) = E_{g \sim p_{target}, s_{0} \sim p_{0}} [V^{π_{θ}} (s_{0}, g)]

其中，目标条件价值函数遵循标准定义：

V^{π_{θ}} (s_{0}, g) = E [\sum_{t = 0}^{\infty} γ^{t} R_{g} (s_{t}, a_{t}) ∣ s_{0}, g, π_{θ}]

然而，由于 $p_{target}$ 和 $R_{g}$ 在训练前是未知的，AgentEvolver的核心理论贡献在于提出了两个关键的代理函数（Proxy Functions）：代理任务生成函数 $F_{task}$ 和代理奖励设计函数 $F_{reward}$ 。前者将交互沙箱映射为一个可训练的任务分布：

F_{task} : E \to Δ (G), 其中 p_{train} = F_{task} (E)

后者则从环境和任务中推断出细粒度的奖励信号：

F_{reward} : E \times G \to (S \times A \to R), 其中 {\hat{R}}_{g} = F_{reward} (E, g)

通过这种方式，自我进化的核心目标转化为优化这两个代理函数，使得在代理任务和代理奖励上训练得到的策略能够泛化到真正的目标任务分布上。具体而言，代理训练目标可以写为：

J_{train} (θ) = E_{g \sim F_{task} (E)} [{\hat{V}}^{π_{θ}} (s_{0}, g)]

其中：

{\hat{V}}^{π_{θ}} (s_{0}, g) = E [\sum_{t = 0}^{\infty} γ^{t} F_{reward} (E, g) (s_{t}, a_{t}) ∣ s_{0}, g, π_{θ}]

这一理论框架的精妙之处在于，它将智能体的自我进化过程严格地分解为两个可操作的子问题：如何在没有人类标注的情况下生成高质量的训练任务，以及如何在没有环境提供密集奖励的情况下构造有效的学习信号。自我提问机制正是 $F_{task}$ 的具体实现，它利用LLM的好奇心和环境profile来引导探索；而自我归因机制则是 $F_{reward}$ 的实现，它利用LLM的推理能力对长轨迹进行逐步的信用分配。自我导航机制则贯穿其中，通过经验复用提高探索效率，确保 $F_{task}$ 生成的任务能够被有效利用。这三个机制在理论层面形成了一个闭环：环境通过自我提问产生任务，任务通过自我导航高效执行产生轨迹，轨迹通过自我归因转化为细粒度的奖励信号，最终这些信号驱动策略更新，使智能体在下一次循环中能够探索更多未知环境状态。这一框架的假设边界在于，它依赖于LLM具备足够的语义理解能力来解析环境状态、生成合理任务，以及进行因果推理来判断动作贡献——这些能力随着模型规模的扩大而增强，也正是当前大语言模型技术浪潮为这一范式提供可行性的根本原因。

3. 技术架构

AgentEvolver的技术架构可以被视为一个围绕数据流组织的有机系统，数据从环境出发，经由任务生成、轨迹执行、经验总结，最终凝结为策略参数更新。整个系统的核心由三个协同运作的机制构成，每个机制都针对智能体自我进化中的一个关键环节进行了创新性的工程设计。

自我提问模块作为整个系统的起点，承担着将原始交互沙箱转化为结构化训练任务的重任。其工作流程分为三个阶段：探索（Exploration）、任务合成（Task Synthesis）和任务筛选（Task Curation）。在探索阶段，系统首先构建环境档案（Environment Profile），这些档案以实体-属性-操作的结构化形式概括了环境的基本构成，例如一个地图环境可能包含"道路""建筑""交通灯"等实体，以及"移动""等待并穿越""进入"等操作。这些profile作为先验知识注入LLM的提示中，引导其好奇心走向有意义的方向，避免盲目的随机游走。探索策略采用两阶段设计：前 $N_{b}$ 步进行广度优先探索，确保覆盖环境的状态-动作空间的多样性；随后转入深度优先探索，聚焦于早期发现的有前景的轨迹进行深入挖掘。为了防止深度探索过早收敛到单一行为模式，系统引入了近视决策规则，即LLM在生成动作时仅考虑最近 $N_{d}$ 个观测。这一过程形式化为从环境到轨迹分布的映射 $Φ : E \times π_{explore} \times S \to T$ ，其中 $π_{explore}$ 是一个高温采样的LLM策略，鼓励生成多样化且富有创造性的动作。探索获得的轨迹随后进入任务合成阶段，系统从中提取关键的动作-观测对，并结合用户偏好（包括任务难度和风格两个维度）生成候选查询及其参考解答。这里的核心洞察在于，由于任务是"后验"生成的——即先探索再出题——因此生成的任务天然地具有可解性，其答案就蕴含在探索轨迹之中。最后，任务筛选阶段通过多层次的过滤机制确保训练数据的质量：实时过滤阶段采用词法相似度和语义相似度双重检查消除重复任务；后验过滤阶段则利用参考解答实际执行来验证任务的可行性，剔除那些参考解答本身存在幻觉的任务。这种从探索到合成再到筛选的完整流水线，使得系统能够在完全没有人工标注数据的情况下，自主生成高质量、多样化且可验证的训练任务。

自我导航模块则着眼于解决探索效率的问题。人类学习者之所以高效，很大程度上得益于从过去的成功和失败中提取经验并系统性地应用于未来任务。AgentEvolver将这一直觉工程化为一个完整的经验管理系统。首先，经验被形式化为一个结构化的自然语言单元，包含"何时使用"（When to use）和"内容"（Content）两个部分。前者定义了经验的适用场景，用于基于嵌入向量的语义检索；后者则提供详细的策略指导。在离线阶段，系统利用初始策略在生成的任务上执行多次rollout，然后经过一个处理管道将轨迹蒸馏为经验：轨迹被分类为成功和失败组，从中提取关键的行为洞察，再经过LLM评估验证质量，最终存入经验池 $P_{exp}$ 。在线阶段，当面对新任务时，系统通过编码查询向量并在经验池中进行余弦相似度检索，获取最相关的 $k$ 条经验，再经过重排序和重写优化后注入到生成提示中。然而，单纯依赖经验会限制探索范围，因此系统引入了经验混合rollout（Experience-mixed Rollout）策略：在每个查询组中，一部分轨迹是无经验引导的原始探索（vanilla rollouts），另一部分则是注入了检索到的经验片段的经验引导探索（experience-guided rollouts），两者的比例由超参数 $η$ 控制。这种设计在利用先验知识和保持探索灵活性之间取得了平衡。更具技术巧思的是经验整合（Experience Incorporation）机制。在训练阶段，系统采用了经验剥离（Experience Stripping）策略——即在计算策略梯度之前，将提示中的经验文本token全部移除。这确保了模型学习的是底层推理模式而非记忆外部提示文本，防止了对外部辅助信息的虚假依赖。与此同时，系统还引入了选择性提升（Selective Boosting）机制来解决经验引导样本的离策略（off-policy）学习问题。由于经验引导的rollout在训练时去除了经验文本，导致推理分布和学习分布不匹配，标准PPO/GRPO的裁剪策略会过度压制经验引导样本的梯度贡献。通过为具有正优势的经验引导样本放宽裁剪上限 ${\hat{ϵ}}_{high}$ ，系统能够保留有价值的正向优化信号，使策略更有效地从经验中学习。其优化目标可以写为：

L_{navigating} (θ) = - \frac{1}{N} [\sum_{i = 1}^{N_{v}} min (r_{i}^{(v)} {\hat{A}}_{i}^{(v)}, clip (r_{i}^{(v)}, 1 - ϵ_{low}, 1 + ϵ_{high}) {\hat{A}}_{i}^{(v)}) + \sum_{j = 1}^{N_{e}} min (r_{j}^{(e)} {\hat{A}}_{j}^{(e)}, clip (r_{j}^{(e)}, 1 - ϵ_{low}, 1 + {\hat{ϵ}}_{j}^{high}) {\hat{A}}_{j}^{(e)})] + β_{KL} (π_{θ} ∥ π_{θ_{old}})

其中 $r^{(v)}$ 和 $r^{(e)}$ 分别是原始rollout和经验引导rollout的重要性采样比，而 ${\hat{ϵ}}_{j}^{high}$ 的取值取决于优势值的符号：当 ${\hat{A}}_{j}^{(e)} > 0$ 时采用更大的 ${\hat{ϵ}}_{high}$ ，否则使用标准 $ϵ_{high}$ 。

自我归因模块解决了长程轨迹中的信用分配难题。传统的GRPO等方法通常只在轨迹末端给予稀疏的奖励，并将这一结果等同地分配给所有中间动作，这造成了严重的样本浪费。AgentEvolver利用LLM的推理能力对已完成轨迹进行回顾性分析，为每一步动作判断其对最终结果的贡献。具体而言，LLM会收到包含原始任务、完整轨迹步骤和最终绩效得分的提示，按照预设规则输出每一步的二元标签："GOOD"表示该步骤对解决方案有积极贡献，"BAD"则表示该步骤无关、中性或有害。这种二元归因方式避免了复杂任务特定评分方案的设计困难，同时保留了足够的过程质量信息。这些定性标签随后被量化为数值归因奖励 $r_{t}^{attr}$ ："GOOD"对应 $+ 1$ ，"BAD"对应 $- 1$ 。为了确保数值稳定性，系统采用了轨迹级别的标准化方法——先计算每条轨迹的平均归因得分，然后在这些轨迹均值上计算全局的均值 $μ_{attr}$ 和标准差 $σ_{attr}$ ，从而避免长轨迹因步骤数量多而过度影响统计量。标准化后的归因奖励为：

{\hat{r}}_{t}^{attr} = \frac{r_{t}^{attr} - μ_{attr}}{σ_{attr} + ϵ}

为了形成完整的学习信号，系统还将稀疏的终端结果奖励 $R_{out}$ 独立标准化为 ${\hat{r}}_{out}$ ，然后将两个通道融合为复合奖励：

{\hat{r}}_{t} = α \cdot {\hat{r}}_{t}^{attr} + 1_{t = T} \cdot {\hat{r}}_{out}

其中 $α$ 控制归因信号的相对权重， $1_{t=T}$ 是指示函数，确保终端结果奖励只出现在轨迹的最后一步。最终的步骤级优势值 $A_{t}$ 通过无折扣累积未来奖励计算：

A_{t} = \sum_{k = t}^{T} {\hat{r}}_{k}

这个优势值随后被广播到该步骤生成的所有响应token上，形成token级优势 $A_{j}^{tok} = A_{t}$ ，用于GRPO策略优化。整个复合奖励设计的关键在于两个通道的独立标准化，这确保了过程质量信号和结果有效性信号在融合时互不干扰，各自保持其统计特性。超参数 $α$ 还提供了一种课程学习的调节机制：训练初期可使用较高的 $α$ 来建立扎实的过程基础，随后逐步降低以微调任务特定性能。

4. 实验评估

AgentEvolver的实验设计围绕一个核心问题展开：在真实的长程、工具增强的智能体基准测试上，三个核心机制能否协同工作以克服传统RL方法的效率瓶颈？为此，作者在AppWorld和BFCL-v3两个具有挑战性的多轮交互基准上进行了系统性的评估，这两个环境都以稀疏的终端奖励为特点，并且需要通过API或工具调用完成复杂任务，是检验智能体自我进化能力的理想试金石。

实验采用了Qwen2.5-7B和Qwen2.5-14B作为策略主干模型，以标准的Vanilla GRPO作为基线，后者仅使用最终的稀疏结果信号进行策略优化，不包含任何经验引导或过程奖励。评估指标包括avg@8（8次独立rollout的平均任务目标完成率）和best@8（8次rollout中的最佳完成率）。所有实验均在8块NVIDIA A100 (80GB) GPU集群上进行，使用基于PyTorch和veRL库构建的训练框架。

主实验结果如表1所示，呈现了一个清晰的递进式改进模式。对于7B模型，从零基线（Qwen2.5-7B的15.8% avg@8）开始，仅加入自我提问模块就将平均完成率提升至36.1%，这一巨大的飞跃直接验证了自主任务生成对于缓解任务稀缺性的关键作用。在此基础上，叠加自我导航模块后，7B模型的avg@8进一步提升至39.8%，说明经验引导的探索确实能够提高轨迹质量。而叠加自我归因模块则带来了更显著的改进——41.3% avg@8，表明细粒度的信用分配对于样本效率的提升至关重要。最终，完整的AgentEvolver框架在7B模型上实现了45.2%的avg@8和60.1%的best@8，相较于基线分别提升了29.4和36.1个百分点。14B模型的改进趋势更为强劲，完整框架达到了57.6% avg@8和73.1% best@8，相比基线提升27.8和30.3个百分点。这些结果有力地证明了三个机制并非简单的效果叠加，而是存在协同增强效应。

Model	Params	AppWorld avg@8	AppWorld best@8	BFCLv3 avg@8	BFCLv3 best@8	Avg. avg@8	Avg. best@8
Qwen2.5-7B	7B	1.8	5.6	29.8	42.4	15.8	24.0
+Questioning	7B	23.2	40.3	49.0	60.6	36.1	50.5
+Questioning&Navigating	7B	26.3	43.1	53.3	61.0	39.8	52.1
+Questioning&Attributing	7B	25.7	43.7	56.8	65.3	41.3	54.5
AgentEvolver (overall)	7B	32.4	51.2	57.9	69.0	45.2	60.1
Qwen2.5-14B	14B	18.0	31.4	41.6	54.1	29.8	42.8
+Questioning	14B	44.3	65.5	60.3	72.1	52.3	68.8
+Questioning&Navigating	14B	45.4	65.3	62.8	74.5	54.1	69.9
+Questioning&Attributing	14B	47.8	65.6	64.9	76.3	56.4	71.0
AgentEvolver (overall)	14B	48.7	69.4	66.5	76.7	57.6	73.1

进一步分析自我提问模块的有效性，实验比较了合成数据、原始人工标注数据和混合数据的效果。结果显示，在AppWorld和BFCL两个基准上，仅使用合成数据训练的智能体就已经接近甚至达到使用原始数据训练的效果。更有意义的是，当将合成数据与原始数据按混合分布 $p_{hybrid} = (1 - λ) p_{target} + λ p_{task}$ 结合时，智能体的性能全面超越了仅使用原始数据的情况，这表明合成数据不仅复制了人类标注的分布，还通过增强多样性扩展了能力的边界。数据量的影响研究揭示了一个令人鼓舞的发现：仅使用100条合成样本就能在AppWorld上达到40.3%的best@8性能，随着数据量增加至500条，性能持续提升但边际收益递减，这说明自我提问模块生成的任务具有高度的信息密度和多样性。跨领域泛化实验进一步验证了这一发现：在AppWorld上训练的14B模型迁移到BFCL测试集上，性能仅下降4.3%，证明合成数据培养的能力具有良好的可迁移性。

自我导航模块的消融实验揭示了经验学习的一个深刻权衡。在推理阶段直接注入经验（零样本+经验）确实能够立即提升轨迹质量，avg@4提升约5.4%，best@4提升约6.7%。然而，单纯依赖经验注入存在明显的天花板效应。当通过RL训练将经验内化到策略中后，性能提升更为显著——相较于纯经验注入，隐式学习（通过训练内化）在avg@4上提升了34.2%，在best@4上提升了28.1%。这说明外部经验作为指南针可以引导探索方向，但真正的能力飞跃来自于将这些经验转化为策略的内在知识结构。此外，经验引导rollout比例 $η$ 的敏感性分析揭示了一个关键洞察：虽然更高的经验比例在推理时直接带来更好的即时回报，但在训练时， $η = 0.5$ 的平衡点实现了最佳的长期性能，过度依赖经验会压缩探索空间，损害策略的泛化能力。

自我归因模块的消融实验清楚地展示了双通道奖励设计的必要性。在14B模型上，完整的自我归因方法在AppWorld dev集上达到了59.2%的avg@8，而去除归因信号后（仅依赖终端结果奖励）下降至54.6%，去除终端结果后（仅依赖归因信号）则进一步降至42.5%。这一结果具有明确的启示：过程级归因信号提供了有价值的中间指导，但如果没有终端结果的锚定，策略可能偏离真正的任务目标；反之，仅有终端结果则因信用分配粗糙而浪费了大量的学习信号。样本效率分析更为直观地展示了自我归因的优势：在AppWorld上达到基线90%最终性能，AgentEvolver仅需40个训练步，而基线需要90步；在BFCL-v3上，这一比例更是从60步缩短至20步，分别减少了55%和67%的训练时间。面积 under curve（AUC）指标同样显示归因方法在整体学习吞吐量上显著优于基线。

Model	AppWorld Steps@.90	BFCLv3 Steps@.90
Baseline	90	60
Attributing	40	20

归因权重 $α$ 的超参数分析揭示了一个有趣的学习动态：较大的 $α$ （如0.30）在训练早期加速明显，在AppWorld上前20步就能达到45%，远超基线的28%；然而这种优势未能持续，到训练后期反而退化至43%，低于所有其他设置。相比之下， $α \in [0.10, 0.20]$ 的范围在快速收敛和稳健的最终性能之间取得了最佳平衡，最终收敛至约59%，显著高于基线的55%。这说明过度依赖过程归因可能导致策略过拟合于LLM评判器的启发式标签，而适度的归因权重则能在过程指导和结果导向之间维持健康的张力。

5. 案例研究

为了更深入地理解AgentEvolver的工作机制，我们可以考察论文中提供的几个典型示例，这些示例生动地展示了系统如何在实践中运作，以及各个模块的设计意图如何在具体场景中体现。

首先是环境档案（Environment Profile）的设计。论文展示了一个沙盒地图环境的profile示例，其中"地图"被定义为一个实体，拥有"道路""建筑""交通灯"等属性，支持"移动""等待并穿越""进入"等操作。这个看似简单的结构化描述实际上蕴含着深刻的设计哲学：它将原始的环境状态空间抽象为一个概念化的语义层，使得LLM能够将高维的原始观测（如像素或原始文本）转化为可理解的认知对象。在探索阶段，这个profile作为初始状态的一部分注入LLM的上下文，相当于给探索者一张粗略的地图和一份操作手册——它不会告诉探索者具体要去哪里，但确保探索者的每一步都是有意义的语义操作，而非随机的token采样。这种设计巧妙地利用了LLM的预训练知识：当一个LLM看到"交通灯"实体和"等待并穿越"操作时，它能够立即激活关于交通规则和世界动力学的先验知识，从而将探索引向符合物理规律和逻辑一致性的方向。在自我提问的探索流程中，LLM会基于这个profile生成诸如"我应该如何规划回家的路径？"或"这个环境能解决什么潜在问题？"这类高层次的问题，然后尝试通过执行动作来寻找答案。这个从抽象概念到具体行动的转化过程，正是人类面对新环境时的典型认知模式——先建立语义层面的心智模型，再基于此进行目标导向的探索。

另一个富有启发性的案例是经验单元（Experience Unit）的结构。论文展示了一条针对AppWorld环境的经验：其"何时使用"部分说明"当尝试使用一个尚未明确确认存在或按预期工作的API时"；其"内容"部分则建议"在通过apis.api docs.show api doc验证API的存在和行为之前，始终避免执行关键的删除或修改操作"。这个示例揭示了经验系统的精髓所在：它捕获的不是某个具体任务的解题步骤，而是一种跨任务的通用原则或模式识别能力。这条经验本质上是一种元级别的策略——它告诉智能体在面对不确定性时应该采取什么样的审慎策略，而不是背诵某个特定的API调用序列。当经验池积累了成百上千条类似的经验后，它们就构成了一个关于环境行为规范的知识库，新任务可以从这个知识库中检索到相关的处事原则，而不是从零开始试错。更具深意的是，经验剥离（Experience Stripping）机制的设计可以从这个案例中得到印证：如果模型在训练时保留了"When to use..."和"Content..."这些外部注入的文本，它可能会学会在输出中模仿这些特定短语，而不是内化其中的审慎原则。通过剥离经验文本，模型被迫从经验引导的成功轨迹中提取底层的行为逻辑——即"在遇到未知API时先验证再操作"——并将其编码到策略网络的参数中，这才是真正的学习而非记忆。

LLM Judge的设计同样提供了有趣的案例。论文展示了用于逐步归因的系统提示和用户提示结构。系统提示明确要求评判器作为"归因分析的专家"，根据最终得分是正还是负来切换评判标准：当最终得分为正时，只有真正推动解决方案的步骤才是"GOOD"；而当最终得分为负时，只有主动纠正或缓解错误的步骤才被评为"GOOD"。用户提示则将原始任务、带编号的完整轨迹（包含每个步骤的动作和观测）以及最终绩效得分一并呈现。这种设计体现了对LLM推理能力的精心编排：通过将完整上下文打包在单次评估中，评判器能够捕捉步骤间的复杂依赖关系，而不是孤立地评判每个动作。例如，一个看似冗余的中间步骤可能实际上是在为后续关键动作建立必要的前提条件；而一个表面上正确的动作，如果它是在错误的方向上浪费了步骤，也应该被评为"BAD"。二元标签的设计则简化了评判器的输出空间，降低了评判一致性的难度，同时保留了足够的信息量来区分有益和有害的行为。这与人类教练反馈运动员的方式类似：教练不会精确计算每个动作的分数贡献，但能够明确指出"这一步做得好"或"这一步多余了"——这种定性但准确的反馈对于学习者的改进往往比模糊的定量分数更有效。

6. 综合价值与局限

AgentEvolver在智能体自我进化这一前沿方向上做出了重要的理论和方法论贡献。其最核心的理论价值在于，它系统性地将大语言模型的语义理解和推理能力整合进了强化学习的数据流中，从而重新定义了智能体训练中的三个关键环节：任务从何而来、探索如何进行、以及奖励如何分配。传统RL范式将这些问题视为工程问题，依赖人类专家的设计和标注；而AgentEvolver则将它们重新定义为智能体自身的认知能力问题，利用LLM的内在能力来自主解决。这一视角的转变具有深远的意义：它意味着随着LLM能力的持续提升，智能体自我进化的天花板也将随之提高，形成良性的技术迭代循环。

从实践角度来看，AgentEvolver为构建可扩展的智能体训练基础设施提供了切实可行的解决方案。其模块化的架构设计——包括标准化的环境服务接口、统一的上下文管理器、以及与veRL等RL框架的集成——使得研究人员能够在不同的环境和工作流下复用和扩展这些机制。特别是上下文管理器提供的四种模板（基本因果模板、推理增强模板、滑动窗口模板和自我上下文管理模板），为不同场景下的长程交互提供了灵活的适配方案。其中，自我上下文管理模板允许智能体主动控制自己的记忆（保留、删除或压缩），这一设计预示着智能体向更高自主性的演进方向。

然而，AgentEvolver也存在若干需要坦诚面对的局限性。首先，整个框架的性能上限高度依赖于底层LLM的能力。自我提问需要LLM能够理解复杂环境profile并生成合理的任务；自我导航需要LLM能够从轨迹中提炼出可迁移的经验；自我归因则需要LLM进行准确的因果推理来判断每个步骤的贡献。如果底层模型在这些推理任务上表现不佳，整个自我进化循环的质量就会受到根本性的制约。其次，尽管框架旨在减少对人工数据的依赖，但它仍然需要人工设计环境profile和用户偏好作为初始引导，这在完全开放和动态变化的环境中可能仍是一个瓶颈。此外，经验混合rollout中的比例 $η$ 和归因权重 $α$ 等超参数的敏感性分析表明，当前的实现仍需要一定的人工调参来达到最佳性能，理想的自我进化系统应该能够自适应地调节这些参数。

从更广泛的角度来看，AgentEvolver代表了智能体研究从"人为设计"向"自主进化"范式转移的重要一步。它的三个机制分别对应了认知科学中的三个基本学习维度：好奇心驱动的探索（对应自我提问）、基于记忆的迁移学习（对应自我导航）、以及反思性的元认知（对应自我归因）。这种与认知科学的共鸣并非偶然，而是表明构建真正自主的智能系统可能需要借鉴人类学习的深层原理。AgentEvolver打开的最重要的研究方向，或许是探索如何将这些分散的机制进一步融合为统一的模型能力——正如论文在"下一步工作"中所展望的，让同一个模型既能生成任务、又能利用经验、还能进行归因和自我更新，从而实现更紧密的自我进化闭环。

7. 延伸阅读与思考

AgentEvolver的提出并非孤立的事件，而是建立在多个相关研究领域的积累之上。在任务生成方面，自我提问机制与近年来兴起的合成数据研究（如Kang et al., 2025; Tang et al., 2025）一脉相承，但它更进一步地将数据合成与环境交互紧密结合，使得生成的任务不再是静态的文本样本，而是与具体环境动力学相耦合的可执行目标。在经验复用方面，自我导航模块与AgentScope的ReMe等记忆管理系统有技术上的关联，其核心贡献在于将记忆检索与RL训练进行了深度整合，并通过经验剥离和选择性提升等机制解决了ICL与策略优化之间的分布不匹配问题。在信用分配方面，自我归因机制与Process Reward Model（PRM）的研究方向（如Cui et al., 2025a）相关，但它采用LLM作为通用评判器而非训练专门的判别模型，这种方法更具通用性但可能牺牲了一定的评判精度。

与AgentEvolver同时期或近期出现的相关方法也值得关注。例如，Tool-R1（Zhang et al., 2025b）同样关注于工具使用的RL训练，但侧重于样本效率的提升；THOR（Chang et al., 2025）探索了工具集成的层次化优化；而Search-R1（Jin et al., 2025）则将RL训练与搜索引擎结合。与这些方法相比，AgentEvolver的独特之处在于它提供了一个端到端的自我进化框架，同时解决了任务稀缺、探索低效和信用分配三个问题，而不仅仅聚焦于其中某一个环节。

展望未来，AgentEvolver指出了几个极具潜力的研究方向。首先是向更复杂、更动态的真实世界环境扩展，例如多API企业工作流、安全关键工具链等。这些环境不仅任务复杂，而且往往涉及隐式约束和时变目标，对自我提问的任务合成能力和自我导航的经验泛化能力提出了更高要求。其次是规模化的研究：随着策略模型规模的增长，自我提问生成的任务质量、自我导航中经验的抽象层次、以及自我归因的因果推理精度，都可能随之提升。研究这些能力如何随模型规模扩展，以及如何在计算成本和数据效率之间取得最优平衡，将是重要的课题。最深远的方向或许是论文所提出的"LLM-level self-evolving"——将任务生成、经验抽象、自我归因和策略更新全部整合到单一模型或紧密耦合的模型族中，使智能体能够维持和精炼一个自洽的程序性知识体系。这一愿景如果实现，将标志着智能体从"被训练的工具"向"持续自我完善的学习者"的根本性转变。

阅读这篇论文最引人深思的一点是，它展示了一种可能性：我们可能正在接近一个临界点，即大语言模型的通用认知能力已经足够强大，可以用来引导和优化自身在特定任务上的行为。这就像一个学生不仅能够学习老师教授的知识，还能够自己出题来检验理解、总结错题来避免再犯、并反思每一步解题过程的合理性。如果这个自我进化的范式被进一步验证和推广，未来智能体系统的开发模式可能会发生根本性变化——从由人类工程师 painstakingly 地设计训练管道，转向由智能体在最小人工干预下自主发现和扩展自身的能力边界。这不仅是一个技术路径的转换，更可能重新定义人机协作的本质：人类的角色或许将从"详细的指令制定者"转变为"进化方向的设定者"和"价值边界的守护者"。

Topics: