自我进化智能体的分类体系

自演化智能体越来越流行。Hermes Agent 实现了自动化的可复用技能。RSI Lab 尝试以递归方式发现新算法。NVIDIA 探索了面向机器人的智能体自演化。自动科研智能体旨在通过自演化实现科学发现。更多论文也在设计自演化算法，包括强化学习和无训练方法。它们都使用类似的词汇：自演化、自改进、学习、适应。但它们的含义真的相同吗？我们应如何将这些工作分到不同方向？它们与自改进智能体、递归自我改进、持续学习、测试时训练等相关术语又有何不同？在这篇博客中，我将通过回答这些问题，为自演化智能体提供一种分类法。

模型、框架与产物

模型、框架与产物是自演化系统中的三个关键因素。模型，通常指大语言模型，是响应提示的“大脑”。框架包括循环设计、记忆、工具以及其他外围组件。它将模型转变为智能体。因此有一个著名的等式：

智能体 = 模型 + 框架

产物较少被提及。我用“产物”一词指代智能体产生的输出，例如智能体发现的内核算法、自动研究者产出的论文和发现，或来自机器人自演化系统的新机器人策略。

它们之间的联系很简单。模型和框架协同工作形成智能体。智能体随后产生产物。这三个术语共同为我们提供了一种组织自演化系统的有用方式。

基于此视角，现有的自演化系统可分为三个层次：产物迭代优化、框架自我改进以及无黄金答案的模型学习。

产物迭代优化

近年来自演化智能体的浪潮很大程度上是由产物迭代优化推动的。其动机很简单：利用强大的大语言模型为复杂优化问题创建新产物。AlphaEvolve 利用编码智能体进行科学和算法发现。在此分类中，发现的算法就是产物。随后，多个自动研究系统被提出。一个代表性事件是 Analemma AI 的 FARS 运行了 417 小时，产出了 166 篇完全由 AI 生成的论文，成本约为 18 万美元。递归超级智能 也发现了更好的 GPU 内核算法。

产物迭代优化系统在概念上并不复杂。人类设定目标和评估标准。然后智能体反复寻找可改进之处，产生新的输出，并检查输出是否符合标准。如果符合，过程结束；如果不符合，循环继续。上方的 AlphaEvolve 流程便是一个例子。读者可能已经熟悉这种模式，因为 Codex、Claude Code 和 OpenClaw 等工具都遵循类似的行为。

这个想法很直观，当然也不是新鲜事。变化在于大语言模型，特别是编码模型，使循环变得更加灵活。在大语言模型主导之前，研究者通常手动设计操作符或动作，然后设计基于这些操作符的搜索或优化方法。神经架构搜索便是一个很好的例子。EfficientNet 等工作定义了可能的网络操作符搜索空间，然后搜索更好的网络设计。这一系列工作在多项任务上取得了成功，有时甚至优于人类设计的算法。

大语言模型带来的变化是：模型本身既可以充当操作符，也可以充当优化器。它可以发明新的候选方案，检查先前的结果，并决定下一步搜索方向。这使其成为一个强大的搜索工具。我们获得了更大的搜索空间，也获得了更好的启发式搜索器。

另一个趋势是大语言模型在长周期任务上的能力变得更强。因此，改进‑验证循环可以更有效地运行。在 2024 年，仅仅两年前，像 LLaVA-Plus 这样的工作只能执行少于 5 次工具调用，需要频繁的人工干预。但现在，智能体可以在人工干预更少的情况下运行数小时。随着更强的大模型的出现，这种循环对于加速工程和科学发现变得有用。

目前大多数智能体运行在数字环境中：代码库、浏览器、模拟器、终端以及其他软件系统。因此，大多数探索仍然局限于虚拟环境。更雄心勃勃的方向是真实世界。NVIDIA 通过智能体循环控制机器人，使智能体能够发现新的机器人策略。LabOS 将智能体与生物实验室连接以进行实验。Qumus 构建了一个量子材料实验者。展望未来，我们应期待更多物理世界中的产物迭代优化工作。

世界是智能体的牡蛎。

智能体框架自我改进

几乎与产物迭代优化同时，智能体框架自我改进在研究领域流行起来。其动机不同。模型训练成本高昂，因此一个自然的问题是：我们能否在不更新模型权重的情况下，在部署后改进智能体？

答案似乎是肯定的。杰出的研究者倾向于对所有有价值的问题说“是”，至少会先做一个演示。目前探索了两种主要解决方案：提示/记忆层面，以及工具/技能层面。

提示学习与记忆

我们可以记忆一些问题和答案，以便以后能回答同样的问题。我在中学时就这样做。但记忆的泛化能力不强，在相似但不同的任务上表现不佳。更好的解决方案是提取有用的规则，并将其存储在智能体可复用的地方。一些工作将它们存储在提示中，例如 GEPA。一些工作将它们存储在剧本中，例如 ACE，或存储在记忆系统中，例如 Mem0。

尽管有些方法的名字中带有“学习”，但它们并不调整模型权重。但如果我们把框架视为智能体的一部分，那么对框架的更新（如提示更新）应被视为类似于参数更新。因此，称它们为“学习”方法并无不妥。

这是智能体框架自我改进与产物迭代优化之间的另一个关键区别。在这里，智能体修改自身的组件，如提示和记忆；而产物迭代优化则侧重于优化输出，而非智能体本身。

工具与技能创建

但文本信息不一定总是足够。例如，如果智能体需要理解一个长视频并找到关键帧，仅靠记忆可能会变得冗余。要提取关键帧，智能体需要的是一个可操作的工具或技能。因此，一个直接的想法是创建可复用的工具，例如 Alita，或技能，例如 Mem-UI，以便智能体在每次面对相同问题时可以重复该过程。工具被编码为代码，因此智能体可以直接生成它们。技能可以被视为工具的高级封装。生成后，这些工具或技能被添加到智能体中。智能体下次便可以利用它们来解决类似问题。

技能也可以被视为另一种上下文管理方式。它们减少了上下文长度，因为智能体不再需要将所有细节放入上下文窗口。上下文很重要。

技能现在已成为一种流行的解决方案。技能已被 Claude Code 形式化，并成为现代智能体的事实标准组件。Claude Code 可以创建和使用技能，Codex 和 OpenClaw 也是如此。另一个热门仓库 Hermes Agent 也强调了自动技能创建。

与提示学习和记忆类似，这需要智能体修改自身，因为工具和技能属于框架。

迈向多智能体自演化

之前的解决方案很漂亮，但它们在单个智能体内难以扩展。随着剧本增长，以及更多工具和技能被添加，系统可能变得不可靠且效率低下。如果用户只关心股票相关问题，他们不需要烹饪工具。保留不相干的工具只会让智能体变慢，有时甚至更困惑。这种困惑也可能是语义上的。如果向同一个智能体注入太多烹饪知识，智能体可能不知道“挤压”指的是市场还是橙子。

为解决这个问题，任务专家变得有用。有时一个烹饪智能体和一个股票智能体比一个试图处理两个领域的智能体更好。这引出了多智能体自演化解决方案。我们之前的工作 Eevee 观察到，当数据来自非常不同的来源或分布时，单个智能体是受限的。因此，它提议为不同任务使用多个专家智能体，并由一个路由器将每个任务分配给正确的专家。类似地，我们发现为智能体配备一组生成的工具来构建专家，对于某些专门领域很有用，如 Alita-G 所示。

我们也可以将多智能体系统视为上下文管理的一种扩展，因为每个专家只需携带对自身任务有用的上下文。上下文很重要。

对于多智能体解决方案，一个关键瓶颈是如何找到合适的智能体，即路由。一个关键发现是：在大多数情况下，路由并非简单问题。它需要更强的基模型才能获得良好性能，如 routing 所示。从这个意义上说，人类专家最有价值的能力之一也是路由。我们将任务交给智能体，并决定它们是否应该进入下一步。

人类是一个路由器。

无黄金答案的模型学习

这是第三个话题。与产物优化和框架自我改进相比，这一方向会更新模型本身。该领域的许多工作可能不会自称自演化智能体。它们通常以自训练、弱监督、自对弈、强化学习、测试时训练、在线学习或持续学习等名称出现。

一个关键区别是学习会改变模型权重。问题在于当没有黄金答案，只有问题、弱信号或可选的环境访问时，如何实现模型更新。目标与自演化智能体类似，但解决方案截然不同。

伪真实标注或内部信号

如果没有黄金答案，一种选择是从数据本身构建伪真实标注，如自训练所做，或使用内部信号，如 TTRL 所做。这些信号随后可用于模型训练。如果伪标签被视为目标，我们可以使用监督微调。如果信号可以转化为奖励，我们可以使用强化学习，如 DeepSeek-R1 所示。

例如，假设我们有一个问题：图片中有多少个苹果？虽然我们没有真实答案，但预训练模型仍可能做出比随机猜测更好的估计。假设图片中有 5 个苹果。模型可能对 4、5、6 个苹果这样的答案更有信心，这些就是内部信号。这些信号并非完美标签，但仍然是可用的信息。

自对弈与来自环境的弱信号

学习信号也可以来自模型外部。一些例子使用自对弈进行学习，如 SPIN 和 Absolute Zero。其他是通过与环境交互来学习，如 Agent Learning via Early Experience。我将它们归为一组，因为另一个玩家也可以被视为环境的一部分。

有一个简单的日常例子。如果你约某人出去却没有得到回应，这仍然给了你信息。即使是环境没有回应，也可以是一个弱信号。

测试时训练用于模型架构

测试时训练 (TTT) 是一个特例。我将其列在此处，因为它试图解决类似问题，但方式截然不同。它从不自称自演化。一个可能的原因是它有一个更时髦的名字。

这是一系列工作。这一系列工作表明，某些序列模型可以被解释为在推理过程中执行某种形式的基于梯度的更新。在这个意义上，模型可以被视为在推理过程中持续更新一个矩阵。我推荐这篇 DeltaNet 博客 作为参考。

与持续学习的联系

持续学习，在某些语境下也称为在线学习或终身学习，可以追溯到 LLM 之前的时代。一个经典设置是视觉识别。假设我们训练了一个识别轿车的模型，现在想让它也能识别 SUV。一个简单的解决方案是在 SUV 图像上微调模型，但这可能会损害其识别原始轿车图像的能力。如何避免灾难性遗忘便成了关键问题。很难说这个问题是否已完全解决。最有效的解决方案之一，或者可能是唯一有效的解决方案，仍然是在微调 SUV 的同时重放一些轿车样本。

然而，相同术语可能随时间含义完全不同。“多模态”学习便是一个很好的例子。大约 2017 年，它通常指图像描述工作，如 Bottom-Up and Top-Down Attention。大约 2021 年，它通常指 CLIP 类模型。大约 2023 年，它被用于像 GPT-4V 这样的视觉语言模型。到 2025 年，它还涵盖了同时处理图像理解和图像生成的统一模型。类似地，今天 LLM 讨论中的持续学习通常意味着更接近自演化智能体，而非更早的灾难性遗忘设置。

人类和术语都随时间变化。

模糊的边界

模型、框架和产物演化之间的边界变得模糊。当我们优化一个内核算法时，目标是产物。然而，为了使搜索更有效，我们可能还需要改进智能体自身的设计，如其提示、工具、记忆或搜索策略。同样，智能体的知识受限于模型预训练。一旦框架达到极限，更新模型参数就成了自然的下一步。一些近期工作，如 SIA，已经探索了这一方向。

展望未来，我认为自演化系统中的每个模块都应共同改进。

一个有用的视角是抽象化。几年前，我们每一行代码都自己写。然后我们让 ChatGPT 写代码片段。后来，Copilot 帮助编写函数和文件。今天，编码智能体可以处理整个项目。优化目标从单词，到片段，到文件，再到项目。我们不断将更多项目组合在一起，给予它们新的抽象，并在更高层次上思考。

自演化智能体系统也应如此。模型、框架和产物不应永远被视为孤立的组件。一旦系统变得足够强大，自然的趋势是将它们作为一个整体演化的系统共同改进。

面向真实世界

自演化智能体最令人期待的部分是它们改进自身之外事物的能力。

更好的提示有用。更好的记忆有用。更好的工具有用。更好的模型有用。尽管如此，自演化的最终价值应通过它是否帮助我们构建更好的事物来衡量：更快的内核、更强大的软件、新的科学假说、新材料以及更好的机器人行为。

这就是为什么我用模型、框架和产物来组织该领域。它们描述了演化可能发生的三个地方。模型可以从弱信号中学习。框架可以更新其记忆、提示、工具和技能。产物可以通过智能体进行迭代优化。这三个层次是同一更大系统的不同切入点。

在早期系统中，这些循环通常各自独立出现。一些工作保持模型固定而改进框架。一些工作保持智能体固定而改进产物。一些工作使用自生成或弱反馈来训练模型。在未来的系统中，它们很可能会共同成长。更强的模型有助于构建更好的框架。更好的框架加速产物搜索。更好的产物为模型学习创造新的数据和反馈。

自演化智能体的想法在过去以不同名称多次出现：递归自我改进、持续学习、在线学习、自动发现、测试时适应。名称改变是因为可用的系统改变了。今天我们拥有大模型、使用工具的智能体、并行执行、更丰富的环境以及更有用的验证信号。

与其争论名称，我发现提问三个简单问题更有用。

什么在演化？什么反馈驱动它？循环在哪里闭合？

如果循环闭合在基准测试上，我们会得到更强的基准测试求解器。如果闭合在代码上，我们会得到更好的软件。如果闭合在科学和工程上，我们可能会得到更好的发现。如果闭合在物理世界上，智能体可能成为构建和改进真实系统的新方式。

世界仍然是最难的环境。它也是自演化智能体最重要的地方。

• 原文链接： lsl.zone/blog/2026/a-tax...
• 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～