智能体改进是一个数据挖掘问题

持续学习、工程编排、后训练，这些归根结底都指向同一个基础：规模化地整理数据，以便进行实验并改进 Agent。我们讨论了为什么从 Trace 中挖掘数据是公司能培养的最具杠杆作用的能力之一——用于理解 Agent、规模化整理数据，然后运行改进循环。

以下是我在演讲中分享的幻灯片的一些简要解读，以及一些（半）辛辣的评论。

每一家持续学习公司都是一家可观测性公司

我们先从一个温和的观点热身：每一家持续学习公司都是一家可观测性公司……反之亦然！当我们观察进行持续学习的团队的工作流程时，首先看到的就是某种用于共享 Trace 的消息。

持续学习是指 Agent 在其环境中采取行动，然后将从该经验中产生的信息整合回 Agent 系统。这大致类似于人类通过在环境中采取行动来学习，触发某种学习、记忆或存储以便日后使用。

这就是为什么 Trace 是长跨度 Agent 改进的通货。它们是将 Agent 在环境中的经验投射成一种我们可以挖掘和理解的数据格式。

目前尚不清楚如何将所有信息整合回去，但很可能混合以下方式：

• 收集训练数据，通过 SFT、RL 等方式整合回模型权重
• 工程编排，添加指令、工具、Skills、编排策略等
• 将信息整合到记忆存储中，用于上下文检索

术语“规模化梦想（Scaling Dreaming）”是一种很好的描述方式，说明如何在长时间跨度内大规模做到这一点。

一个实用的 Agent 改进方案

本次演讲主要围绕激励一个实用的方案，以便团队能够从今天开始改进他们的 Agent。

启动数据收集飞轮是团队能做的最有价值的事情之一！这意味着要构建一个像样的 Agent 版本并将其推出。从那里开始，改进来自于：

• 挖掘数据，查看需要改进的地方
• 整理评估（即训练数据）以供适配
• 运行实验，在你关心的某个维度上改进 Agent

通过 Trace 规模化理解 Agent

Agent 的行为比传统代码更不透明。仅通过阅读 Agent 定义，我们无法确切知道 Agent 会做什么。我们用确定性换取自主性，然后使用 Trace 来填补理解上的空白。

通过运行评估和规模化阅读 Trace，我们可以形成对 Agent 在给定任务上可能行为的定量衡量和直觉。

Trace 使我们能够理解并进而改进 Agent 行为。但现代 Agent 正变得越来越复杂，做的工作越来越多，因此产生的数据比以往任何时候都多。阅读数百万条 Trace，其中许多 Trace 长达数百万个 Token，这带来了：

• 处理那么多 Token 的成本问题
• 搜索 Trace 以找到重要信号的上下文问题

这就是为什么我们创建专门的 Agent 和模型来高效地理解并从 Trace 中规模化整理数据。

构建理解 Trace 的系统

开源模型已经跨越了智能门槛，并且是处理大规模 Trace 的经济高效的选择。每家公司都在其 Trace 中寻找不同的信号。这包括用户交互中的细微差别、特定领域的数据，以及区分哪些数据子部分重要的能力。我们微调了一个 Trace 评判模型，用于在我们的追踪项目中挖掘信号，并发现对于狭窄的任务，开源的小模型性能优于封闭的尖端模型，同时运行成本低几个数量级。

拥有并部署自己的模型智能的另一个好处是，当你用 Token 成本换取基础设施成本时，大规模运行的成本会低得多。在推理量足够高的情况下，这种权衡对许多团队是有意义的。

我们认为挖掘 Trace 很重要，因此围绕它构建了一个产品。LangSmith Engine 使用专门的 Agent 来读取每条 Trace，寻找你团队关心的特定信号，发现问题，生成代码修复，生成评估，将重要信息提交到记忆和上下文存储中，并随着时间的推移努力改进每个 Agent。这里有一个深入探讨，介绍了我们如何思考和构建 Engine 并进行评估。

模型-任务-编排适配、评估以及如何适配 Agent

Trace 挖掘的输出成为运行改进循环实验的输入。挖掘“好”的 Trace 为我们提供了提炼小模型的信号，从而带来更高的成本效率。生产中的每个 Agent 失败都成为我们可以为其创建评估和环境的靶子。

评估是 Agent 的训练数据。

评估的意义在于让它们通过，因此我们在 Trace 中衡量的相同行为会在 Agent 行为中转移，因为我们正在爬坡优化。

总的来说，我们的工作是：

• 找到好的数据
• 找到好的拟合函数

一旦我们收集了数据，我们的工作就是将学习系统拟合到这些数据上。就像“经典机器学习”有 sci-kit-learn 拟合函数 一样，现代 Agent 有拟合策略，如微调（SFT、RL、DPO）或使用工程编排策略，如使用评估分数作为爬坡指标对编排进行自动研究。

这里的想法是，从模型作为智能来源出发，寻找模型和编排的最佳修改，以优化在一组任务上的性能。编排是原生模型智能的放大器和扩展器，随着模型变得更聪明，编排中的许多部分将消失，让模型自由使用它们的智能。

以拟合函数为例，我们发现了循环和自动研究作为改进 Agent 的通用策略，这些改进基于环境和评估。在 Terminal Bench 2.0 上，我们发现仅仅通过爬坡正确性指标和 Trace 来理解行为来调整编排，就比基本编排带来了 13.7% 的显著提升。

Trace 通过给 Agent 提供丰富的行为反馈来搜索（超出简单的标量奖励），从而使反馈信号更加密集。

我们经常被问到这个问题：“什么时候应该做工程编排 vs. 微调？”就像机器学习中的大多数问题一样……视情况而定。但我们观察到的一个非常成功的通用策略是一个漏斗（或三明治）：工程编排 → 微调 → 工程编排。

对于大多数团队来说，工程编排通常就足够了。团队可以获得即时反馈，并能够利用一个高带宽的表面，将他们的知识和对错误的观察传递给他们的 Agent。每一代模型都变得更聪明，随之而来的是它们进行上下文学习的能力也在增长。那些精心准备良好上下文、工具界面和提示词的团队，通常能为他们的任务获得足够好的性能。

但最终工程编排会达到一个智能天花板，简单地调整提示词不再带来更大的收益。对于这两种情况，或者对于推理工作负载很高、希望将信息提炼到更小模型中的情况，微调是有意义的。它更复杂，需要整理数据并在更长的反馈循环中进行实验。但重塑模型智能以适配你的任务，是提高性能的有效方式。

最后，一旦你对微调后的模型感到满意，进一步的工程编排是一个很好的途径，可以观察新模型智能的格局如何泛化到相关问题，因为你在各个任务中使用了微调后的模型。如果让我向团队推荐一个方案，那将是这个，它能在快速迭代和逐步接触更复杂的拟合函数之间获得最佳平衡。

要点

将 Agent 改进、持续学习、环境/评估等广阔领域浓缩到一次演讲中是很困难的。但这次演讲和文章的目标是为团队提供一个实用的起点，说明为什么数据将成为未来几年 Agent 改进的关键驱动力。

一些简要的要点：

• 挖掘 Trace 是你发现可以爬坡优化的信号的方式
• 开源模型微调和复合 Agent 系统帮助你处理大规模 Trace 数据
• 持续学习是关于在长时间跨度内处理 Agent 数据并将其整合回 Agent 中
• Agent 将产生比人类历史上更多的数据。我们需要更新我们的工具来处理它。

我们在 LangChain Labs 的研究团队正专注于这些问题，并帮助每个团队利用他们的数据构建更好的 Agent。为了更好的数据，更好的评估，以及更好的 Agent。

• 原文链接： x.com/vtrivedy10/status/...
• 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～