评估

微信扫码分享
工具、技能还是子代理,如何优化复杂 AI Agent的架构

工具、技能还是子代理,如何优化复杂 AI Agent的架构

**视频 AI 总结**:该视频由 Anthropic 工程师 Will 主讲,主题是如何优化复杂 AI Agent的架构,避免因功能堆叠导致的性能下降。通过一个名为 Stock Pilot 的库存管理代理案例,演示了如何从冗长的系统提示、杂乱的工具和子代理中重构,利用技能(Skills)、基础工具(如代码执行、文件系统)和 Claude Managed Agents 来简化设计,并通过评估(Evals)进行迭代提升(hill climbing),最终将评估分数从 62% 提升至 92%,同时降低 token 消耗和成本。 **主要内容**: - 代理问题:系统提示长达 400 行,12 个工具(3 个是子代理),导致评估失败(如 F1 效率低、F2 子代理通信断裂、R8 策略冲突)。 - 优化策略:使用技能(Skills)替代长系统提示,实现信息渐进式披露;用基础工具(代码执行、文件系统)替代大部分自定义工具,减少 token 使用。 - 子代理使用时机:仅当需要大量计算(如并行处理)或需要独立视角(如代码审查、预测)时才用,并推荐使用 Claude Managed Agents 的原生子代理功能以增强可观测性。 - 结果:架构简化后,评估分数从 62% 升至 92%,成本和时间降低,性能提升。

72 0 0 2026-07-05 16:00
提示词手册 by Claude

提示词手册 by Claude

视频主要介绍了提示工程(prompting)的最佳实践,通过两个实际场景演示了如何维护和优化提示词。 第一个场景是迁移现有提示词到新模型时,通过评估(evaluation)发现失败模式,逐步清理提示结构、移除冗余指令、添加工具(如计算工具)以及平衡指令中的权衡,从而提升模型表现。 第二个场景是从零构建一个编排Agent,比较了不同模型(Sonnet vs Opus)和提示方法(简单提示、自适应思考、代理循环),发现将任务拆分为生成、评估、修复的代理循环能以更低的Token和延迟达到更好效果。 关键信息包括:评估是提示优化的基础;结构化提示(如XML标签)能提升清晰度;指令不能增加模型能力,需要提供工具;避免过度优化单一目标;Agent系统可通过拆分任务提高效率。

140 0 0 2026-06-25 09:15