本文介绍了Replit Agent团队在持续学习方面的实践，针对无法微调闭源模型的现状，提出了三层学习框架：模型层、工具层和上下文层。重点描述了工具层和上下文层的优化方法，包括离线基准测试ViBench、在线A/B测试和Telescope轨迹聚类分析。ViBench用于评估AI Agent从头构建应用的能力，A/B测试监控生产环境行为变化，Telescope自动聚类失败轨迹。三者形成闭环，驱动Agent每日改进。文章还分享了优化循环的具体案例，强调人工在假设选择、架构决策和发布审批中的核心作用。
