斯坦福机器人讲座 | 2026年春季 | 机器人学习与规划

43次播放
2026-07-03

视频 AI 总结:该演讲探讨了如何通过神经符号概念实现机器人高效学习和规划,目标是从极少量演示(1-10个)中学会新技能,并可靠地泛化到未见过的物体、状态和目标。核心思想是将学习与规划结合,利用符号化的状态和动作抽象(神经符号概念)构建世界模型,再通过约束优化、扩散模型等技术进行推理和规划。演讲展示了在抓取、摆放、长任务规划等多个场景下的应用,并指出这种框架在基础模型时代依然重要,能提供可解释性和系统集成优势。

主要内容

  • 提出将物理智能视为世界模型与规划的组合,通过组合抽象(神经符号概念)来解决问题。
  • 展示了单示例技能学习:利用视觉特征引导的约束优化实现物体悬挂等任务,无需大量数据。
  • 扩展到空间推理:使用扩散模型组合空间关系约束,完成桌面布置等任务,并借助大语言模型获取常识。
  • 长时程任务规划:通过视频语言模型分割演示、学习动作模型(轨迹生成+状态预测),再结合搜索进行规划,如书架上书、悬挂多个杯子。
  • 强调神经符号系统在基础模型时代的价值:提供可解释性、系统集成框架(如Retriever)、以及自我改进的持续学习潜力。