斯坦福机器人讲座 | 2025年秋季 | 具身基础模型

52次播放
2026-07-21

本视频涵盖:
• 具身基础模型:将强化学习运动控制与LLM相结合,实现腿式导航
• 让仿真到现实在运动控制中有效的原因
• 为什么它在操作领域仍存在局限,探讨将强化学习与推理模型结合的系统性挑战,并展示近期弥合仿真多样性差异的研究工作

视频 AI 总结:该演讲围绕构建具身基础模型,探讨了四足机器人实现高移动性与高自主性的挑战与方法。演讲者从多样性、抽象化、泛化三个方向展开,介绍了通过强化学习训练运动策略、利用视觉数据提升仿真多样性、结合语言模型进行导航决策,以及向开放世界通用任务迁移的最新研究成果。核心目标是让机器人在复杂真实环境中具备高度自主的感知、理解与行动能力。
主要内容

  • 讨论了机器人移动性与自主性的两个维度,指出当前工业机器人的局限性,并展望了四足机器人在灾难响应、太空探索等场景的应用。
  • 介绍了基于强化学习的运动控制范式:在仿真中训练策略,并通过仿真到真实迁移部署到实体机器人上。
  • 提出通过收集大规模真实环境数据集(如洞穴、高山)来增加多样性,并利用视频生成模型创建多样化的仿真资产(如高斯溅射场景),以训练纯视觉运动策略。
  • 展示了自适应方法:机器人通过在线学习从视觉图像预测地形可通行性,实现在未知环境中的自主导航。
  • 探索了利用视觉语言模型进行导航任务抽象,将导航转化为视觉问答,并指出当前模型与人类能力的差距。
  • 介绍了Tiamat项目,旨在通过微调语言模型并结合环境描述、运动策略隐状态等,实现开放世界自然语言指令驱动的通用导航。 有关斯坦福大学研究生课程的更多信息,请访问:https://online.stanford.edu/graduate-education

2025年10月24日

Jonas Frey
斯坦福大学博士后