斯坦福机器人讲座 | 2026年冬季 | 𝚿0: 一个开放基础模型

42次播放
2026-07-04

𝚿0:迈向通用人形机器人移动操作能力的基础开源模型

本次讲座涵盖: • 应对具有挑战性的人形机器人移动操作任务 • 解耦学习过程以最大化异构数据源的效用 • 大量真实世界实验表明 𝚿0 能够实现

视频 AI 总结:该视频介绍了王跃团队开发的C0模型,这是一个面向通用人形机器人局部操作的开源基础模型。核心思路是利用大规模人类自我中心视频进行预训练,再结合少量遥操作数据进行后训练,最终实现人形机器人的全身局部操作。模型在多种日常任务上显著优于现有方法,如GROOT 1.6,且仅使用其10%的训练数据。视频还涵盖了数据收集、模型架构(如MM-DiT head)、实时部署等关键技术创新。 主要内容

  • 机器人学三大驱动因素:硬件进步(如Unitree G1、灵巧手)、算法发展(VLA模型、世界模型)、数据采集(仿真与遥操作)。
  • 现有挑战:人形机器人仍需结合运动与操作,且难以融入智能;当前VLA模型多用于固定基座双臂任务,不直接适用于全身43自由度的人形机器人。
  • C0模型采用多阶段训练:第一阶段使用829小时EgoDex自我中心视频预训练VLM,预测离散动作Token;第二阶段冻结VLM,用30小时Humanoid Everyday遥操作数据训练动作专家(使用MM-DiT head的流匹配)。
  • 部署优化:实现实时动作分块,通过训练时条件推理消除动作抖动,达到平滑控制。
  • 实验结果:C0模型在8项全身局部操作任务上平均成功率比GROOT 1.6高40%,且消融实验证实了自我中心预训练和MM-DiT head的有效性。
  • 附加工作HumDex:基于IMU的全身遥操作系统,支持五指灵巧手,并利用人类数据增强策略学习。

2026年2月20日 要了解研讨会日程安排,请访问:https://stanfordasl.github.io/robotics_seminar/

王跃是南加州大学计算机科学系的助理教授,领导物理超级智能实验室。