零样本迁移

微信扫码分享
斯坦福机器人讲座 | 2026年春季 | 从人类经验中学习机器人

斯坦福机器人讲座 | 2026年春季 | 从人类经验中学习机器人

本研讨会涵盖以下内容: • 如何将人机迁移理解为两个耦合问题:从人类经验中提取关于物理智能的先验知识,并将这些先验知识扎根于机器人的具身化 • 近期研究结果表明,大规模人类预训练中出现了涌现式的人机迁移,同时有证据表明跨不同机器人具身化的学习可以进一步改善迁移 • EgoVerse——一个基于具身人类数据进行机器人学习的生态系统 **视频 AI 总结**:该视频讨论了机器人学习如何通过大规模人类数据实现突破,核心观点包括:机器人能力可随人类数据扩展、人类数据将变得充足、科学和数据的同步扩展是关键。演讲者介绍了实验室工作,如EgoMimic(利用第一人称视频进行模仿学习)、EgoBridge(对齐人类与机器人潜在空间实现零样本迁移)、EgoScale(大规模验证人类数据缩放效应)以及EgoVerse(构建社区数据集)。研究表明,人类数据结合对齐训练可显著提升机器人性能,且规模更大的数据驱动带来涌现能力。 **主要内容**: - 机器人学习进展依赖于遥操作和人类数据,但遥操作存在瓶颈(线性扩展、数据保真度损失)。 - EgoMimic 通过第一人称视角捕获人类自然行为,并将其转化为机器人可用的训练数据。 - EgoBridge 通过最优传输对齐人类和机器人潜空间,实现零样本任务迁移。 - EgoScale 验证了20K小时人类数据的缩放效应:数据量增大会降低动作预测误差,提升下游任务性能。 - EgoVerse 是社区驱动的数据集项目,包含标注丰富的人类行为数据,支持跨机构研究人类到机器人的迁移。 - 未来方向包括更全面的感知(力/触觉)、决策上下文建模(空间记忆)以及合成数据补充。 2026年4月10日 Danfei Xu 是佐治亚理工学院交互计算学院的助理教授,同时也是 NVIDIA AI 的研究员。 关于斯坦福研究生项目的更多信息,请访问:https://online.stanford.edu/graduate-education

55 0 0 2026-07-03 13:31