具身智能

微信扫码分享
斯坦福机器人讲座 | 2026年冬季 | 室外环境中的自主导航

斯坦福机器人讲座 | 2026年冬季 | 室外环境中的自主导航

本次讲座内容包括: • 在非结构化户外环境中部署移动机器人 • 机器人超越简单导航,进一步理解人类行为并增强个人移动能力 • 先前用于远程户外导航的方法,重点关注场景理解与规划 • 当前工作的高层概述 **视频 AI 总结**:该视频包含两场关于机器人和人工智能前沿研究的演讲。第一场由斯坦福大学博士后Jing主讲,聚焦户外机器人导航,涵盖可穿越性分析、社交合规导航、交通规则理解,以及将导航栈扩展至老年人辅助机器人的计划。第二场演讲探讨从数字人模型到人形机器人的迁移,重点介绍基于力建模和语言模型的合规控制技术,使机器人能安全地与人类互动,并利用大语言模型理解、推理和规划人体动作。整体展示了AI在机器人领域的广泛应用和未来方向。 **主要内容**: - 机器人导航的核心挑战:户外非结构化环境中的可穿越性识别、社交与交通规则遵守。 - 基于自编码器和视觉语言模型的轨迹生成方法,提升导航鲁棒性。 - 引入多模态导航数据集,包含10个校园、11小时数据,支持泛化训练。 - 利用高斯泼溅和语义材料估计实现非结构化地形的可穿越性判别。 - 社交导航通过感知、预测、动作三步分解,并借助微调视觉语言模型理解社交线索。 - 将导航栈扩展至老年人辅助机器人,实现导航助手和行为分析。 - 人形机器人合规控制:通过弹簧阻尼系统和交互力建模,实现安全、可调力度的运动跟踪。 - 利用大语言模型理解和生成3D人体姿态(ChatPose、ChatHuman),支持人机交互中的意图推理和动作规划。 关于斯坦福大学研究生项目的更多信息,请访问:https://online.stanford.edu/graduate-education 2026年1月23日 复杂户外环境中的自主导航:迈向用于长寿的陪伴机器人 如需跟随研讨会日程,请访问:https://stanfordasl.github.io/robotics_seminar/ Jing Liang,斯坦福机器人中心博士后研究员

67 0 0 2026-07-05 23:34
斯坦福机器人讲座 | 2026年春季 | 从人类经验中学习机器人

斯坦福机器人讲座 | 2026年春季 | 从人类经验中学习机器人

本研讨会涵盖以下内容: • 如何将人机迁移理解为两个耦合问题:从人类经验中提取关于物理智能的先验知识,并将这些先验知识扎根于机器人的具身化 • 近期研究结果表明,大规模人类预训练中出现了涌现式的人机迁移,同时有证据表明跨不同机器人具身化的学习可以进一步改善迁移 • EgoVerse——一个基于具身人类数据进行机器人学习的生态系统 **视频 AI 总结**:该视频讨论了机器人学习如何通过大规模人类数据实现突破,核心观点包括:机器人能力可随人类数据扩展、人类数据将变得充足、科学和数据的同步扩展是关键。演讲者介绍了实验室工作,如EgoMimic(利用第一人称视频进行模仿学习)、EgoBridge(对齐人类与机器人潜在空间实现零样本迁移)、EgoScale(大规模验证人类数据缩放效应)以及EgoVerse(构建社区数据集)。研究表明,人类数据结合对齐训练可显著提升机器人性能,且规模更大的数据驱动带来涌现能力。 **主要内容**: - 机器人学习进展依赖于遥操作和人类数据,但遥操作存在瓶颈(线性扩展、数据保真度损失)。 - EgoMimic 通过第一人称视角捕获人类自然行为,并将其转化为机器人可用的训练数据。 - EgoBridge 通过最优传输对齐人类和机器人潜空间,实现零样本任务迁移。 - EgoScale 验证了20K小时人类数据的缩放效应:数据量增大会降低动作预测误差,提升下游任务性能。 - EgoVerse 是社区驱动的数据集项目,包含标注丰富的人类行为数据,支持跨机构研究人类到机器人的迁移。 - 未来方向包括更全面的感知(力/触觉)、决策上下文建模(空间记忆)以及合成数据补充。 2026年4月10日 Danfei Xu 是佐治亚理工学院交互计算学院的助理教授,同时也是 NVIDIA AI 的研究员。 关于斯坦福研究生项目的更多信息,请访问:https://online.stanford.edu/graduate-education

84 0 0 2026-07-03 13:31
斯坦福机器人讲座 | 2026年春季 | 长程机器人自主性

斯坦福机器人讲座 | 2026年春季 | 长程机器人自主性

本讲座涵盖: • 开发长时域机器人自主性的要素,即赋予机器人策略记忆能力,并训练既广泛适用又高性能的通用行为 • 通过两项工作(π0.6-MEM 和 π0.7)在该方向上的最新进展 • 在实现长时域物理自主性的道路上仍缺失的环节 **视频 AI 总结**:该视频介绍了 Physical Intelligence 公司在机器人长期任务能力上的最新进展。核心在于解决机器人执行长周期任务时需要的记忆与泛化能力问题。作者 Carl 首先展示了机器人当前在短程精细操作任务上的成功,但指出缺少长期记忆导致无法完成实际场景中的复杂任务。为此,他们提出了多尺度具身记忆(Mem)系统,结合短时视觉记忆与长时语言记忆,使机器人能够追踪进度、适应失败并持续完成任务。此外,还介绍了最新发布的 π0.7 模型,通过丰富的条件控制(如子目标、元数据)让单一策略同时实现高泛化性与高性能,并展示了零样本跨机器人技能迁移和人类语言指导下的任务学习。 **主要内容**: - 机器人当前能完成精细短任务,但缺乏记忆和泛化能力,无法处理长期、开放世界的任务。 - 提出多尺度记忆架构:短时使用压缩视觉记忆(约15帧),长时使用语言压缩记忆,避免计算延迟和分布偏移。 - 记忆使机器人能避免重复失败、适应环境变化(如从抽屉错误侧切换到正确侧)。 - π0.7 模型通过条件控制(子目标、质量标签等)训练单一策略,同时具备高泛化性和高性能,无需单独微调。 - 实验表明,条件训练能有效利用低质量数据,并实现跨机器人技能迁移(如UR5折叠衬衫)。 - 通过语言指导(教练模式)可让机器人学习新任务(如使用空气炸锅),无需遥操作。 2026年4月17日 Karl Pertsch 是 Physical Intelligence 的技术人员,从事机器人基础模型的训练工作。

74 0 0 2026-07-03 12:27