人形机器人

斯坦福机器人讲座 | 2026年冬季 | 室外环境中的自主导航

本次讲座内容包括： • 在非结构化户外环境中部署移动机器人 • 机器人超越简单导航，进一步理解人类行为并增强个人移动能力 • 先前用于远程户外导航的方法，重点关注场景理解与规划 • 当前工作的高层概述 **视频 AI 总结**：该视频包含两场关于机器人和人工智能前沿研究的演讲。第一场由斯坦福大学博士后Jing主讲，聚焦户外机器人导航，涵盖可穿越性分析、社交合规导航、交通规则理解，以及将导航栈扩展至老年人辅助机器人的计划。第二场演讲探讨从数字人模型到人形机器人的迁移，重点介绍基于力建模和语言模型的合规控制技术，使机器人能安全地与人类互动，并利用大语言模型理解、推理和规划人体动作。整体展示了AI在机器人领域的广泛应用和未来方向。 **主要内容**： - 机器人导航的核心挑战：户外非结构化环境中的可穿越性识别、社交与交通规则遵守。 - 基于自编码器和视觉语言模型的轨迹生成方法，提升导航鲁棒性。 - 引入多模态导航数据集，包含10个校园、11小时数据，支持泛化训练。 - 利用高斯泼溅和语义材料估计实现非结构化地形的可穿越性判别。 - 社交导航通过感知、预测、动作三步分解，并借助微调视觉语言模型理解社交线索。 - 将导航栈扩展至老年人辅助机器人，实现导航助手和行为分析。 - 人形机器人合规控制：通过弹簧阻尼系统和交互力建模，实现安全、可调力度的运动跟踪。 - 利用大语言模型理解和生成3D人体姿态（ChatPose、ChatHuman），支持人机交互中的意图推理和动作规划。 关于斯坦福大学研究生项目的更多信息，请访问：https://online.stanford.edu/graduate-education 2026年1月23日 复杂户外环境中的自主导航：迈向用于长寿的陪伴机器人 如需跟随研讨会日程，请访问：https://stanfordasl.github.io/robotics_seminar/ Jing Liang，斯坦福机器人中心博士后研究员

43 0 0 5 天前

斯坦福机器人讲座 | 2026年冬季 | 𝚿0: 一个开放基础模型

𝚿0：迈向通用人形机器人移动操作能力的基础开源模型 本次讲座涵盖： • 应对具有挑战性的人形机器人移动操作任务 • 解耦学习过程以最大化异构数据源的效用 • 大量真实世界实验表明 𝚿0 能够实现 **视频 AI 总结**：该视频介绍了王跃团队开发的C0模型，这是一个面向通用人形机器人局部操作的开源基础模型。核心思路是利用大规模人类自我中心视频进行预训练，再结合少量遥操作数据进行后训练，最终实现人形机器人的全身局部操作。模型在多种日常任务上显著优于现有方法，如GROOT 1.6，且仅使用其10%的训练数据。视频还涵盖了数据收集、模型架构（如MM-DiT head）、实时部署等关键技术创新。 **主要内容**： - 机器人学三大驱动因素：硬件进步（如Unitree G1、灵巧手）、算法发展（VLA模型、世界模型）、数据采集（仿真与遥操作）。 - 现有挑战：人形机器人仍需结合运动与操作，且难以融入智能；当前VLA模型多用于固定基座双臂任务，不直接适用于全身43自由度的人形机器人。 - C0模型采用多阶段训练：第一阶段使用829小时EgoDex自我中心视频预训练VLM，预测离散动作Token；第二阶段冻结VLM，用30小时Humanoid Everyday遥操作数据训练动作专家（使用MM-DiT head的流匹配）。 - 部署优化：实现实时动作分块，通过训练时条件推理消除动作抖动，达到平滑控制。 - 实验结果：C0模型在8项全身局部操作任务上平均成功率比GROOT 1.6高40%，且消融实验证实了自我中心预训练和MM-DiT head的有效性。 - 附加工作HumDex：基于IMU的全身遥操作系统，支持五指灵巧手，并利用人类数据增强策略学习。 2026年2月20日 要了解研讨会日程安排，请访问：https://stanfordasl.github.io/robotics_seminar/ 王跃是南加州大学计算机科学系的助理教授，领导物理超级智能实验室。

39 0 0 6 天前

斯坦福机器人讲座 | 2026年春季 | 解锁自主医疗机器人

**视频 AI 总结**：该演讲探讨了自主手术机器人的发展，指出当前手术机器人（如达芬奇系统）仍依赖远程操作，无法解决外科医生短缺问题。演讲者介绍其实验室在UC San Diego的工作，通过构建感知、建模、规划和控制的四大支柱，逐步实现手术自主性。重点包括基于位置动力学的数字孪生、强化学习结合知识模块的终身学习、以及人形机器人在医疗场景中的应用（如远程手术、伤口护理）。最后讨论了数据稀缺、触觉传感等挑战，并强调了物理模型与AI结合的重要性。 **主要内容**： - 手术机器人现状：远程操作缺乏自主性，无法缓解医疗人力短缺。 - 自主机器人四大支柱：感知（视觉、触觉）、建模（数字孪生、物理模拟）、规划（贝叶斯推理、模型预测控制）、控制（精确执行）。 - 关键技术：基于位置动力学的实时仿真、可微渲染校正模型、自主切割与组织剥离。 - 终身学习：用知识模块的稀疏神经网络组合行为，实现任务序列的自主学习。 - 人形机器人应用：在真实医院场景中测试远程操作与自主工具使用（如机器人手操作钳子、剪刀）。 - 触觉反馈：自主开发方向性触觉手套，提升远程操作与数据收集效果。 - 慢性伤口管理：自主机器人执行换药、撕绷带等任务，减少患者痛苦。 - 未来方向：强调物理模型与数学方法的重要性，同时集成基础模型提升感知与泛化能力。

46 0 0 2026-07-03 08:47