斯坦福机器人讲座 | 2026年冬季 | 弹性自主
本次课程涵盖： • 极端与不确定环境下的韧性自主性 • 多模态感知的方法、进展与成果 • 细致的感知输入 • 复杂地形的导航 • 我们研究的未来方向 **视频 AI 总结**：该视频由CMU机器人研究所的Sebastian Scherer教授主讲，介绍了其团队在退化环境（如洞穴、矿山、核电站）中实现弹性自主机器人系统的最新研究。核心是构建统一的感知前端，通过MapAnything、AnyThermal、UFM等方法融合视觉、热成像、IMU等多模态数据，实现鲁棒的定位、建图、导航和操作。视频强调了从手工程序化方法向深度学习驱动的弹性自主系统的转变，并展示了在无人机协作、空中操作、越野驾驶等场景的实时应用。 **主要内容**： - 无人机团队在洞穴等退化环境中自主探索，需弹性感知与规划，系统需坚固耐用以应对无通信、粉尘等挑战。 - 提出MapAnything模型，实现从单目视频到3D重建、深度估计、位姿估计等多种几何任务的统一处理，支持任意相机模型。 - 扩展至4D场景流估计（MapAnything+Scene Flow），可融合雷达Doppler输入。 - AnyThermal方法：通过对齐热成像与视觉DINOv2特征，使热图像能直接复用现有视觉算法，解决夜间/粉尘环境感知问题。 - 开源传感器平台TartanRGBT，收集硬同步的热-视觉数据集，推动多模态研究。 - IMU弹性：通过在线学习IMU模型，在LiDAR退化时仍能保持精准里程计（40分钟校园夜跑无漂移）。 - 球形图像处理：针对鱼眼/全景相机，提出球形Rollup与采样方法，提升宽视野场景效率。 - UFM（Unified Feature Matcher）：统一宽基线匹配与光流，为视觉里程计（如MAC-VO）奠定基础。 - 长程语义推理：RayFronts表示结合3D语义体素与射线向量，实现远距离目标导航（如找水塔）。 - 应用展示：无人机碰撞避免（136km/h闭合率）、全驱动六旋翼空中操作（端到端学习与MPC）、越野夜间行驶（热成像+自监督）。 - 未来方向：DARPA Triage Challenge（灾后伤员评估），强调任务条件化的世界模型与高效表示。 2026年1月16日 Sebastian Scherer，卡内基梅隆大学机器人研究所副研究教授