本次讲座会涵盖： • 流体物理相互作用的动力学 • 如何使机器人安全、自适应且顺应 **视频 AI 总结**：该演讲介绍了实现机器人流体物理交互的框架，核心是通过紧密耦合的控制、估计和学习算法，使机器人能够在与人类协作时保持安全、自适应和顺从。演讲者展示了基于动态系统表示的运动规划方法，包括利用稳定且可学习的矢量场实现柔顺运动，以及通过弹性运动策略（elastic motion policy）在任务参数变化时实时调整机器人行为。此外，还讨论了意图估计与可变阻抗控制结合的人机协作方案，以及利用调制动态系统进行避障和基于可行性的被动扭矩控制来保证机器人的安全与柔顺性。 **主要内容**： - 提出机器人流体物理交互需要稳定性、灵活性、适应性、可预测性和顺从性等要求。 - 利用动态系统（如高斯混合模型和神经网络ODE）表示运动计划，并保证收敛性和安全性。 - 弹性运动策略通过将动力学参数与任务约束（如物体位姿）绑定，实现单次演示后的实时自适应。 - 在物理人机交互中，使用粒子滤波在线估计人类意图，并调整机器人的阻抗（软硬程度）以提供合适的辅助力。 - 通过调制矩阵重塑动态系统流线，实现无局部极小值的避障，并可与模型预测控制结合处理复杂环境。 - 提出基于可行性的被动扭矩控制方法，通过学习机器人状态是否接近约束（如自碰撞、关节极限），在扭矩层直接施加线性约束，实现平滑、安全的外部扰动响应。 2025年12月5日 Nadia Figueroa 博士 宾夕法尼亚大学机械工程与应用力学系（MEAM）Shalini and Rajeev Misra 总统助理教授

本次课程涵盖： • 极端与不确定环境下的韧性自主性 • 多模态感知的方法、进展与成果 • 细致的感知输入 • 复杂地形的导航 • 我们研究的未来方向 **视频 AI 总结**：该视频由CMU机器人研究所的Sebastian Scherer教授主讲，介绍了其团队在退化环境（如洞穴、矿山、核电站）中实现弹性自主机器人系统的最新研究。核心是构建统一的感知前端，通过MapAnything、AnyThermal、UFM等方法融合视觉、热成像、IMU等多模态数据，实现鲁棒的定位、建图、导航和操作。视频强调了从手工程序化方法向深度学习驱动的弹性自主系统的转变，并展示了在无人机协作、空中操作、越野驾驶等场景的实时应用。 **主要内容**： - 无人机团队在洞穴等退化环境中自主探索，需弹性感知与规划，系统需坚固耐用以应对无通信、粉尘等挑战。 - 提出MapAnything模型，实现从单目视频到3D重建、深度估计、位姿估计等多种几何任务的统一处理，支持任意相机模型。 - 扩展至4D场景流估计（MapAnything+Scene Flow），可融合雷达Doppler输入。 - AnyThermal方法：通过对齐热成像与视觉DINOv2特征，使热图像能直接复用现有视觉算法，解决夜间/粉尘环境感知问题。 - 开源传感器平台TartanRGBT，收集硬同步的热-视觉数据集，推动多模态研究。 - IMU弹性：通过在线学习IMU模型，在LiDAR退化时仍能保持精准里程计（40分钟校园夜跑无漂移）。 - 球形图像处理：针对鱼眼/全景相机，提出球形Rollup与采样方法，提升宽视野场景效率。 - UFM（Unified Feature Matcher）：统一宽基线匹配与光流，为视觉里程计（如MAC-VO）奠定基础。 - 长程语义推理：RayFronts表示结合3D语义体素与射线向量，实现远距离目标导航（如找水塔）。 - 应用展示：无人机碰撞避免（136km/h闭合率）、全驱动六旋翼空中操作（端到端学习与MPC）、越野夜间行驶（热成像+自监督）。 - 未来方向：DARPA Triage Challenge（灾后伤员评估），强调任务条件化的世界模型与高效表示。 2026年1月16日 Sebastian Scherer，卡内基梅隆大学机器人研究所副研究教授

本次讲座内容包括： • 在非结构化户外环境中部署移动机器人 • 机器人超越简单导航，进一步理解人类行为并增强个人移动能力 • 先前用于远程户外导航的方法，重点关注场景理解与规划 • 当前工作的高层概述 **视频 AI 总结**：该视频包含两场关于机器人和人工智能前沿研究的演讲。第一场由斯坦福大学博士后Jing主讲，聚焦户外机器人导航，涵盖可穿越性分析、社交合规导航、交通规则理解，以及将导航栈扩展至老年人辅助机器人的计划。第二场演讲探讨从数字人模型到人形机器人的迁移，重点介绍基于力建模和语言模型的合规控制技术，使机器人能安全地与人类互动，并利用大语言模型理解、推理和规划人体动作。整体展示了AI在机器人领域的广泛应用和未来方向。 **主要内容**： - 机器人导航的核心挑战：户外非结构化环境中的可穿越性识别、社交与交通规则遵守。 - 基于自编码器和视觉语言模型的轨迹生成方法，提升导航鲁棒性。 - 引入多模态导航数据集，包含10个校园、11小时数据，支持泛化训练。 - 利用高斯泼溅和语义材料估计实现非结构化地形的可穿越性判别。 - 社交导航通过感知、预测、动作三步分解，并借助微调视觉语言模型理解社交线索。 - 将导航栈扩展至老年人辅助机器人，实现导航助手和行为分析。 - 人形机器人合规控制：通过弹簧阻尼系统和交互力建模，实现安全、可调力度的运动跟踪。 - 利用大语言模型理解和生成3D人体姿态（ChatPose、ChatHuman），支持人机交互中的意图推理和动作规划。 关于斯坦福大学研究生项目的更多信息，请访问：https://online.stanford.edu/graduate-education 2026年1月23日 复杂户外环境中的自主导航：迈向用于长寿的陪伴机器人 如需跟随研讨会日程，请访问：https://stanfordasl.github.io/robotics_seminar/ Jing Liang，斯坦福机器人中心博士后研究员

本次讲座涵盖以下内容： • 如何完善测试方法以提升自动驾驶车辆的安全性 • 高速自动驾驶赛车如何成为独特的试验场，用以检验人工智能物理能力的边界 • 在高速行驶且与其他车辆近距离竞速时，如何暴露感知、规划与控制中尚未解决的挑战 **视频 AI 总结**：该视频探讨了 AI 在开放系统（如自动驾驶）中面临的挑战，指出尽管 AI 在封闭系统（如象棋）中已超越人类，但在动态、不确定的物理世界中仍难以达到人类水平。演讲者通过其团队在自动驾驶赛车领域的研究，展示了如何利用极限测试、仿真和多智能体协作来推动物理 AI 的发展，并强调了安全性与可重复性的重要性。 **主要内容**： - 自动驾驶作为开放系统，面临不确定性和边缘案例的挑战，与封闭系统（如象棋）不同。 - 提出了衡量自动驾驶安全性的比较方法，通过场景嵌入和相似性搜索来评估不同车辆安全水平。 - 利用仿真自动生成自动驾驶的失败场景（如 CRASH 方法），通过对抗性强化学习提高系统鲁棒性。 - 通过赛车项目（F1/10 到全尺寸 Indy 赛车）验证物理 AI，展示了贝塞尔曲线和概率方法在高速度下的有效性。 - 从仿真到实车的扩展，包括赛道测试、多车竞速和故障处理，最终赢得 Indy Autonomous Challenge 并创造世界纪录。 - 展望未来，目标是从赛车推广到通用驾驶智能，推动 AI 在物理世界中的发展。 如需了解更多关于斯坦福研究生课程的信息，请访问：https://online.stanford.edu/graduate-education 2026年1月30日 Madhur Behl 博士，弗吉尼亚大学计算机科学系副教授，亚马逊学者

𝚿0：迈向通用人形机器人移动操作能力的基础开源模型 本次讲座涵盖： • 应对具有挑战性的人形机器人移动操作任务 • 解耦学习过程以最大化异构数据源的效用 • 大量真实世界实验表明 𝚿0 能够实现 **视频 AI 总结**：该视频介绍了王跃团队开发的C0模型，这是一个面向通用人形机器人局部操作的开源基础模型。核心思路是利用大规模人类自我中心视频进行预训练，再结合少量遥操作数据进行后训练，最终实现人形机器人的全身局部操作。模型在多种日常任务上显著优于现有方法，如GROOT 1.6，且仅使用其10%的训练数据。视频还涵盖了数据收集、模型架构（如MM-DiT head）、实时部署等关键技术创新。 **主要内容**： - 机器人学三大驱动因素：硬件进步（如Unitree G1、灵巧手）、算法发展（VLA模型、世界模型）、数据采集（仿真与遥操作）。 - 现有挑战：人形机器人仍需结合运动与操作，且难以融入智能；当前VLA模型多用于固定基座双臂任务，不直接适用于全身43自由度的人形机器人。 - C0模型采用多阶段训练：第一阶段使用829小时EgoDex自我中心视频预训练VLM，预测离散动作Token；第二阶段冻结VLM，用30小时Humanoid Everyday遥操作数据训练动作专家（使用MM-DiT head的流匹配）。 - 部署优化：实现实时动作分块，通过训练时条件推理消除动作抖动，达到平滑控制。 - 实验结果：C0模型在8项全身局部操作任务上平均成功率比GROOT 1.6高40%，且消融实验证实了自我中心预训练和MM-DiT head的有效性。 - 附加工作HumDex：基于IMU的全身遥操作系统，支持五指灵巧手，并利用人类数据增强策略学习。 2026年2月20日 要了解研讨会日程安排，请访问：https://stanfordasl.github.io/robotics_seminar/ 王跃是南加州大学计算机科学系的助理教授，领导物理超级智能实验室。

执行一项任务需要什么样的触觉信息？机器人技术面临哪些技术挑战？ 在本视频中，Allison Okamura 教授回答了这些问题，并解释了在她的研究生课程《触觉系统的设计与控制》（ME327）中如何应对这些挑战。 **视频 AI 总结**：该视频探讨了机器人学中触觉反馈领域的重大挑战，指出大多数人对良好触觉反馈缺乏理解，不知道执行任务需要何种触觉信息。技术层面，传感器和致动器需要在成本、尺寸和功耗上取得突破，同时供应链问题也构成障碍。课程旨在帮助学员认识触觉组件的理想特性及设备构建方法。 **主要内容**： - 人们对触觉反馈的理解不足，缺乏实际体验 - 传感器和致动器需要更便宜、更小、更低功耗 - 供应链问题是当前面临的技术挑战 - 课程将讨论理想的电机或致动器及其来源 - 讲解如何从不同组件构建触觉设备，以及组件需具备的特性 了解课程详情：https://online.stanford.edu/courses/me327-design-and-control-haptic-systems Allison Okamura 是工程学院机械工程与计算机科学系的 Richard W. Weiland 教授。

**视频 AI 总结**：本讲座聚焦于人工智能系统的可解释性与可解释性，强调在安全关键场景下理解模型行为的重要性。讲师从简单系统（如倒立摆）的可解释性方法入手，逐步深入到视觉模型和大型语言模型（LLM）的机械可解释性。内容涵盖了多种技术，包括 Shapley 值用于特征归因、积分梯度用于像素级解释、Grad-CAM 用于视觉特征定位，以及前沿的稀疏自编码器和电路追踪方法，旨在回答“为什么失败”、“如何修复”以及“如何向利益相关者证明”三大核心问题。 **主要内容**： - 首先介绍了项目三的排行榜结果，并指出可解释性在工程实践中的重要性。 - 通过“聪明的汉斯”等案例，说明了模型可能依赖虚假相关性做出决策，从而引发失败。 - 详细讲解了 Shapley 值在时间序列故障归因中的应用，并指出其计算复杂度高的问题。 - 介绍了策略可视化方法，通过绘制状态空间理解模型决策边界，并发现训练数据覆盖不足导致的故障区域。 - 针对视觉模型，讲解了扰动法、积分梯度、Grad-CAM 等多种归因技术，并讨论了它们的局限性与改进。 - 转向 LLM 的机械可解释性，探讨如何发现模型内部的概念表示（如方向向量）以及如何通过稀疏自编码器提取这些概念。 - 最后展示了 Anthropic 的电路追踪结果，说明可解释性技术如何帮助理解模型推理链并进行干预。 教科书：https://algorithmsbook.com/validation/ Romeo Valentin，斯坦福大学 助教

本讲座涵盖： • 对Moravec主张的数学证据 • 现代机器人学习的关键创新 **视频 AI 总结**：该视频深入探讨了机器人模仿学习（尤其是连续控制领域）面临的独特挑战，即莫拉维克悖论（Moravec's paradox）在算法层面的体现——在物理世界中学习演示任务比符号推理任务更难。演讲者指出，尽管数据规模扩大是关键，但两个算法突破（动作分块和生成控制策略）从根本上缓解了复合误差问题，从而推动了2023年模仿学习能力的拐点。通过控制理论视角，演讲者解释了为什么连续控制中的错误会指数级累积，以及如何通过重新参数化闭环动力学来克服这一困难。 **主要内容**： - 引入莫拉维克悖论，指出物理世界模仿学习在算法上比符号推理更困难，原因在于连续控制中的复合误差问题。 - 展示行为克隆（Behavior Cloning）的基本框架及其局限性，尤其是在平滑、确定性的动力学系统中，即使专家系统稳定，学习策略仍可能导致闭环不稳定和指数级误差累积。 - 介绍第一个关键干预：动作分块（Action Chunking），即预测长序列动作而非单步动作，通过利用开环稳定性避免复合误差，并证明其能消除与回合长度相关的误差。 - 介绍第二个干预：生成控制策略（Generative Control Policy），特别是流匹配（Flow Matching），发现其核心优势并非处理多模态分布，而是通过迭代计算和随机性注入来纠正误差，并将动作映射回流形，从而降低离流形误差。 - 提出最小迭代策略（MIP），作为简化版本，保留了随机性和迭代计算，性能与流模型相当，但在高精度任务上表现更好，且适用于VLA模型微调。 - 总结控制理论视角对机器人学习的启示，并展望未来挑战，包括少样本学习、物理智能等，同时指出这些见解可能扩展到自回归语言模型等其他领域。 关于斯坦福大学研究生课程的更多信息，请访问：https://online.stanford.edu/graduate-education 2026年2月27日 Max Simchowitz是卡内基梅隆大学机器学习系的助理教授。

本研讨会涵盖以下内容： • 如何将人机迁移理解为两个耦合问题：从人类经验中提取关于物理智能的先验知识，并将这些先验知识扎根于机器人的具身化 • 近期研究结果表明，大规模人类预训练中出现了涌现式的人机迁移，同时有证据表明跨不同机器人具身化的学习可以进一步改善迁移 • EgoVerse——一个基于具身人类数据进行机器人学习的生态系统 **视频 AI 总结**：该视频讨论了机器人学习如何通过大规模人类数据实现突破，核心观点包括：机器人能力可随人类数据扩展、人类数据将变得充足、科学和数据的同步扩展是关键。演讲者介绍了实验室工作，如EgoMimic（利用第一人称视频进行模仿学习）、EgoBridge（对齐人类与机器人潜在空间实现零样本迁移）、EgoScale（大规模验证人类数据缩放效应）以及EgoVerse（构建社区数据集）。研究表明，人类数据结合对齐训练可显著提升机器人性能，且规模更大的数据驱动带来涌现能力。 **主要内容**： - 机器人学习进展依赖于遥操作和人类数据，但遥操作存在瓶颈（线性扩展、数据保真度损失）。 - EgoMimic 通过第一人称视角捕获人类自然行为，并将其转化为机器人可用的训练数据。 - EgoBridge 通过最优传输对齐人类和机器人潜空间，实现零样本任务迁移。 - EgoScale 验证了20K小时人类数据的缩放效应：数据量增大会降低动作预测误差，提升下游任务性能。 - EgoVerse 是社区驱动的数据集项目，包含标注丰富的人类行为数据，支持跨机构研究人类到机器人的迁移。 - 未来方向包括更全面的感知（力/触觉）、决策上下文建模（空间记忆）以及合成数据补充。 2026年4月10日 Danfei Xu 是佐治亚理工学院交互计算学院的助理教授，同时也是 NVIDIA AI 的研究员。 关于斯坦福研究生项目的更多信息，请访问：https://online.stanford.edu/graduate-education

本次讲座涵盖： • 额外的腿部（具有更高的控制维度）可以启用更广泛的能力范围 • 引入CI（反馈控制）可以在保持鲁棒性特征的同时提升多足运动的速度 • CI可能减少穿越特定地形所需的多余腿部数量 **视频 AI 总结**：该演讲介绍了介尺度机器人的形态智能（Morphological Intelligence）在运动控制中的理论与应用。演讲者通过信息论和生物学启发，探讨了如何利用冗余形态（如多足）和计算智能来生成可靠、高效的 locomotion，尤其是在噪声主导的复杂地形中。核心观点是：通过增加腿的数量和协调身体与腿的运动，可以在不依赖反馈的情况下实现可预测的运动，并进一步通过形态与计算的协同设计优化性能。 **主要内容**： - 介尺度机器人（约1千克）的定义及其在搜救、精准农业等场景中的重要性。 - 形态智能：利用冗余形态（如多足）被动应对环境扰动，实现无需反馈的可靠运动。 - 步进运动与数字信号传输的类比：通过离散化步进和冗余编码，减少噪声影响。 - 生物学启发：从蜈蚣等动物中学习身体与腿的协调，实现“陆地游泳”以提高速度。 - 形态与计算的协同：通过传感器估计地形复杂度，调整步态模式，实现速度和鲁棒性的平衡。 - 超越生物学：探索不对称形态和独立腿控制，通过图优化发现非对称步态可显著提升速度。 - 未来方向：将形态智能与计算智能结合，按需生成高效介尺度机器人。 2026年4月3日 Baxi Chong 是宾夕法尼亚州立大学机械工程系的助理教授。