本讲座涵盖： • 开发长时域机器人自主性的要素，即赋予机器人策略记忆能力，并训练既广泛适用又高性能的通用行为 • 通过两项工作（π0.6-MEM 和 π0.7）在该方向上的最新进展 • 在实现长时域物理自主性的道路上仍缺失的环节 **视频 AI 总结**：该视频介绍了 Physical Intelligence 公司在机器人长期任务能力上的最新进展。核心在于解决机器人执行长周期任务时需要的记忆与泛化能力问题。作者 Carl 首先展示了机器人当前在短程精细操作任务上的成功，但指出缺少长期记忆导致无法完成实际场景中的复杂任务。为此，他们提出了多尺度具身记忆（Mem）系统，结合短时视觉记忆与长时语言记忆，使机器人能够追踪进度、适应失败并持续完成任务。此外，还介绍了最新发布的 π0.7 模型，通过丰富的条件控制（如子目标、元数据）让单一策略同时实现高泛化性与高性能，并展示了零样本跨机器人技能迁移和人类语言指导下的任务学习。 **主要内容**： - 机器人当前能完成精细短任务，但缺乏记忆和泛化能力，无法处理长期、开放世界的任务。 - 提出多尺度记忆架构：短时使用压缩视觉记忆（约15帧），长时使用语言压缩记忆，避免计算延迟和分布偏移。 - 记忆使机器人能避免重复失败、适应环境变化（如从抽屉错误侧切换到正确侧）。 - π0.7 模型通过条件控制（子目标、质量标签等）训练单一策略，同时具备高泛化性和高性能，无需单独微调。 - 实验表明，条件训练能有效利用低质量数据，并实现跨机器人技能迁移（如UR5折叠衬衫）。 - 通过语言指导（教练模式）可让机器人学习新任务（如使用空气炸锅），无需遥操作。 2026年4月17日 Karl Pertsch 是 Physical Intelligence 的技术人员，从事机器人基础模型的训练工作。

**视频 AI 总结**：该演讲探讨了自主手术机器人的发展，指出当前手术机器人（如达芬奇系统）仍依赖远程操作，无法解决外科医生短缺问题。演讲者介绍其实验室在UC San Diego的工作，通过构建感知、建模、规划和控制的四大支柱，逐步实现手术自主性。重点包括基于位置动力学的数字孪生、强化学习结合知识模块的终身学习、以及人形机器人在医疗场景中的应用（如远程手术、伤口护理）。最后讨论了数据稀缺、触觉传感等挑战，并强调了物理模型与AI结合的重要性。 **主要内容**： - 手术机器人现状：远程操作缺乏自主性，无法缓解医疗人力短缺。 - 自主机器人四大支柱：感知（视觉、触觉）、建模（数字孪生、物理模拟）、规划（贝叶斯推理、模型预测控制）、控制（精确执行）。 - 关键技术：基于位置动力学的实时仿真、可微渲染校正模型、自主切割与组织剥离。 - 终身学习：用知识模块的稀疏神经网络组合行为，实现任务序列的自主学习。 - 人形机器人应用：在真实医院场景中测试远程操作与自主工具使用（如机器人手操作钳子、剪刀）。 - 触觉反馈：自主开发方向性触觉手套，提升远程操作与数据收集效果。 - 慢性伤口管理：自主机器人执行换药、撕绷带等任务，减少患者痛苦。 - 未来方向：强调物理模型与数学方法的重要性，同时集成基础模型提升感知与泛化能力。

**视频 AI 总结**：该演讲由UC Berkeley ICON Lab的教授主讲，聚焦于如何让机器人在多智能体环境中实现安全、智能的交互。核心挑战在于机器人需要具备联合预测与规划能力，即考虑其他智能体（包括人类）对其决策的反应。演讲介绍了利用博弈论中的纳什均衡和势博弈简化多智能体规划问题，并通过逆强化学习从人类交互中学习奖励函数。此外，还探讨了扩散模型实现多模态协调、大语言模型作为教练指导多智能体强化学习，以及利用分布式优化解决持续学习与安全约束等问题。 **主要内容**： - **多智能体规划**：将多机器人协同问题转化为势博弈，通过求解单一最优控制问题快速得到纳什均衡，计算速度提升显著。 - **学习交互模式**：通过逆强化学习从人类交互数据中推断成本函数，并利用熵成本均衡建模人类非理性行为。 - **多模态协调**：使用扩散策略学习多种协调模式，实现机器人间无显式通信的分布式协作。 - **LLM作为教练**：让大语言模型（如GPT-4）分解任务、生成奖励、提供反馈和信用分配，显著提升多智能体强化学习效果。 - **感知与安全**：利用分布式优化（如ADMM）进行多机器人协同场景映射，并在训练中直接施加动力学约束保证安全性。

**视频 AI 总结**：该演讲探讨了如何通过神经符号概念实现机器人高效学习和规划，目标是从极少量演示（1-10个）中学会新技能，并可靠地泛化到未见过的物体、状态和目标。核心思想是将学习与规划结合，利用符号化的状态和动作抽象（神经符号概念）构建世界模型，再通过约束优化、扩散模型等技术进行推理和规划。演讲展示了在抓取、摆放、长任务规划等多个场景下的应用，并指出这种框架在基础模型时代依然重要，能提供可解释性和系统集成优势。 **主要内容**： - 提出将物理智能视为世界模型与规划的组合，通过组合抽象（神经符号概念）来解决问题。 - 展示了单示例技能学习：利用视觉特征引导的约束优化实现物体悬挂等任务，无需大量数据。 - 扩展到空间推理：使用扩散模型组合空间关系约束，完成桌面布置等任务，并借助大语言模型获取常识。 - 长时程任务规划：通过视频语言模型分割演示、学习动作模型（轨迹生成+状态预测），再结合搜索进行规划，如书架上书、悬挂多个杯子。 - 强调神经符号系统在基础模型时代的价值：提供可解释性、系统集成框架（如Retriever）、以及自我改进的持续学习潜力。

**视频 AI 总结**：该视频由 Rob Platt 主讲，探讨了机器人学过去三十年的发展，从基于手工编码几何模型的传统方法过渡到现代通用模型（如 VLA），并指出两者之间的权衡。核心问题是：能否在机器学习模型中融入几何、物理等结构，从而在保留数据驱动优势的同时提高数据效率和泛化能力？Platt 介绍了其团队近期的四项研究，分别使用点云、球面嵌入、3D 射线以及立体图像等几何表示，通过等变神经网络层、几何变换注意力等技术，在 MimicGen 基准上实现了 2 到 10 倍的数据效率提升，并展现出良好的姿态泛化能力，最终目标是使缩放曲线左移，让数据更有价值。 **主要内容**： - 回顾机器人学三个十年的演变：从手工编码几何模型（如 YODO）到现代通用 VLA（如 X-VLA），并指出两者的优缺点。 - 提出核心问题：是否存在介于纯几何模型和纯数据驱动模型之间的方法，以及如何有效利用几何结构。 - 介绍四项具体方法： - Equivariant Diffusion Policy：使用点云和等变神经网络层，在 100 个演示下达到基线模型 1000 个演示的效果。 - Image to Sphere：将 RGB 图像投影到球面，通过球谐函数进行Rollup，实现姿态泛化，数据效率提高 2 倍。 - Raven：将图像表示为 3D 射线，通过几何变换注意力处理多视图和多模态数据，性能接近基线但更灵活。 - Pix2Act：使用立体图像，在图像平面推断关键点轨迹并三角化到 3D 世界，无需预训练即可优于 LBM 等基线。 - 强调等变性带来的偏置（如平移和旋转不变性）能有效降低数据需求，并展望通过几何结构使缩放曲线左移。 如需了解更多关于斯坦福大学研究生项目的信息，请访问：https://online.stanford.edu/graduate-education 讲座时间：2026年5月22日 讲师：罗伯特·普拉特（Robert Platt）是东北大学库里计算机科学学院的副教授。

**视频 AI 总结**：本视频深入讲解了现代大规模语言模型训练中的并行化策略，包括数据并行、模型并行（张量并行、流水线并行、专家并行）以及 ZeRO 优化（FSDP）。核心目标是解决计算和内存瓶颈，通过多 GPU 和多节点协作实现高效训练。视频强调了不同并行策略的通信代价、适用场景以及如何组合它们（3D/4D 并行）以最大化硬件利用率，并列举了 Llama3、DeepSeek 等实际模型的并行配置案例。 **主要内容**： - 并行化的两大驱动因素：计算能力不足和内存限制。 - 数据并行：简单但无法节省内存，ZeRO 系列（Stage 1-3/FSDP）通过分片优化器状态、梯度甚至参数来大幅降低内存占用，且通信开销可被隐藏。 - 模型并行：包括流水线并行（沿深度切分，通信量小但存在气泡）、张量并行（沿宽度切分，通信密集但适合高速互连）、专家并行（用于 MoE 模型，减少通信延迟）。 - 上下文并行（环注意力）处理超长序列。 - 实际训练中的并行组合策略：先使用数据并行最大化，再根据模型大小和硬件拓扑加入张量/专家并行（通常 ≤8），最后用流水线并行跨节点，并利用梯度累积解决小批量问题。 - 案例：Llama3 405B 使用 8 张量并行、16 流水线并行、128 数据并行；DeepSeek V3 采用 64 路专家并行结合流水线并行。 课件与代码：https://cs336.stanford.edu/

**视频 AI 总结**：该讲座深入讲解了如何利用多个 GPU 加速深度学习模型训练，重点介绍了分布式通信原语、硬件连接方式以及三种主要的并行策略（数据并行、张量并行、流水线并行）。内容从单 GPU 优化扩展到多 GPU 场景，强调编排计算以避免数据传输瓶颈，并展示了在 PyTorch 中实现这些技术的具体代码。 **主要内容**： - 分布式编程基础：集体操作（Broadcast、Scatter、Gather、Reduce、AllReduce、AllGather、ReduceScatter、All-to-All）的定义与用途。 - 硬件拓扑：GPU 通过 NVLink/NVSwitch（节点内）和 InfiniBand（节点间）连接，以及 RDMA 技术的重要性。 - PyTorch 实现：使用 `torch.distributed` 库调用集体操作，并通过 NCCL 后端进行高性能通信。 - 数据并行（DDP）：按数据切分，各 GPU 独立前向/反向传播后 AllReduce 梯度，实现参数同步。 - 张量并行：按层或矩阵维度切分，正向时 AllGather 激活，反向时 ReduceScatter 梯度。 - 流水线并行：按层切分网络，通过微批次（micro-batches）和重叠通信计算减少气泡。 课件与代码：https://cs336.stanford.edu/

**视频 AI 总结**：该视频深入讲解了 GPU 编程的核心概念与实战技巧，重点介绍了如何使用 Triton 语言编写高效内核，并通过基准测试和性能分析优化代码。视频从 GPU 的硬件架构（SM、共享内存、HBM）出发，解释了线程、线程块、网格的编程模型，然后通过 GeLU、Softmax、矩阵乘法等实例，演示了从元素级操作到复杂 tile 算法的实现过程，强调了理解硬件特性（如 warp、bank conflict、内存合并）对性能的关键影响。 **主要内容**： - GPU 硬件层级：SM、寄存器、L1/共享内存、L2 缓存、HBM，以及带宽与延迟的权衡。 - 编程模型：线程、线程块（CTA）、网格，以及 warp 的概念和分支发散问题。 - 性能影响因素：occupancy、bank conflict、内存合并、块占用率等。 - 基准测试与性能分析：使用 CUDA events 测量时间，用 profiler 观察内核调用。 - Triton 内核编写：以 GeLU、Softmax、行求和、矩阵乘法为例，展示从简单到复杂的实现。 - 代码优化策略：tiling、kernel fusion（如 matmul + ReLU）、减少 HBM 访问次数。 课件与代码：https://cs336.stanford.edu/

**视频 AI 总结**：该讲座是斯坦福 CS 229 关于 GPU 系统与并行化的课程，重点讲解了 GPU 的硬件架构、编程模型以及加速深度学习计算的关键优化技巧。核心内容围绕如何通过理解 GPU 的内存层次结构、利用并行性以及各种系统级技巧（如低精度计算、算子融合、重计算、内存合并和分块）来提升计算效率。最后以 FlashAttention 为例，展示了如何综合运用这些技巧实现高效的注意力机制计算。 **主要内容**： - GPU 硬件基础：流式多处理器 (SM)、线程块、束 (warp) 和内存层次（全局内存、共享内存、寄存器）的概念与特点。 - GPU 与 CPU 的对比：CPU 追求低延迟，GPU 追求高吞吐量，通过大量轻量级核心实现并行。 - 芯片演化与摩尔定律失效：从提高单核频率转向并行扩展，GPU 通过增加 SM 数量提升算力。 - 低精度计算：FP32→BF16→INT8→FP8 等格式大幅降低内存流量，但需处理量化精度问题，如 MXFP8 和 MXFP4 的分块缩放因子。 - 算子融合：将多个连续操作合并为一个 GPU 内核，减少全局内存读写次数。 - 重计算：在反向传播中丢弃中间激活，需要时重新计算，以内存换算力。 - 内存合并：利用 DRAM 突发传输特性，使线程访问连续对齐的地址，提高内存带宽利用率。 - 分块：将大矩阵切分为子块加载到共享内存中，减少全局内存访问次数，是矩阵乘法和 FlashAttention 的核心。 - 软注意力 FlashAttention：通过在线 softmax 和分块迭代实现内存高效的注意力计算，结合重计算避免存储完整注意力矩阵。 课件与代码：https://cs336.stanford.edu/

**视频 AI 总结**：本讲座深入探讨了 Transformer 架构中的两种高级改进：线性时间注意力机制和混合专家模型（MoE）。线性注意力通过利用乘法结合律将传统二次复杂度降低为线性，并介绍了 Mamba-2、门控 Delta 网络等实现，这些方法在长上下文场景下表现出色。MoE 则通过稀疏激活实现参数扩展而不显著增加计算成本，详细讨论了 TopK 路由、负载均衡损失、共享专家等关键设计，以及训练稳定性与并行化挑战。讲座还以 DeepSeek 系列模型为例展示了这些技术的实际应用。 **主要内容**： - 线性注意力利用乘法结合律将 QK 乘法顺序重排，使复杂度从 O(n²) 降至 O(nd)，并可与 RNN 形式等价。 - Mamba-2 在线性注意力基础上引入门控机制（gamma）控制状态传递，实现了训练并行与推理高效的兼顾。 - 门控 Delta 网络增加第二个门控（beta）和投影更新，类似 LSTM 的门控思想，被 Qwen3.5 等模型采用。 - MoE 通过稀疏激活提升参数效率：每个 token 仅激活少数专家（TopK），保留大量参数但不增加计算量。 - 路由设计常用 Token 选择专家的 TopK 方式，并配合负载均衡损失（如 Switch Transformer 的辅助损失）防止专家坍缩。 - 训练技巧包括不使用随机探索，直接反向传播并加入专家平衡和设备平衡损失，以及 z-loss 稳定 softmax。 课件与代码：https://cs336.stanford.edu/