深度学习训练

从零学大语言模型 L2: PyTorch (einops) | 斯坦福 CS336 2026 春季

**视频 AI 总结**：该视频深入讲解了深度学习训练中的资源核算与效率优化，重点介绍了如何通过理解计算和内存特性来最大化训练效率。内容包括张量存储与操作、FLOPs计算方法、硬件性能指标（如H100 GPU）、算术强度与roofline分析，以及训练过程中的内存管理技术，如梯度累积和激活检查点。视频强调，大多数操作受内存带宽限制，而矩阵乘法是计算密集型的核心，并给出了训练Transformer模型时常用的6×参数×token FLOPs公式。 **主要内容**： - 张量存储与数据类型：介绍float32、float16、bfloat16、fp8等精度，以及混合精度训练。 - 资源核算：计算张量操作的FLOPs，包括矩阵乘法、点积、元素运算等。 - 算术强度与roofline：说明如何通过算术强度判断运算是否受内存或计算限制，并展示矩阵乘法的高算术强度优势。 - 训练内存分析：分解参数、梯度、激活和优化器状态的内存占用，并给出6×参数×token的FLOPs公式来源。 - 内存优化技术：梯度累积（减少激活内存）和激活检查点（通过重计算降低内存，权衡计算开销）。 课件与代码：https://cs336.stanford.edu/