注意力机制

从零学大语言模型 L4：注意力机制的替代方案 | 斯坦福CS336 2026春季

**视频 AI 总结**：本讲座深入探讨了 Transformer 架构中的两种高级改进：线性时间注意力机制和混合专家模型（MoE）。线性注意力通过利用乘法结合律将传统二次复杂度降低为线性，并介绍了 Mamba-2、门控 Delta 网络等实现，这些方法在长上下文场景下表现出色。MoE 则通过稀疏激活实现参数扩展而不显著增加计算成本，详细讨论了 TopK 路由、负载均衡损失、共享专家等关键设计，以及训练稳定性与并行化挑战。讲座还以 DeepSeek 系列模型为例展示了这些技术的实际应用。 **主要内容**： - 线性注意力利用乘法结合律将 QK 乘法顺序重排，使复杂度从 O(n²) 降至 O(nd)，并可与 RNN 形式等价。 - Mamba-2 在线性注意力基础上引入门控机制（gamma）控制状态传递，实现了训练并行与推理高效的兼顾。 - 门控 Delta 网络增加第二个门控（beta）和投影更新，类似 LSTM 的门控思想，被 Qwen3.5 等模型采用。 - MoE 通过稀疏激活提升参数效率：每个 token 仅激活少数专家（TopK），保留大量参数但不增加计算量。 - 路由设计常用 Token 选择专家的 TopK 方式，并配合负载均衡损失（如 Switch Transformer 的辅助损失）防止专家坍缩。 - 训练技巧包括不使用随机探索，直接反向传播并加入专家平衡和设备平衡损失，以及 z-loss 稳定 softmax。 课件与代码：https://cs336.stanford.edu/

75 0 0 2026-06-30 08:51

从零学大语言模型 L10：推理 | 斯坦福CS336 2026春季

**视频 AI 总结**：本讲座深入探讨了大语言模型推理的优化问题。推理与训练不同，由于自回归生成的顺序性，推理过程高度依赖内存带宽，尤其是注意力层的 KV 缓存成为主要瓶颈。讲座首先分析了推理的计算强度，指出预填充阶段计算受限，生成阶段内存受限。随后介绍了多种提升推理效率的技术，包括通过分组查询注意力（GQA）、多潜在注意力（MLA）、滑动窗口等减少 KV 缓存大小，以及量化、模型剪枝、推测解码等方法。最后讨论了动态工作负载下的连续批处理和分页注意力等系统级优化。这些技术共同致力于在不大幅降低模型准确性的前提下，提升推理的吞吐量和降低延迟。 **主要内容**： - 推理的重要性和性能指标（时间至首词、延迟、吞吐量） - 推理与训练的根本区别：自回归生成导致序列维度无法并行化 - 计算强度分析：MLP 层和注意力层在预填充与生成阶段的差异，生成阶段注意力层成为内存瓶颈 - 减少 KV 缓存的方法：分组查询注意力（GQA）、多潜在注意力（MLA）、跨层注意力、滑动窗口注意力等 - 模型量化与剪枝：PTQ、GPTQ、AWQ 以及基于重要性的结构化剪枝 - 推测解码：利用小型草稿模型快速生成多个候选，再由目标模型并行验证，实现无损加速 - 动态批处理与分页注意力：连续批处理应对实时请求，分页注意力解决 KV 缓存的内存碎片问题 课件与代码：https://cs336.stanford.edu/

95 0 0 2026-06-30 08:15