层归一化

从零学大语言模型 L3：架构 | 斯坦福CS336 2026春季

**视频 AI 总结**：该视频系统性地介绍了现代 Transformer 架构的设计选择与超参数调优，涵盖层归一化位置（pre-norm vs post-norm）、激活函数（SwiGLU 等）、位置编码（RoPE）、注意力机制优化（GQA、滑动窗口）以及训练稳定性技巧（Z-loss、QK 归一化、logit soft-capping）。通过分析大量最新模型（如 Llama、Gemma、Qwen），总结了业界共识的最佳实践与趋势。 **主要内容**： - 层归一化应放在残差流之外（pre-norm），使用 RMSNorm 提升效率 - 门控线性单元（如 SwiGLU）比传统 ReLU/GeLU 更优，需按 2/3 比例调整 FFN 维度 - 位置编码主流采用 RoPE，通过旋转实现相对位置编码 - 超参数经验法则：FFN 维度为隐藏维度的 4 倍（或 GLU 时为 2.67），头维度与模型维度比约为 1，深宽比约 100 - 稳定性技巧包括 Z-loss 正则化输出 softmax、QK 归一化控制注意力输入、logit soft-capping 限制 logits - 注意力优化采用分组查询注意力（GQA）降低推理成本，滑动窗口注意力与全局注意力交替实现长上下文 课件与代码：https://cs336.stanford.edu/