反向传播

本文是一本系统的大语言模型技术手册，涵盖从神经网络基础（MLP、激活函数、梯度、反向传播）到现代Transformer架构（注意力机制、RMSNorm、SwiGLU、RoPE）、训练优化（缩放定律、学习率调度）、推理优化（KV缓存、投机解码、Flash Attention）、后训练（RLHF、PPO、DPO、GRPO）以及并行计算（数据/模型/流水线/张量并行）等核心知识，包含大量数学公式推导和代码实现。

本文是一系列博客的索引，涵盖了大语言模型核心数学概念：注意力机制中的QKV、缩放因子√dₖ、反向传播、梯度下降、交叉熵损失、旋转位置编码RoPE和RMSNorm。每节简要介绍原理并附有详细文章链接，适合希望从数学角度理解Transformer的读者快速概览。