多头注意力

本文详细解析了 Transformer 架构的核心组件及其工作原理，涵盖了从分词嵌入、位置编码到多头注意力机制、前馈网络及残差连接的完整流程。文章还对比了编码器与解码器的功能差异，并探讨了该架构为何能成为现代大语言模型基石的原因。

本文深入剖析了现代密集Transformer（以Rnj-1.5模型为例）的前向传播过程，涵盖从分词、嵌入、RMSNorm、GeGLU MLP到多头注意力（MHA）的每个子层，重点讲解了YaRN位置编码和混合注意力机制（全局+块局部）。文章还推导了KV缓存大小、模型参数量、每个token的计算量（FLOPs）等重要公式，并展示了如何利用这些公式进行集群规模规划。内容详实，配有大量图表和代码，适合有一定基础的读者深入了解Transformer内部原理。