RMSNorm

本文深入剖析了现代密集Transformer（以Rnj-1.5模型为例）的前向传播过程，涵盖从分词、嵌入、RMSNorm、GeGLU MLP到多头注意力（MHA）的每个子层，重点讲解了YaRN位置编码和混合注意力机制（全局+块局部）。文章还推导了KV缓存大小、模型参数量、每个token的计算量（FLOPs）等重要公式，并展示了如何利用这些公式进行集群规模规划。内容详实，配有大量图表和代码，适合有一定基础的读者深入了解Transformer内部原理。