Transformer架构深度解析 本文详细解析了 Transformer 架构的核心组件及其工作原理，涵盖了从分词嵌入、位置编码到多头注意力机制、前馈网络及残差连接的完整流程。文章还对比了编码器与解码器的功能差异，并探讨了该架构为何能成为现代大语言模型基石的原因。 Transformer 注意力机制 编码器 解码器 位置编码 多头注意力 amitiitbhu 发布于 2026-04-08 426 0 0
大型语言模型（LLM）究竟如何工作 本文详细介绍了现代基于Transformer的大型语言模型（LLM）的核心机制，包括标记化、嵌入、位置编码（RoPE）、注意力机制、多头注意力、前馈网络、残差流、层归一化和下一个token预测。文章通过清晰的步骤和通俗易懂的“小解释”概念，帮助读者理解LLM如何从文本生成整数序列，并通过注意力让token间共享信息。同时解释了架构与训练权重的区别，以及不同模型（如LLaMA、Mistral）的常见选择（如GQA、SwiGLU、MoE）。适合对LLM工作原理感兴趣的读者入门或复习。 Transformer LLM 注意力机制 位置编码 残差流 下一个token预测 0xkato 发布于 2026-06-02 96 0 0
Transformer内部探秘：一个Token的生命周期 - Aleksa Gordić 本文深入剖析了现代密集Transformer（以Rnj-1.5模型为例）的前向传播过程，涵盖从分词、嵌入、RMSNorm、GeGLU MLP到多头注意力（MHA）的每个子层，重点讲解了YaRN位置编码和混合注意力机制（全局+块局部）。文章还推导了KV缓存大小、模型参数量、每个token的计算量（FLOPs）等重要公式，并展示了如何利用这些公式进行集群规模规划。内容详实，配有大量图表和代码，适合有一定基础的读者深入了解Transformer内部原理。 Transformer 多头注意力 RMSNorm Yarn 位置编码 KV缓存 aleksagordic 发布于 2026-06-03 69 0 0
