下一个token预测

本文详细介绍了现代基于Transformer的大型语言模型（LLM）的核心机制，包括标记化、嵌入、位置编码（RoPE）、注意力机制、多头注意力、前馈网络、残差流、层归一化和下一个token预测。文章通过清晰的步骤和通俗易懂的“小解释”概念，帮助读者理解LLM如何从文本生成整数序列，并通过注意力让token间共享信息。同时解释了架构与训练权重的区别，以及不同模型（如LLaMA、Mistral）的常见选择（如GQA、SwiGLU、MoE）。适合对LLM工作原理感兴趣的读者入门或复习。