大语言模型核心数学概念

大型语言模型有时像魔法一样神奇。但在表象之下，每个 LLM 都建立在一小套数学概念之上——Attention、Scaling、Gradients、Loss、Position Encoding 和 Normalization。一旦我们理解了每个概念背后的数学原理，魔法便会变成清晰、简单的步骤。

我们将通过以下系列博客进行讲解：

• Attention 背后的数学——Q, K, V
• Attention 中 √dₖ 缩放因子的数学
• 反向传播背后的数学
• 梯度下降背后的数学
• 交叉熵损失背后的数学
• RoPE（旋转位置编码）背后的数学
• RMSNorm（均方根层归一化）

让我们开始吧。

1. Attention 背后的数学——Q, K, V

在这篇博客中，我们将通过一个逐步的数值示例来学习 Attention 背后的数学：Query (Q)、Key (K) 和 Value (V)。

思路很简单：我们将每个词汇在寻找什么（Query）与所有其他词汇提供什么（Key）进行比较，然后利用这些比较从最相关的词汇中收集实际信息（Value）。

每个大型语言模型的核心都使用了这一精确计算。

阅读完整博客：Math behind Attention - Q, K, and V

2. Attention 中 √dₖ 缩放因子的数学

在这篇博客中，我们将通过一个逐步数值示例来学习为什么在 Transformer 架构中要用 √dₖ 来缩放点积注意力。

我们今天关注的焦点是 / sqrt(d_k)。这个就是缩放因子。在将点积分值传入 softmax 之前，我们先除以 Key 维度的平方根。

这一行看似简单的 / sqrt(d_k)，如果没有它，Transformer 架构将难以有效学习，尤其是在维度较大时。

阅读完整博客：Math behind √dₖ Scaling Factor in Attention

3. 反向传播背后的数学

在这篇博客中，我们将学习神经网络中反向传播背后的数学。

反向传播是让神经网络能够从错误中学习的核心算法。没有它，就无法高效地训练神经网络。

反向传播是一种用于计算神经网络中每个权重对误差贡献程度的方法，这样我们就可以调整这些权重来减少误差。

阅读完整博客：Math Behind Backpropagation

4. 梯度下降背后的数学

在这篇博客中，我们将通过一个逐步数值示例来学习梯度下降背后的数学。

梯度下降是训练机器学习和深度学习模型最基础的优化算法。

简单来说：

梯度下降 = 一种沿着误差曲线一步一步向下滑动，直到到达最低点的简单方法。

阅读完整博客：Math Behind Gradient Descent

5. 交叉熵损失背后的数学

在这篇博客中，我们将通过一个逐步数值示例来学习交叉熵损失背后的数学。

它是分类任务中使用最广泛的损失函数，支撑着几乎所有现代 AI 模型的训练，包括 GPT、BERT 和图像分类器。

简单来说：

交叉熵损失 = 一个告诉我们预测概率有多错误的数值。

阅读完整博客：Math Behind Cross-Entropy Loss

6. RoPE（旋转位置编码）背后的数学

在这篇博客中，我们将学习旋转位置编码（RoPE）背后的数学原理，以及它为何被用于现代大型语言模型中。

RoPE 不添加位置向量，而是根据位置旋转 Query 和 Key 向量。旋转之后，任意两个 token 之间的点积会自动反映它们之间的相对距离。

这就是 RoPE 为现代大型语言模型提供的一种清晰、可扩展、优雅的位置理解方式。

阅读完整博客：Math Behind RoPE (Rotary Position Embedding)

7. RMSNorm（均方根层归一化）

在这篇博客中，我们将学习 RMSNorm，它是 Layer Normalization 的一种更快、更简单的替代方案，为大多数现代大型语言模型（如 Llama、Mistral、Gemma、Qwen、PaLM 和 DeepSeek）提供动力。

RMSNorm 不居中也不缩放数值（不像 LayerNorm），它只是使用它们的均方根值进行缩放。相同的稳定效果，更少的工作量。

简单来说：

RMSNorm = 一种更简单、更快速的神经网络内部数值归一化方法。

阅读完整博客：RMSNorm (Root Mean Square Layer Normalization)

就到这里。

谢谢

• 原文链接： x.com/amitiitbhu/status/...
• 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～