Transformer内部探秘：一个Token的生命周期 - Aleksa Gordić 本文深入剖析了现代密集Transformer（以Rnj-1.5模型为例）的前向传播过程，涵盖从分词、嵌入、RMSNorm、GeGLU MLP到多头注意力（MHA）的每个子层，重点讲解了YaRN位置编码和混合注意力机制（全局+块局部）。文章还推导了KV缓存大小、模型参数量、每个token的计算量（FLOPs）等重要公式，并展示了如何利用这些公式进行集群规模规划。内容详实，配有大量图表和代码，适合有一定基础的读者深入了解Transformer内部原理。 Transformer 多头注意力 RMSNorm Yarn 位置编码 KV缓存 aleksagordic 发布于 2026-06-03 69 0 0
作为一个 Rust 热爱者，我为什么越来越喜欢 Bun？ 前两天，我做了一件很“冲动”的事：把机器上的pnpm、yarn一类工具都删了，只留下了bun。这不是情绪化决定，而是过去一段时间真实使用之后的结果。但先把立场说清楚：我依然是个Rust热爱者。我喜欢Rust，不只是因为它快，而是因为它在工程上给人一种很强的信心：边界清楚、抽象克 Rust Zig Bun pnpm Yarn npm King 发布于 2026-04-01 554 2 0
