KV缓存

这篇文章介绍了Google Research开发的TurboQuant、QJL和PolarQuant等先进量化算法，旨在通过对大型语言模型和向量搜索引擎进行极端压缩来提高AI效率。这些算法能够显著减少内存占用和加速运行，同时保持模型性能，解决了关键值缓存瓶颈和向量搜索的效率问题。

文章通过本地运行 Gemma 4 的对比实验，深入探讨了大模型 KV 缓存的工作原理及 Transformer 注意力机制的底层逻辑。同时，通过逆向分析 Claude Code 源码，揭示了其精密的缓存工程实现，并为开发者提供了大幅节省 Token 消耗和优化响应速度的实用技巧。

本文深入剖析了现代密集Transformer（以Rnj-1.5模型为例）的前向传播过程，涵盖从分词、嵌入、RMSNorm、GeGLU MLP到多头注意力（MHA）的每个子层，重点讲解了YaRN位置编码和混合注意力机制（全局+块局部）。文章还推导了KV缓存大小、模型参数量、每个token的计算量（FLOPs）等重要公式，并展示了如何利用这些公式进行集群规模规划。内容详实，配有大量图表和代码，适合有一定基础的读者深入了解Transformer内部原理。

本文是一本系统的大语言模型技术手册，涵盖从神经网络基础（MLP、激活函数、梯度、反向传播）到现代Transformer架构（注意力机制、RMSNorm、SwiGLU、RoPE）、训练优化（缩放定律、学习率调度）、推理优化（KV缓存、投机解码、Flash Attention）、后训练（RLHF、PPO、DPO、GRPO）以及并行计算（数据/模型/流水线/张量并行）等核心知识，包含大量数学公式推导和代码实现。

vLLM是一个高吞吐率的LLM服务引擎，通过PagedAttention技术将KV缓存分成固定大小的块，按需分配内存，避免过度预留和碎片化，并支持请求间共享相同前缀的缓存。同时采用连续批处理，在每一步动态替换已完成请求，保持GPU始终忙碌。vLLM提供与OpenAI兼容的API，易于集成，能显著提升GPU利用率和吞吐量，降低服务成本。文章详细解释了LLM服务的挑战、KV缓存问题、传统方法的浪费，以及vLLM的核心机制和实际应用场景。

KV缓存是LLM推理加速的关键技术。

本文深入解析了大语言模型推理的完整流程，从分词和嵌入开始，详细介绍了Transformer层、预填充（TTFT）与解码（ITL）两个阶段的计算与内存瓶颈差异。重点解释了KV缓存的作用、内存占用及优化策略（如INT8/INT4量化、滑动窗口注意力、PagedAttention），并介绍了DeepSeek V4中通过压缩注意力机制减少缓存大小的方法。最后讨论了连续批处理、推测解码等现代推理服务优化技术。文章指出长提示增加TTFT，长输出增加ITL，并给出了诊断瓶颈的实用建议。

本文介绍了在本地运行大语言模型（LLM）时计算显存（VRAM）需求的实用公式与指导原则。核心逻辑为“显存 ≈ 参数量 × (位宽 ÷ 8)”，详细对比了FP16、FP8及各类量化格式（如GGUF、4-bit）的占用情况，并提醒开发者需额外考虑KV缓存和框架开销等“显存税”。

LM Studio 发布了 mlx-engine v1.8.5，通过磁盘缓存 KV Cache 显著提升重复长上下文场景下的推理性能，支持连续批处理，并针对 Gemma 4 和 Qwen 3.5 等模型的不可回退 KV 缓存问题设计了解决方案。基准测试显示，并行聊天吞吐量提升 2.2 倍，长提示内存占用降低 82%，重复图像请求速度提升 3.5 倍。该更新已开源，适用于 Apple Silicon 上的代理工作流。

文章分析了AI推理中的内存瓶颈，尤其聚焦于KV缓存对高带宽内存（HBM）的巨大需求。随着代理工作负载和未来人形机器人等应用兴起，内存需求将呈指数级增长，但全球HBM供应面临多年结构性短缺（仅三星、SK海力士、美光可量产，产能满载至2028年后）。文章探讨了算法优化（如分组查询注意力、多潜在注意力）可降低内存消耗，但无法抵消需求增长。最后指出，去中心化系统可在持久化、协调和长期状态层发挥作用，缓解昂贵HBM的压力。