KV缓存

从零学大语言模型 L10：推理 | 斯坦福CS336 2026春季

**视频 AI 总结**：本讲座深入探讨了大语言模型推理的优化问题。推理与训练不同，由于自回归生成的顺序性，推理过程高度依赖内存带宽，尤其是注意力层的 KV 缓存成为主要瓶颈。讲座首先分析了推理的计算强度，指出预填充阶段计算受限，生成阶段内存受限。随后介绍了多种提升推理效率的技术，包括通过分组查询注意力（GQA）、多潜在注意力（MLA）、滑动窗口等减少 KV 缓存大小，以及量化、模型剪枝、推测解码等方法。最后讨论了动态工作负载下的连续批处理和分页注意力等系统级优化。这些技术共同致力于在不大幅降低模型准确性的前提下，提升推理的吞吐量和降低延迟。 **主要内容**： - 推理的重要性和性能指标（时间至首词、延迟、吞吐量） - 推理与训练的根本区别：自回归生成导致序列维度无法并行化 - 计算强度分析：MLP 层和注意力层在预填充与生成阶段的差异，生成阶段注意力层成为内存瓶颈 - 减少 KV 缓存的方法：分组查询注意力（GQA）、多潜在注意力（MLA）、跨层注意力、滑动窗口注意力等 - 模型量化与剪枝：PTQ、GPTQ、AWQ 以及基于重要性的结构化剪枝 - 推测解码：利用小型草稿模型快速生成多个候选，再由目标模型并行验证，实现无损加速 - 动态批处理与分页注意力：连续批处理应对实时请求，分页注意力解决 KV 缓存的内存碎片问题 课件与代码：https://cs336.stanford.edu/

93 0 0 2026-06-30 08:15

从零学大语言模型 特邀讲座：Dan Fu | 斯坦福CS336 2026春季

**视频 AI 总结**：该演讲深入探讨了大语言模型推理系统的技术细节，从请求调度、KV缓存管理到预填充与解码的分离优化，并介绍了两个前沿研究：通过Megakernels融合内核实现解码加速，以及采用循环Transformer架构的Parcae模型，展示了理解推理底层如何推动全栈创新。 **主要内容**： - 推理系统生命周期：请求调度、KV缓存、预填充与解码的差异及优化策略。 - 连续批处理：如何在多请求场景下高效利用GPU资源。 - 硬件与架构：GPU、NVLink、以及针对解码优化的专用芯片（如LPU）。 - Megakernels：通过融合多个操作为单一内核，实现30%-70%的解码速度提升，接近GPU理论极限。 - Parcae：循环Transformer通过状态空间模型理论稳定训练，发现随着数据量增加应同步增加循环次数，性能优于传统Transformer。 - 推理中的实际问题：大规模部署中的bug（如NaN、工具调用错误、中文乱码等）与故障容忍。 课件与代码：https://cs336.stanford.edu/

73 0 0 2026-06-29 23:11

从零学大语言模型 L10：推理 | 斯坦福CS336 2025 春季

视频 AI 总结：本次讲座聚焦于大语言模型推理的效率和优化。首先阐述了推理的重要性及其工作负载特性，指出生成阶段是内存受限的主要瓶颈。然后介绍了多种优化方法：通过改变模型架构（如分组查询注意力GQA、多头潜在注意力MLA、跨层注意力、局部注意力）减少KV缓存大小；使用状态空间模型和扩散模型替代传统Transformer架构；采用量化（INT8/INT4）和模型剪枝降低精度和大小；利用投机解码结合小模型加速生成；以及系统级优化如分页注意力（PagedAttention）和动态批处理应对实际服务中的异构请求。最后强调未来推理优化的关键在于模型架构的根本性变革。 关键信息：推理分为预填充（计算受限）和生成（内存受限）；KV缓存是核心瓶颈；优化方法包括架构创新、量化剪枝、投机解码、系统调度；投机解码可保证严格采样。 课件与代码： https://cs336.stanford.edu/spring2025/

85 0 0 2025-06-27 18:23