连续批处理

vLLM是一个高吞吐率的LLM服务引擎，通过PagedAttention技术将KV缓存分成固定大小的块，按需分配内存，避免过度预留和碎片化，并支持请求间共享相同前缀的缓存。同时采用连续批处理，在每一步动态替换已完成请求，保持GPU始终忙碌。vLLM提供与OpenAI兼容的API，易于集成，能显著提升GPU利用率和吞吐量，降低服务成本。文章详细解释了LLM服务的挑战、KV缓存问题、传统方法的浪费，以及vLLM的核心机制和实际应用场景。

LM Studio 发布了 mlx-engine v1.8.5，通过磁盘缓存 KV Cache 显著提升重复长上下文场景下的推理性能，支持连续批处理，并针对 Gemma 4 和 Qwen 3.5 等模型的不可回退 KV 缓存问题设计了解决方案。基准测试显示，并行聊天吞吐量提升 2.2 倍，长提示内存占用降低 82%，重复图像请求速度提升 3.5 倍。该更新已开源，适用于 Apple Silicon 上的代理工作流。