AI内存墙：智能体时代遭遇HBM硬件瓶颈

一名知识工作者同时运行十个并行的智能体，每个智能体持有 10 万个 Token 的上下文，仅为了维持这些智能体的活跃与连贯，就已消耗超过 100 GB 的最快、最昂贵的内存。

将这种模式扩展到数亿名知识工作者、分析师、研究人员、客户成功团队，以及最终将每天运行类似设置的普通用户，全球对这种特定内存的需求将不再像是一个预测。它开始像是一个行业目前尚未准备好应对的硬性物理极限。

现在我们来谈谈内存容量和带宽，特别是那种必须紧挨着计算芯片（距离仅毫米级）的内存。

推理过程究竟如何消耗内存

每次大语言模型生成一个 Token 时，有两大部分会占用内存：

模型权重（固定部分）

这些是包含模型所学知识的数千亿（或数万亿）参数。前沿模型已经庞大到无法单靠一块 GPU 容纳，因此权重会被分片到多个 GPU 上。

在前向传播过程中，激活值和部分结果会通过 NVLink 等超高速互连在 GPU 之间移动。这种流量虽然密集，但相对可预测。一旦模型加载完毕，权重基本上就固定在那里。

KV 缓存（会激增的部分）

对于长上下文和并行智能体工作负载而言，这才是真正的罪魁祸首。

在 Transformer 中，模型使用自注意力机制来决定哪些先前的 Token 对当前生成的 Token 重要。每次都从头计算注意力会极其浪费。因此，系统会预先计算并存储每个先前 Token 的两个向量：键（Key）和值（Value）。它们存在于 KV 缓存中。

每生成一个新 Token，就会向缓存中添加一小块数据。

缓存的大小随上下文长度和并行会话数量（批次大小）线性增长。

其大小还取决于模型架构：层数、注意力头数、头维度以及数值精度（通常 BF16 每个值占 2 字节）。

简化的真实世界示例（中型模型，分组查询注意力）：

≈ 2（K + V）× 32 层 × 8 个 KV 头 × 128 头维度 × 2 字节 ≈ 每个 Token 131 KB。对于一个 128K Token 的会话 → 仅缓存就需要大约 16–17 GB。再加上实际开销、更大的模型或多个并发会话，很容易达到常被引用的约 20 GB 数值。采用更宽注意力或压缩率较低的前沿模型，会将长会话推高至每个活跃工作负载 40–100 GB+ 的范围。

关键的是，这个缓存必须存在于 HBM（高带宽内存）中。

HBM 是直接放置在 GPU/加速器相同封装或高级中介层上的 3D 堆叠 DRAM。它是唯一速度足够快、物理距离足够近，能够为矩阵乘法提供数据而不让计算单元饥饿的内存。普通的 DDR5 甚至 GDDR6X 要么太慢，要么距离太远。而且 HBM 是焊接的。你无法事后添加更多。

生产级推理引擎（如 vLLM、TensorRT-LLM、TGI 等）使用巧妙的技术（如分页注意力）来减少内存碎片并允许非连续分配。这些技术有所帮助，但并未改变根本的容量计算关系。

为什么智能体工作负载尤其“饥饿”

随意的聊天是突发性且浅层的。你发送一条消息，得到一个回答，可能再追问几次，然后上下文通常会被总结或重置。峰值时的同时内存需求相对适中。

智能体系统则相反。一个有用的智能体会循环执行以下过程：

观察 → 调用工具（搜索、代码、API —— 结果被追加） → 编写暂存区/计划 → 决定下一步行动 → 重复。

每一次循环都会增加 Token 数。单个处理复杂任务的研究或客户成功智能体，在一次持续运行中很容易消耗 5 万到 10 万以上的 Token。

为一名知识工作者并行运行十个这样的智能体，仅用于 KV 缓存就需要远超过 100 GB 的实时 HBM，这还不算权重或其他开销。

算法上的优化确实存在，但只是常数因子

分组查询注意力（GQA）和多潜注意力（MLA）—— 用于 Llama 3 和 DeepSeek-V2/3 等模型 —— 让多个查询头共享更少的键/值头，或投影到压缩的潜在空间。这些技术可将 KV 缓存大小和带宽压力降低 4–8 倍。

但它们只是倍增因子，而非指数级解决方案。真正导致复合增长的变量是：

• 采用率从“偶尔的单个智能体”转向“每人日常的并行智能体”
• 上下文窗口朝向百万 Token 迈进
• 会话变得更长、更有状态，因为智能体执行真正的多步骤工作

4–8 倍的效率提升是出色的工程成果。但它无法战胜持续攀升的变量。

供应问题

目前只有三家公司大规模生产高端 HBM：SK 海力士、三星和美光。

进入 2026 年，这三家公司的产能已通过多年合同全部售罄。新的晶圆产能和先进封装产线（用于将 HBM 堆栈与逻辑芯片结合的 CoWoS 系列中介层）即使在一切顺利的情况下也需要 12–18 个月才能上线。预计在 2027 年底到 2028 年之前不会出现实质性的缓解。

在美光 2026 年 6 月 25 日的财报电话会议上，首席执行官 Sanjay Mehrotra 明确表示，公司目前无法预见供应何时能赶上需求。预计紧张状况将持续到 2027 年以后，2028 年才会逐步改善。美光目前仅能满足客户 HBM 需求的约一半到三分之二。

这是一个持续多年的结构性供应紧张局面。

同一次电话会议还提到了将两年期的供应紧张延长为十年期的浪潮。

Mehrotra 表示，一个人形机器人所需的内存大约是普通 L2+ 级别自动驾驶汽车的十倍。到 2026 年，L2+ 汽车每辆的内存已经超过 300 GB（包括为传感器融合和推理优化的各种类型）。十倍意味着每台人形机器人约 3 TB 的内存。是每台，而非每支车队。

为什么需要这么多？

在非结构化的人类环境中运行的人形机器人，必须同时进行高分辨率视觉、触觉感知、音频、灵巧操作规划、自然语言处理、安全监控以及其环境和任务的长期记忆。

芯片制造商认为，这标志着从这十年末开始的一个持续数十年的内存需求周期的开端。

美光的股价在过去一年中已上涨约 830%，一度推动公司市值突破 1 万亿美元。这一轮上涨是因为当前的短缺已经显现并被市场定价。悬而未决的问题是，下一阶段 —— 先是软件智能体规模化，然后是实体机器人车队 —— 是否会因物理缺口持续扩大而延续定价能力。

加密货币和去中心化系统的真正定位

最繁重的推理 —— 带有热 KV 缓存的实时矩阵乘法 —— 在可预见的未来仍将物理绑定到稀缺的 HBM 上。物理限制（延迟、热量、互连）不允许该层轻易去中心化。

可以去中心化的是围绕持久化、协调和长期状态的一切。

智能体系统之所以变得有价值，恰恰是在它们不再是健忘的实习生，而开始像持久的团队成员一样，能够跨天、跨周、跨不同机器记住之前的工作、用户偏好、工具结果和学到的流程。

这正是加密货币原生设计能够创造杠杆作用的地方：

持久化内存层 让智能体可以将结构化的中间思考、观察和检查点写入始终可用的去中心化存储，而不是在会话结束或机器重启时丢失它们。当智能体唤醒时，只需将当前相关的部分拉回昂贵的 HBM 中。

代币化状态原语 将智能体内存转化为可拥有、可组合、可验证的对象。一个智能体的输出可以成为另一个智能体的可信输入。经济机制（质押、支付、罚没）可以激励正常运行时间和数据质量。

全链内存协议 和 去中心化 KV 式存储 就像是一个专为智能体工作负载构建的全球性、分片、加密的键值层。智能体可以读写/查询长期内存，而无需依赖中心化向量数据库，或反复承受冷启动成本（重新摄取历史记录并从头重建上下文）。

当 HBM 限量供应且昂贵时，那些能够最小化重复冷启动浪费、让智能体知识在多次运行中可靠积累的系统，将在智能体经济规模化时捕获真正的使用量。

建立在稀缺芯片之上的协调与持久化层，是加密原生架构最能发挥作用的领域。

有三件事可能缓解当前的压力

1. 智能体采用速度低于从线性到指数增长模型假设的速度。 企业可能更长时间停留在简单的聊天界面，或者可靠的多智能体编排在生产中可能比演示中更难实现。

2. 架构压缩超越已建模的 4–8 倍。 KV 缓存量化、智能淘汰、稀疏注意力、状态空间模型（Mamba 及其后继者）或分层内存系统的重大进展，可能比预期更显著地降低每个 Token 的有效 HBM 需求。

3. 宏观或资本支出冲击。 超大规模云服务商和 AI 实验室已规划了巨大的 AI 相关资本支出（2026 年累计数千亿美元）。严重的经济衰退、能源法规或战略暂停可能会暂时减缓需求的实现。

这些因素都不会改变根本方向，一旦智能体使用成为知识工作的默认工作流程，尤其是当实体机器人车队在 2020 年代末和 2030 年代开始规模化时。

即使应用了更好的注意力机制带来的常数因子效率提升，产品需求指向的内存规模，仍是目前行业在供应能力上尚未准备好的。

• 原文链接： x.com/eli5defi/status/20...
• 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～