NVIDIA 博客提出 AI 工厂内存协同设计五法
先了解这件事
NVIDIA 发布技术博客，提出五种内存协同设计方法，目标是缓解模型权重、KV 缓存和 RAG 数据对 GPU 显存的压力。具体做法包括：用 NVFP4 低精度格式压缩模型权重与 KV 缓存，在 NVL72 中把模型权重分散到最多 72 颗 GPU，用 Vera CPU 的 LPDDR 内存缓冲暂停的上下文，并由 Dynamo 推理软件迁移不活跃上下文。 NVIDIA 称，从 GB300 NVL72 到 Vera Rubin NVL72，每 GPU 的 HBM 容量仅增约 3%（维持 288 GB），但在 SemiAnalysis AgentX 上实现每兆瓦最高 30 倍吞吐提升，达到 160 tokens/s/用户。上述提升幅度出自 NVIDIA 的博客表述，并非独立验证结果。
AI 根据报道生成 · 10 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
- IT之家英伟达解读全栈协同设计：HBM 仅增约 3%，每美元智能体吞吐量最高提升 30 倍
英伟达发布技术解读，提出以“全栈协同设计”破解 AI 内存瓶颈，通过 NVFP4 低精度格式压缩模型权重与 KV 缓存、在 NVL72 中把模型权重分散至最多 72 颗 GPU、用 Vera CPU 的 LPDDR 内存缓冲暂停上下文，并由 Dynamo 推理软件迁移不活跃上下文。
- Hacker News · AI 讨论NVIDIA 如何通过五项协同设计最大化 AI 工厂每字节价值
NVIDIA 详解从 GB300 NVL72 到 Vera Rubin NVL72 的五项协同设计，在 HBM 容量维持 288 GB 的情况下，于 SemiAnalysis AgentX 上实现每兆瓦最高 30 倍吞吐提升（160 tokens/s/用户）。
- NVIDIA BlogNVIDIA 如何用全栈协同设计解决 AI 内存瓶颈
NVIDIA 详解其全栈协同设计思路：从 Blackwell Ultra 到 Vera Rubin 平台，每 GPU 的 HBM 容量仅增约 3%，但 SemiAnalysis AgentX 上每美元智能体吞吐提升最高 30 倍。