IT之家·· 10 天前AI 评分22
英伟达解读全栈协同设计:HBM 仅增约 3%,每美元智能体吞吐量最高提升 30 倍
英伟达破局 AI 内存瓶颈:HBM 仅增约 3%,每美元智能体吞吐量最高提升 30 倍
AI 导读
英伟达发布技术解读,提出以“全栈协同设计”破解 AI 内存瓶颈,通过 NVFP4 低精度格式压缩模型权重与 KV 缓存、在 NVL72 中把模型权重分散至最多 72 颗 GPU、用 Vera CPU 的 LPDDR 内存缓冲暂停上下文,并由 Dynamo 推理软件迁移不活跃上下文。
来源:IT之家 · ithome.com