掘金· 吴佳浩Alben·· 14 天前精选AI 评分71
单卡跑125B MoE模型实测：多出18GB显存带来82%吞吐提升
中小企业跑125B 大模型：18GB 显存之差，到底值多少吞吐
AI 导读
作者在RTX 5090上跑Qwen3.8-Flash-Next Q2_0（125B级MoE），停掉同卡其他容器腾出18,106 MiB显存后，decode吞吐从140.6 tok/s升到256.2 tok/s，提升82%。
借鉴点
能拿走单变量对照法加两条拟合公式，缓存约等于整卡可用减6.0 GiB、decode约等于92加6.53乘缓存GiB，用来预估本地部署吞吐；代价是结论绑在Q2_0量化、32K上下文和Gen3链路上，换档位或换卡要重测。
来源：掘金 · juejin.cn