掘金· 吴佳浩Alben·· 16 天前精选AI 评分78
中小企业用RTX 5090跑125B MoE：Strata如何把显存缺口换成专家缓存
中小企业跑125B 大模型：显存装不下的时候，Strata 做了什么
AI 导读
作者在单张RTX 5090（32GB）上实测Strata v0.2.2加载Qwen3.8-Flash-Next Q2_0（125B级MoE），模型文件66.4GB对31.8GiB显存缺口约2.1倍，靠把全部24576个专家常驻主机内存、按热度缓存到显存跑通。
借鉴点
能拿走一条槽位公式（可用显存减884MiB再除1.318MiB，上限24576）和五段传导链，用来给本地部署做容量规划；前提是只测了Q2_0一档、PCIe固定Gen3×16，换量化档或平台要重算。
来源：掘金 · juejin.cn