掘金· 八月蝉·· 12 天前精选AI 评分78
推理 INFRA 方法论第 5 篇解析 MoE 推理的 Batch、DeepEP、DeepGEMM 与负载均衡
推理 INFRA 方法论（5）：MoE 推理：Batch、DeepEP、DeepGEMM 与负载均衡
AI 导读
这篇 MoE 推理方法论沿 batch 主线拆解专家覆盖率、all2all 通信量、tile 填充和负载倾斜，并用 Qwen3.5-397B-A17B-FP8 在 8×H20 上实测校验理论预算。
借鉴点
能拿走 B*≈Ridge·W_total·bpp/(2·N_active) 的拐点估算、DeepGEMM 静态 buffer 加 masked_m 动态行数、DeepEP hook 把通信变 max 的做法，落到本地模型部署的容量规划上；前提是跨机大 EP 场景，机内 NVLink 只能藏住 20–27% 通信。
来源：掘金 · juejin.cn