细粒度 MoE 与显存复用：高并发大模型网关的系统设计拆解

作者从系统工程角度拆解高并发大模型网关的三处瓶颈，包括细粒度 MoE 微专家跨节点 All-to-All 通信、Prefix Cache 前缀树显存复用和显存水位触发的降级逃生。