如何把 AI 模型切得更小？从层间流水线到子层专家分片

文章探讨把大模型切分到消费级设备上运行的新思路：不再按整层做流水线并行，而是在子层内切分，让 500 MB 至 1 GB 空闲内存的设备也能托管单个专家矩阵的一小片。文中以 2840 亿参数、单 token 仅激活约 130 亿参数的 MoE 模型为例，并结合 MLA 等 KV cache 压缩技术降低通信量。作者强调这是提出中的架构设计，通信开销仍需工程实现与基准测试。