推理 INFRA 方法论：TP、DP、EP、CP 与 PP 在分布式推理中的取舍

这篇教程按权重、KV、激活和通信预算推演 Attention 与 MoE 的并行组合，给出 TP、DP、EP、CP、PP 的选型判据。核心结论是 GQA 可沿头维切 KV 直接走 TP，MLA 的 KV 全头共享只能复制、必须走 DP；EP 的通信优势来自 EP 域大于 top-k，k=8 时 EP8 与 MoE-TP 持平、EP32 省 4 倍。