学习大模型训练的分布式并行策略：数据并行、ZeRO、张量并行与流水并行

文章讲解大模型训练中数据并行、ZeRO、张量并行和流水并行四种策略如何解决单卡放不下、算不完的问题。以 DeepSeek-V3 为例，其 671B 总参数、每 token 激活 37B，预训练 14.8 万亿 token 的总计算量约 3×10²⁴ FLOPs，单张 H100 需算上百年。