大模型预训练工程：Megatron-LM、DeepSpeed、torchtitan 框架与 Scaling Law

文章梳理大模型预训练工程全景：Megatron-LM 以 3D 并行和极致性能调优见长，DeepSpeed 以 ZeRO 三阶段显存切分和 JSON 配置降低上手门槛，PyTorch 官方 torchtitan 则用 FSDP2、DTensor 等原生 API 组合出简洁实现。