学习大模型训练的显存管理与混合精度

全精度 FP32 训练时每个参数需 16 字节（权重、梯度、两份 AdamW 优化器状态），7B 模型仅这部分就达 112 GB，超过 H100 单卡 80 GB 显存。文章还拆解了激活值显存公式，并介绍混合精度训练（FP16/BF16）、损失缩放、梯度累积与激活重计算等省显存手段。