学习大模型训练的反向传播与优化器

文章讲解大模型训练中反向传播与优化器的原理：反向传播基于链式法则和计算图，从损失往回逐节点连乘局部导数，一次前向加一次反向即可得到全部参数梯度，并用 PyTorch autograd 验证手算结果。优化器部分梳理从 SGD、Momentum 到 Adam 的演进，Adam 为每个参数维护一阶矩和二阶矩估计，实现自适应学习率。