从参数对称性到有效学习率：Hyperball、HyperTransfer、ELR 等工作的统一视角

近期 Hyperball、HyperTransfer、ELR 等论文与博客开始基于参数对称性分析和指导模型优化，这些工作总体围绕损失函数对参数的依赖展开。文章从参数对称性出发，梳理其与有效学习率之间的联系，给出统一的理解框架。