科学空间· 苏剑林·· 2026-10-15AI 评分9
慢即是快:2. Adam 的尽头还是 Muon?
慢即是快:2. Adam的尽头还是Muon?
AI 导读
苏剑林在“慢即是快”系列第二篇中,从凸优化平均收敛结论建立的“正交最慢下降”框架出发,继续探讨 Adam 与 Muon 的关系。上一篇已用该框架改进任意 Kronecker 积形式的预条件优化器,并得出 Shampoo 的尽头是 Muon 的结论,本篇则追问 Adam 的尽头是否同样是 Muon。
来源:科学空间 · kexue.fm