arXiv cs.LG· Sifan Yang, Hongyi Tao, Dingzhi Yu, Haomin Bai, Wei Jiang, Silin Gao, Pi Bu, Lijun Zhang·· 7 小时前AI 评分22
从动量 SGD 到 Muon：带残差修正的内存高效子空间优化
Memory-Efficient Subspace Optimization with Residual Correction: From Momentum SGD to Muon
AI 导读
研究提出残差修正框架，将优化器状态保存在子空间中，并把正交残差梯度加入参数更新。基于该框架的 SMRC 在固定正交基下达到 O(T^{-1/4}) 收敛率，与全空间动量 SGD 持平；扩展到 Muon 的 PMRC 同样达到 O(T^{-1/4})，与全空间 Muon 持平。两者均有多阶段变体，可周期性重算基以跟踪演化中的主导子空间。
来源：arXiv cs.LG · arxiv.org