arXiv cs.LG· Yongtao Wu, Mahdi Mansouri, Zhenyu Zhu·· 7 小时前AI 评分26
Muon 为何失去谱隐式偏置：有限 Newton-Schulz 迭代使其转向 Frobenius 最大间隔
From Spectral to Frobenius: When Muon Loses Its Spectral Implicit Bias
AI 导读
研究证明，Muon 因采用有限 Newton-Schulz 迭代和正稳定常数近似正交化，在线性可分分类中会选择 Frobenius 而非谱最大间隔方向，指数移动平均与 Nesterov 式动量下同样成立。作者通过可和扰动论证揭示 Newton-Schulz 迭代次数、稳定常数与多项式各自的渐近行为，并指出当迭代次数随训练对数增长时，Muon 可恢复其谱最大间隔偏置。
来源：arXiv cs.LG · arxiv.org