Muon因实现细节选择Frobenius最大间隔方向
热点事件持续更新
Muon因实现细节选择Frobenius最大间隔方向
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
一项新研究证明，Muon 优化器在线性可分分类中实际选择的是 Frobenius 最大间隔方向，而非此前认为的谱最大间隔方向。作者 Yongtao Wu 等人指出，原因在于 Muon 采用有限次 Newton-Schulz 迭代和正稳定常数来近似正交化，这些实现细节改变了其隐式偏置；该结论在指数移动平均与 Nesterov 式动量下同样成立。 作者通过可和扰动论证分析了 Newton-Schulz 迭代次数、稳定常数与多项式的渐近行为，并指出若让迭代次数随训练对数增长，Muon 可恢复其谱最大间隔偏置。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
Muon 为何失去谱隐式偏置：有限 Newton-Schulz 迭代使其转向 Frobenius 最大间隔报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv cs.LGMuon 为何失去谱隐式偏置：有限 Newton-Schulz 迭代使其转向 Frobenius 最大间隔
研究证明，Muon 因采用有限 Newton-Schulz 迭代和正稳定常数近似正交化，在线性可分分类中会选择 Frobenius 而非谱最大间隔方向，指数移动平均与 Nesterov 式动量下同样成立。作者通过可和扰动论证揭示 Newton-Schulz 迭代次数、稳定常数与多项式各自的渐近行为，并指出当迭代次数随训练对数增长时，Muon 可恢复其谱最大间隔偏置。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。