arXiv cs.AI· Meher Chaitanya, Tianyi Zhou, Aristides Gionis·· 12 小时前AI 评分22
Muon 需要细粒度谱整形吗?两带谱重加权即可媲美 Freon
Does Muon Need Fine-Grained Spectral Shaping?
AI 导读
针对 Muon 优化器是否需要细粒度谱整形,研究者提出两带谱重加权框架 BulkBoost,其噪声校准变体利用 split-minibatch 梯度差标定 Marchenko–Pastur 参考边缘,将谱分为 bulk 与 spike 两部分并共享一个增益。
来源:arXiv cs.AI · arxiv.org