arXiv cs.LG· Arman Bolatov, Artem Riabinin, Nikita Kornilov, Andrey Veprikov, Samuel Horv\'ath, Martin Tak\'a\v{c}, Aleksandr Beznosikov·· 9 小时前AI 评分12
LionMuon：交替谱下降与符号下降的高效训练优化器
LionMuon: Alternating Spectral and Sign Descent for Efficient Training
AI 导读
LionMuon 提出每 P 次迭代执行一次 Muon 谱步、其间执行 Lion 符号步，两者共享单一双 EMA 动量缓冲区，使 Muon 的计算与通信开销每 P 步仅支付一次，优化器状态仅为 AdamW 的一半。
来源：arXiv cs.LG · arxiv.org