正交化动量在非光滑优化中的局限与 MAGD 的提出

研究指出 Muon 的正交化动量在非光滑优化中存在关键局限：对任意固定动量因子 β∈[0,1)，当步长随完整梯度历史自适应时，Muon 从几乎所有初始化都无法逼近凸 Lipschitz 目标的全局最优解。作者提出 MAGD，将正交化动量与梯度按相对进展加权，在非凸设定下保持渐近收敛，凸设定下达到 O(min{m,n}ε⁻²) 速率，并在合成问题、图像分类和 LLM 预训练实验中表现优于 Muon。