研究指 Muon 正交化动量在非光滑优化中失效，提出 MAGD
热点事件持续更新
研究指 Muon 正交化动量在非光滑优化中失效，提出 MAGD
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
一项新研究指出，Muon 所用的正交化动量在非光滑优化中存在关键局限：对任意固定动量因子 β∈[0,1)，当步长随完整梯度历史自适应时，Muon 从几乎所有初始化都无法逼近凸 Lipschitz 目标的全局最优解。 作者 Lexiao Lai、Tianyi Lin、Jiayu Zhang 提出 MAGD，将正交化动量与梯度按相对进展加权。他们称该方法在非凸设定下保持渐近收敛，在凸设定下达到 O(min{m,n}ε⁻²) 速率，并在合成问题、图像分类和 LLM 预训练实验中表现优于 Muon。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
正交化动量在非光滑优化中的局限与 MAGD 的提出报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv cs.LG正交化动量在非光滑优化中的局限与 MAGD 的提出
研究指出 Muon 的正交化动量在非光滑优化中存在关键局限：对任意固定动量因子 β∈[0,1)，当步长随完整梯度历史自适应时，Muon 从几乎所有初始化都无法逼近凸 Lipschitz 目标的全局最优解。作者提出 MAGD，将正交化动量与梯度按相对进展加权，在非凸设定下保持渐近收敛，凸设定下达到 O(min{m,n}ε⁻²) 速率，并在合成问题、图像分类和 LLM 预训练实验中表现优于 Muon。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。