arXiv cs.LG· El Mahdi Chayti, Martin Jaggi·· 7 小时前AI 评分22
随机动量传输：用廉价预测器降低 STORM 类优化器的 oracle 调用成本
Randomized Momentum Transport with Cheap Predictors
AI 导读
研究者提出随机动量传输方法，以概率 q 计算动量修正、其余时候用廉价预测替代，并通过重要性加权保持条件均值，代价是方差增加 (q⁻¹-1) 倍的预测损失。在传输偏差、二阶矩和残差控制假设下，包括 Muon 谱方向在内的 LMO 更新对任意固定 q>0 保持 O(T⁻¹/3) 的稳定性界。
来源：arXiv cs.LG · arxiv.org