研究者提出随机动量传输优化方法
热点事件持续更新
研究者提出随机动量传输优化方法
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
El Mahdi Chayti 与 Martin Jaggi 提出随机动量传输方法,用于降低 STORM 类优化器的 oracle 调用成本:以概率 q 计算动量修正,其余时候用廉价预测替代,并通过重要性加权保持条件均值,代价是方差增加 (q⁻¹-1) 倍的预测损失。 在传输偏差、二阶矩和残差控制假设下,包括 Muon 谱方向在内的 LMO 更新对任意固定 q>0 保持 O(T⁻¹/3) 的稳定性界。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
随机动量传输:用廉价预测器降低 STORM 类优化器的 oracle 调用成本报道时间线
沿着报道,了解事件的不同侧面。
10月12日
- arXiv cs.LG随机动量传输:用廉价预测器降低 STORM 类优化器的 oracle 调用成本
研究者提出随机动量传输方法,以概率 q 计算动量修正、其余时候用廉价预测替代,并通过重要性加权保持条件均值,代价是方差增加 (q⁻¹-1) 倍的预测损失。在传输偏差、二阶矩和残差控制假设下,包括 Muon 谱方向在内的 LMO 更新对任意固定 q>0 保持 O(T⁻¹/3) 的稳定性界。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。