跳到正文
热点事件持续更新

研究者提出随机动量传输优化方法

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

El Mahdi Chayti 与 Martin Jaggi 提出随机动量传输方法,用于降低 STORM 类优化器的 oracle 调用成本:以概率 q 计算动量修正,其余时候用廉价预测替代,并通过重要性加权保持条件均值,代价是方差增加 (q⁻¹-1) 倍的预测损失。 在传输偏差、二阶矩和残差控制假设下,包括 Muon 谱方向在内的 LMO 更新对任意固定 q>0 保持 O(T⁻¹/3) 的稳定性界。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv cs.LG
    随机动量传输:用廉价预测器降低 STORM 类优化器的 oracle 调用成本

    研究者提出随机动量传输方法,以概率 q 计算动量修正、其余时候用廉价预测替代,并通过重要性加权保持条件均值,代价是方差增加 (q⁻¹-1) 倍的预测损失。在传输偏差、二阶矩和残差控制假设下,包括 Muon 谱方向在内的 LMO 更新对任意固定 q>0 保持 O(T⁻¹/3) 的稳定性界。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。