跳到正文
热点事件持续更新

研究提出SMRC与PMRC子空间优化方法

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

Sifan Yang等作者发表论文，提出带残差修正的内存高效子空间优化框架：优化器状态保存在子空间中，参数更新中加入正交残差梯度。基于该框架的SMRC在固定正交基下达到O(T^{-1/4})收敛率，与全空间动量SGD持平；扩展到Muon的PMRC同样达到O(T^{-1/4})，与全空间Muon持平。 两者均有多阶段变体，可周期性重算基，以跟踪演化中的主导子空间。

AI 根据报道生成 · 2 小时前更新

最新进展10月15日 12:00
从动量 SGD 到 Muon：带残差修正的内存高效子空间优化

报道时间线

沿着报道，了解事件的不同侧面。

10月15日
  1. arXiv cs.LG
    从动量 SGD 到 Muon：带残差修正的内存高效子空间优化

    研究提出残差修正框架，将优化器状态保存在子空间中，并把正交残差梯度加入参数更新。基于该框架的 SMRC 在固定正交基下达到 O(T^{-1/4}) 收敛率，与全空间动量 SGD 持平；扩展到 Muon 的 PMRC 同样达到 O(T^{-1/4})，与全空间 Muon 持平。两者均有多阶段变体，可周期性重算基以跟踪演化中的主导子空间。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。