热点事件持续更新

研究者提出基于Schatten-p范数的自适应优化器

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

研究者提出一种数据驱动的自适应优化方法，可在单个神经网络层上动态选择代理最优的更新几何，其闭式解由梯度和激活统计量经单步随机特征回归代理模型导出。该框架的设计空间从 SGD 插值到 Muon，结合逐参数预处理后可恢复 SGD、Muon、Adam 和 MuAdam 作为特定极值，运行时开销仅约 3%。在三种训练场景中，该优化器性能达到或超过 Muon 与 AdamW 中的最优者。

AI 根据报道生成 · 3 小时前更新

最新进展10月12日 12:00

从 SGD 到 Muon：基于 Schatten-p 范数的自适应优化

报道时间线

沿着报道，了解事件的不同侧面。

10月12日

12:00
arXiv cs.AI
从 SGD 到 Muon：基于 Schatten-p 范数的自适应优化
研究者提出一种数据驱动的准则，可在单个神经网络层上动态选择代理最优的更新 LMO 几何，其闭式解由梯度和激活统计量经单步随机特征回归代理模型导出。该框架的设计空间从 SGD 插值到 Muon，结合逐参数预处理后可恢复 SGD、Muon、Adam 和 MuAdam 作为特定极值，运行时开销仅约 3%。在三种训练场景中，该优化器性能达到或超过 Muon 与 AdamW 中的最优者。

本事件热度走势

可比范围当前: 9
可比范围峰值: 1010月12日 13:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。