arXiv cs.AI· Thomas Massena (DTIPG - SNCF, IRIT), Corentin Friedrich (IRIT), Mathieu Serrurier (IRIT)·· 5 小时前AI 评分30
从 SGD 到 Muon：基于 Schatten-p 范数的自适应优化
From SGD to Muon: Adaptive Optimization via Schatten-p Norms
AI 导读
研究者提出一种数据驱动的准则，可在单个神经网络层上动态选择代理最优的更新 LMO 几何，其闭式解由梯度和激活统计量经单步随机特征回归代理模型导出。该框架的设计空间从 SGD 插值到 Muon，结合逐参数预处理后可恢复 SGD、Muon、Adam 和 MuAdam 作为特定极值，运行时开销仅约 3%。在三种训练场景中，该优化器性能达到或超过 Muon 与 AdamW 中的最优者。
来源：arXiv cs.AI · arxiv.org