arXiv cs.AI· Thibaut Boissin (IRIT), Thomas Massena (IRIT, DTIPG - SNCF, UT3), Mathieu Serrurier (IRIT), Franck Mamalet·· 9 小时前AI 评分22
Muon 对卷积理论上不成立，但实验证明有效
Muon Is Theoretically Wrong For Convolutions, But Empirically Effective
AI 导读
研究指出 Muon 优化器对矩阵更新有清晰解释，但卷积核以四维张量存储，标准实现将其 reshape 为矩阵的做法破坏了其理论基础。为此研究者提出 Convolutional Newton-Schulz（Conv-NS），直接在卷积算子几何中逼近极因子并保留核支撑。
来源：arXiv cs.AI · arxiv.org