arXiv cs.LG· Jihwan Kim, Dogyoon Song, Chulhee Yun·· 3 小时前AI 评分24
从几何到泛化：行归一化为何能胜过 Adam 和 Muon
From Geometry to Generalization: Why Row Normalization Can Beat Adam and Muon
AI 导读
一项理论研究证明，在高维多分类任务中，行归一化（row normalization）的总体准确率严格高于全批量 Adam 和精确 SVD Muon。其优势源于行归一化的类级欧氏几何能渐近保留总体决策边界方向，而 Adam 的坐标级几何与 Muon 的谱几何会引入不可忽略的扭曲。合成实验与语言模型最后一层实验均支持该预测。
来源：arXiv cs.LG · arxiv.org