研究称行归一化在高维分类中优于Adam与Muon

一项理论研究提出，在高维多分类任务中，行归一化（row normalization）的总体准确率严格高于全批量 Adam 和精确 SVD Muon。作者 Jihwan Kim 等人称，这一优势来自行归一化的类级欧氏几何能渐近保留总体决策边界方向，而 Adam 的坐标级几何与 Muon 的谱几何会引入不可忽略的扭曲。 该结论由合成实验和语言模型最后一层实验支持，论文发表于 arXiv cs.LG。上述比较针对的是全批量 Adam（作为随机重排 Adam 的代理）与精确 SVD Muon。 这是理论证明与实验支持下的预测，并非已被广泛验证的实践结论。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。