arXiv stat.ML· Xuheng Li, Qiwei Di, Yuan Cao, Quanquan Gu·· 1 天前AI 评分24
Muon 为何学事实更好：光谱正交化如何重塑特征学习动态
Muon Learns Facts Better: Understanding the Role of Spectral Orthogonalization
AI 导读
研究通过可解析的事实回忆模型揭示，Muon 对应的 Spectral GF 将 subject 与 relation 依赖信息的学习时间比从 GF 的 Θ̃(√(S/R)) 降至 Θ̃(1)，且固定 S、R 时误差随训练时间 T 以 exp(-poly(T)) 衰减，而 GF 仅为 1/(T log T)。
来源：arXiv stat.ML · arxiv.org