跳到正文
arXiv cs.LG· Vishrut Goyal, Rohan Ramkumar·· 3 小时前AI 评分22

Spectrally Targeted Muon:按奇异值阈值选择性正交化的优化器

Spectrally Targeted Muon

AI 导读

研究者提出 Spectrally Targeted Muon,只对高于或低于阈值 τ 的奇异值做正交化,使 τ 在归一化 SGD 与 Muon 之间插值,并通过移位 Gram 矩阵上的 Newton-Schulz 迭代计算投影,无需 SVD。

来源:arXiv cs.LG · arxiv.org