arXiv cs.CL· Beheshteh T. Rakhshan, Sahar Rajabi, Maziar Sargordi Shikai Fang, Guillaume Rabusseau, Sirisha Rambhatla·· 4 小时前AI 评分34
Clean：通过 Nyström sketching 实现线性内存成本的二阶 LLM 训练
Clean: Second-order LLM Training at Linear Memory Cost via Nystr\"om Sketching
AI 导读
研究者提出 Clean，一种利用随机 Nyström 方法近似 SOAP 左右预条件子的全曲率优化器，将优化器内存复杂度从模型维度的二次降至线性。其低精度变体 Q-Clean 在预训练 LLaMA-1.3B 时优化器内存比 Muon 减少超 50%，且 Clean 以比 AdamW 更小的优化器状态占用实现快 26% 的收敛速度。
来源：arXiv cs.CL · arxiv.org