新二阶优化器Clean降低LLM训练内存
热点事件持续更新
新二阶优化器Clean降低LLM训练内存
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
研究者提出 Clean，一种利用随机 Nyström 方法近似 SOAP 左右预条件子的全曲率二阶优化器，将优化器内存复杂度从模型维度的二次降至线性。 其低精度变体 Q-Clean 在预训练 LLaMA-1.3B 时优化器内存比 Muon 减少超 50%；Clean 以比 AdamW 更小的优化器状态占用实现快 26% 的收敛速度。
AI 根据报道生成 · 2 小时前更新
最新进展10月8日 12:00
Clean：通过 Nyström sketching 实现线性内存成本的二阶 LLM 训练报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- arXiv cs.CLClean：通过 Nyström sketching 实现线性内存成本的二阶 LLM 训练
研究者提出 Clean，一种利用随机 Nyström 方法近似 SOAP 左右预条件子的全曲率优化器，将优化器内存复杂度从模型维度的二次降至线性。其低精度变体 Q-Clean 在预训练 LLaMA-1.3B 时优化器内存比 Muon 减少超 50%，且 Clean 以比 AdamW 更小的优化器状态占用实现快 26% 的收敛速度。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。