arXiv cs.LG· Jiacheng Li, Jianchao Tan, Kefeng Zhang, Yuchen Xie, Xunliang Cai·· 7 小时前AI 评分22
CAST：面向 LLM 预训练的历史自适应谱裁剪方法
CAST: History-Adaptive Spectral Clipping for LLM Pretraining
AI 导读
CAST 是软谱裁剪（SSC）的历史自适应扩展，用 AdamW 前一时刻的二阶矩设定行列缩放，并用裁剪输出谱范数估计的指数移动平均设定每个矩阵的阈值。研究用 19.08B 总参数的 MoE 模型训练 83.89B tokens，CAST 的训练损失和平均验证损失均低于九个梯度处理基线，梯度尖峰相对最少，并以少 7.2% 的步数达到最佳基线的最终平滑训练损失。
来源：arXiv cs.LG · arxiv.org