CAST：历史自适应谱裁剪预训练方法提出
热点事件持续更新
CAST：历史自适应谱裁剪预训练方法提出
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
Jiacheng Li 等作者提出 CAST（Clipping with Adaptive Scales and Thresholds），一种软谱裁剪（SSC）的历史自适应扩展方法，用于大语言模型预训练。该方法用 AdamW 前一时刻的二阶矩设定行列缩放，并用裁剪输出谱范数估计的指数移动平均设定每个矩阵的阈值。 研究用 19.08B 总参数的 MoE 模型训练 83.89B tokens，CAST 的训练损失和平均验证损失均低于九个梯度处理基线，梯度尖峰相对最少，并以少 7.2% 的步数达到最佳基线的最终平滑训练损失。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
CAST：面向 LLM 预训练的历史自适应谱裁剪方法报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv cs.LGCAST：面向 LLM 预训练的历史自适应谱裁剪方法
CAST 是软谱裁剪（SSC）的历史自适应扩展，用 AdamW 前一时刻的二阶矩设定行列缩放，并用裁剪输出谱范数估计的指数移动平均设定每个矩阵的阈值。研究用 19.08B 总参数的 MoE 模型训练 83.89B tokens，CAST 的训练损失和平均验证损失均低于九个梯度处理基线，梯度尖峰相对最少，并以少 7.2% 的步数达到最佳基线的最终平滑训练损失。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。