新模型模拟并预测LLM训练尖峰

研究者 Ran Tian 和 Courtney Paquette 提出一个理论框架与模拟算法，用逐层随机特征模型模拟深度神经网络的训练动态，并复现大语言模型预训练中的 loss 尖峰。 该模型以重尾幂律分布输入构建简单二次模型。在 β2 接近 1 的 Adam 配置案例中，模拟从给定 checkpoint 成功预测出尖峰行为，并据此推导出改善性能的 β2 调度方案。上述预测与调度效果来自研究者的模拟结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。