arXiv cs.LG· Ran Tian, Courtney Paquette·2026-10-12 12:00· 7 小时前AI 评分22

用逐层随机特征模型模拟深度神经网络的训练尖峰

Simulating Training Spikes of Deep Neural Networks by Layer-wise Random Feature Models

AI 导读

研究者提出用重尾幂律分布输入的简单二次模型复现 LLM 预训练中的 loss 尖峰，并给出建模 DNN 逐层训练动态的理论框架与模拟算法。在 β2 接近 1 的 Adam 配置案例中，模拟成功从给定 checkpoint 预测出尖峰行为，并据此推导出改善性能的 β2 调度方案。

来源：arXiv cs.LG · arxiv.org