arXiv cs.LG· Hanqing Liu, Jianjun Cao, Yuanze Li, Zijian Zhou·· 3 小时前AI 评分31
论文称 Slingshot 损失尖峰源于低精度浮点运算，提出数值特征膨胀机制
Grokking or Glitching? How Low-Precision Drives Slingshot Loss Spikes
AI 导读
一篇被 NeurIPS 2026 接收的论文证明，深度网络长期无正则训练中的 Slingshot 损失尖峰源于浮点运算精度极限：训练进入高置信阶段后，正确类 logit 与其他 logit 之差超过吸收误差阈值，反向传播中正确类梯度被舍入为零，破坏类间梯度零和约束，引发分类器层参数系统性漂移，论文称之为数值特征膨胀（NFI）。
来源：arXiv cs.LG · arxiv.org