论文称Slingshot损失尖峰源于浮点精度

一篇被 NeurIPS 2026 接收的论文提出，深度网络长期无正则训练中出现的 Slingshot 损失尖峰，源于低精度浮点运算的精度极限。作者 Hanqing Liu 等人称，训练进入高置信阶段后，正确类 logit 与其他 logit 之差超过吸收误差阈值，反向传播中正确类梯度被舍入为零，破坏类间梯度零和约束，引发分类器层参数系统性漂移。 论文将这一机制称为数值特征膨胀（NFI），并称其证明了该现象是浮点运算精度限制的结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。