研究揭示小初始化下的精度非单调动态

一项新研究提出，在极小初始化条件下，分类精度会出现被称为“精度之井”的非单调现象：训练早期精度快速上升，随后下降，很久之后才恢复。作者为 Yaroslav Gusev、Eugene Golikov 和 Dmitry Yarotsky。 该现象在深度线性网络、MNIST 全连接 ReLU 网络、CIFAR-10 深度卷积网络及合成任务中均被观察到，训练精度与测试精度皆然。作者提出目标驱动组织、退化瓶颈与后续招募恢复三阶段解释，并证明在某合成任务中精度可渐近升至 100%、崩塌至 0 后再永久恢复至 100%。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。