arXiv cs.LG· Yaroslav Gusev, Eugene Golikov, Dmitry Yarotsky·· 7 小时前AI 评分18
精度之井：极小初始化下非单调的精度动态
The Accuracy Well: Nonmonotone Accuracy Dynamics at Vanishing Initialization
AI 导读
研究发现在极小初始化下，分类精度呈现"精度之井"现象：训练早期精度快速上升后下降，很久之后才恢复。该现象在深度线性网络、MNIST 全连接 ReLU 网络、CIFAR-10 深度卷积网络及合成任务中均被观察到，且训练与测试精度皆然。作者提出目标驱动组织、退化瓶颈与后续招募恢复三阶段解释，并证明某合成任务中精度可渐近升至 100%、崩塌至 0 后再永久恢复至 100%。
来源：arXiv cs.LG · arxiv.org