大型线性自编码器的学习regime棱镜层级结构

研究者为大型权重绑定线性自编码器提出了一套学习regime的棱镜层级图景，其极端regime对应三棱镜的各个面，包括大样本、小样本、平均场、窄潜空间和自由五种基本regime。针对前四种regime，作者在梯度流下严格推导并刻画了极限训练与总体动力学，证明了收敛性并与实验吻合，揭示了谱临界慢化、初始化导致的偏离PCA最优的陷阱，以及总体损失指数收敛而训练损失仅代数松弛的现象。