深度学习 Hessian 特征值谱的对称性起源与破缺

该论文提出，深度学习训练后模型的 Hessian 特征值谱——大量接近零的聚集与少数孤立离群值——源于对某个隐藏高对称参考构型的偏离。在对称参考下，Hessian 呈现丰富不变性，迫使高维核与大重数特征值出现；回到原始构型后对称性破缺，产生所观测到的聚集与离群层级。