研究揭示深度学习Hessian谱对称性起源

Yossi Arjevani 发表论文，提出深度学习训练后模型 Hessian 特征值谱中大量接近零的聚集与少数孤立离群值，源于对某个隐藏的高对称参考构型的偏离。 该论文称，在对称参考下 Hessian 呈现丰富不变性，迫使高维核与大重数特征值出现；回到原始构型后对称性破缺，产生所观测到的聚集与离群层级。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。