研究：深度致Transformer秩崩溃，损失项无法修复

一项由 Martin Hofmann 与 Patrick Mäder 发表的研究发现，削弱 Transformer 的 skip connection 会让小型 Transformer 发生秩崩溃，此时在表征上添加任何损失项都无法修复。 研究称，原因是任务梯度不再到达决定注意力指向的 query 和 key 权重；恢复 skip connection 无需改变任何权重即可立即重新打开该路径，秩随之恢复，但仅在远高于崩溃尺度的层级上。 据此，修复崩溃网络的关键在于梯度是否仍能到达需要改变的权重，而非损失项的推力有多强。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。