深度引发的秩崩溃：为何在表征上添加损失项无法修复 Transformer

研究发现，削弱 skip connection 会让小型 Transformer 发生秩崩溃，此时在表征上添加任何损失项都无法修复，原因是任务梯度不再到达决定注意力指向的 query 和 key 权重。恢复 skip connection 无需改变任何权重即可立即重新打开该路径，秩随之恢复，但仅在远高于崩溃尺度的层级上。修复崩溃网络的关键在于梯度是否仍能到达需要改变的权重，而非损失项的推力有多强。