Transformer 在无界输入上的训练动力学：注意力学习可能滞后于输出层学习

针对浅层 Transformer 从无界长度输入中识别 star-free 语言的任务，研究发现单步梯度先学注意力权重再训练输出层的做法会失败，而三阶段梯度下降——先更新输出层、再更新注意力、最后微调输出层——可以成功训练。仅训练注意力层或输出层、或单次注意力更新后微调输出层均无法学会该语言。实验显示"注意力学习滞后于输出层学习"在语言识别、回归和上下文学习任务中同样有益。