研究：Transformer训练需先学输出层再学注意力

一项 arXiv 论文研究浅层 Transformer 从无界长度输入中识别 star-free 语言的训练动力学，结论是注意力学习可能滞后于输出层学习。作者 Yaomengxi Han 与 Debarghya Ghoshdastidar 称，单步梯度先学注意力权重再训练输出层会失败，仅训练注意力层或输出层、或单次注意力更新后微调输出层也都无法学会该语言。 他们证明，采用三阶段梯度下降——先更新输出层、再更新注意力、最后微调输出层——可以成功训练出识别该语言的 Transformer。实验显示这种“注意力学习滞后于输出层学习”的顺序在语言识别、回归和上下文学习任务中同样有益。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。