Transformer 离散时间自注意力动力学的渐近分析

该论文对 Transformer 自注意力动力学的离散时间版本进行了完整研究，给出了单头和多头情形下平衡点的完整分类及其稳定性性质。研究表明，两种情形下动力学的主要吸引子都是与 value 矩阵主特征向量对齐的共识平衡点，单头情形下还存在局部渐近稳定的二分平衡点，并在真实 Transformer 的学习权重矩阵中得到验证。