多头自注意力机制的高斯等价性研究

研究者利用随机矩阵理论证明了多头自注意力机制的高斯等价性：将 softmax 注意力替换为缩放后的分数加高斯噪声，可保持中心化输出的极限谱定律不变。该等价性同样适用于依赖 key 的 value 和输出投影，所得谱定律能够分离头分配与投影宽度的影响，并区分跨头共享的谱保持性与头内 key-value 依赖性。