多头自注意力高斯等价性获理论证明

研究者 Tomohiro Hayase 与 Ryo Karakida 发表论文，用随机矩阵理论证明了多头自注意力机制的高斯等价性：把 softmax 注意力替换为缩放后的分数加高斯噪声，中心化输出的极限谱定律保持不变。 该等价性同样适用于依赖 key 的 value 和输出投影。所得谱定律能分离头分配与投影宽度的影响，并区分跨头共享的谱保持性与头内 key-value 依赖性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。