Transformer 长文本生成的渐近行为研究：温度阈值与收敛性

一项理论研究分析了 Transformer 网络长时间生成文本的渐近行为，发现即使仅三个 token 的单层纯注意力 Transformer 也可能不收敛。对于包含任意深度、层归一化、MLP、RoPE 编码及局部与全局层混合的 Transformer 类，每个模型都存在一个 softmax 温度阈值，超过该阈值后其经验缓存分布收敛到唯一极限，且与初始条件无关。