Sinkhorn 双随机注意力秩衰减分析

一项研究分析了 Transformer 中双随机注意力的秩衰减问题，发现用 Sinkhorn 算法归一化的双随机注意力矩阵比标准 softmax 行随机注意力更能有效保持秩，且残差连接对缓解秩崩溃至关重要。该现象在情感分析和图像分类任务上得到实证验证，理论上推导出纯自注意力下秩随深度双重指数衰减至 1 的界。