跳到正文
arXiv cs.LG· Afshin Khadangi·· 7 小时前AI 评分24

Continuum Attention:用连续记忆曲线积分替代离散键值查找的因果注意力算子

Continuum Attention

AI 导读

研究者提出 Continuum Attention(CA),一种因果 Transformer 注意力算子,用对连续分段线性记忆曲线的积分替代离散 key/value 查找,每个 query 沿曲线诱导出指数相关性密度,通过闭式指数矩得到精确归一化注意力,梯度可由至多二阶矩解析求得,支持并行 GPU 实现并保持二次序列复杂度。

来源:arXiv cs.LG · arxiv.org