跳到正文
arXiv stat.ML· Albert Gong, Annabelle Michael Carrell, Raaz Dwivedi, Lester Mackey·· 9 小时前AI 评分24

Express:将非因果注意力近似转为因果近似,改进 Thinformer 注意力保证

Express Language Modeling

AI 导读

新工具 Express 可将非因果注意力近似转换为具有同等近似保证的因果近似,与 SOTA 的 Thinformer 结合后,在序列长度 n 下实现 log^{3/2}(n)/s 的近似误差,仅需 O(s) 内存和 O(s^2 log^2(n)) 压缩开销。

来源:arXiv stat.ML · arxiv.org