arXiv cs.LG· Ryan Solgi, Parsa Madinei, Zheng Zhang·· 6 小时前AI 评分24
TuBA：用 Tucker 瓶颈注意力实现多维序列建模
Tucker Bottleneck Attention for Multi-Dimensional Sequence Modeling
AI 导读
研究者提出 Tucker 瓶颈注意力（TuBA），利用低秩张量结构将隐藏张量投影到紧凑的 Tucker 核心上做多头自注意力，实现次二次方复杂度的全局 token 混合。在视频预测和全球天气预报任务上，TuBA 相比标准自注意力最多降低 24.7% 和 37.1% 的误差，减少 66.6% 和 85.1% 的计算量，提速最高达 4.27 倍。
来源：arXiv cs.LG · arxiv.org