arXiv cs.CL· Fang Wan, Xufeng Liu, Fan Li, Yi Liu·· 3 小时前AI 评分22
稀疏注意力是矩阵近似，而非从一堆数值中挑选：MASA 方法提出
Sparse Attention Is Matrix Approximation, Not Choosing from a Bag of Values
AI 导读
针对稀疏注意力仅保留注意力矩阵中大数值或高权重区域的错误做法，研究者提出 Matrix Approximation Sparse Attention（MASA），用闭式评分衡量每个稀疏单元对矩阵乘积近似误差的削减量。MASA 可作为插件加入现有稀疏注意力框架，无需改动稀疏 kernel 或预算，在多种稀疏注意力方法、benchmark 和 LLM 主干上取得一致的准确率提升。
来源：arXiv cs.CL · arxiv.org