arXiv cs.AI· Noam Elata, Itay Lamprecht, Mikey Shechter, Daniel Ohayon, Itay Hubara, Daniel Soudry·· 5 小时前AI 评分31
SAGA：解耦 key/value 头数的非对称稀疏注意力，长上下文 LLM 解码提速超 2 倍
More Value per Key: Asymmetric Sparse Attention for Faster LLM Decoding
AI 导读
研究者提出 Sparse Asymmetric Group-Query Attention（SAGA），将 key 头与 value 头数量解耦，并搭配近似 top-N（Atop-N）稀疏注意力。
来源：arXiv cs.AI · arxiv.org