arXiv cs.AI· Bahareh Nikpour, Hossein Rajabzadeh, Maryam Dialameh, Vahid Partovi Nia, Parsa Omidi·2026-10-12 12:00· 5 小时前AI 评分24

Kronecker Product Attention：通过结构化分解实现内存高效 KV 压缩

Kronecker Product Attention: Memory-Efficient KV Compression via Structured Factorization

AI 导读

研究者提出 Kronecker Product Attention（KPA），将 key 和 value 激活表示为紧凑、依赖 token 的矩阵因子的 Kronecker 乘积之和，在四个模型规模和九个下游基准上与 TPA、MHA、MQA、GQA、MLA 持平或更优，同时实现最高 10x 的 KV cache 压缩。

来源：arXiv cs.AI · arxiv.org

推理能力数据与训练论文研究 #论文/研究 #推理 #数据/训练