arXiv cs.AI· Sara Abdali, Jongwoo Ko, Pashmina Cameron·· 12 小时前AI 评分22
AttSVD：基于注意力引导 SVD 的提示自适应低秩 KV Cache 压缩
AttSVD:Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD
AI 导读
AttSVD 提出一种免训练的低秩 KV Cache 压缩方法，通过对每个提示词自身的注意力几何做在线截断 SVD，只保留注意力真正读取的方向，将每头持久 KV 内存按保留秩成比例削减。
来源：arXiv cs.AI · arxiv.org