arXiv cs.CL· Utkarsh Ranjan·· 1 天前AI 评分22
WakeKV：面向会改变读取行为的注意力头的响应式可逆 KV 驻留策略
WakeKV: Reactive, Reversible KV Residency for Heads That Change Their Minds
AI 导读
WakeKV 是一种响应式 KV 驻留策略，将"冷却"的注意力头状态移入可恢复的 CPU 存储池，而非冻结或永久驱逐。研究在 1.5B-8B 三个模型、三种场景下测得多数注意力头在生成过程中至少改变一次读取行为，WakeKV 在匹配内存或预算下持续优于冻结分类与破坏性驱逐，并在 Mistral-7B 的 FlexiCache/vLLM 实现上验证了吞吐提升且保持 LongBench 质量。
来源：arXiv cs.CL · arxiv.org