arXiv cs.AI· Junyoung Park, Jungwook Choi, Mingu Lee·· 5 小时前AI 评分22
ValueDiff：面向弱注意力汇 LLM 的值几何 KV cache 淘汰方法
ValueDiff: Value-Geometric KV Cache Eviction for Sink-Suppressed LLMs
AI 导读
ValueDiff 是一种基于值几何的 KV cache 淘汰方法，按 value 向量与缓存均值的 L2 偏差对 token 排序，在弱注意力汇模型上替代依赖注意力汇的既有方案。
来源：arXiv cs.AI · arxiv.org