KVFetch：为KV缓存压缩补上时序预取

研究者 Linfeng Dong 等人提出免训练、即插即用的框架 KVFetch，为现有基于内容相关性的 KV cache 压缩方法补上按位置顺序访问的时序召回通道。其做法是量化冷层、用单调读指针检测复制行为并预取位置后继。 在 RULER-16K 等预算控制下，KVFetch 将逐字复制得分从 0.8 提升至 78.4，13 项任务平均提升 8.4；在无需顺序访问的 LongBench 上，该通道保持休眠、不产生开销。上述结果来自论文自述。 该框架针对的问题是：现有压缩方法只按内容相关性决定保留或召回，忽略按位置顺序遍历这一访问模式。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。