LORE-KV：免训练KV缓存淘汰新方法

研究者 Ahsan Bilal 等人提交论文预印本，提出免训练的 KV 缓存淘汰方法 LORE-KV：从冻结的目标模型采样短自回归续写，用其响应侧 query 状态估计 prompt token 的效用，把固定预算的未来感知驱逐建模为分布估计；这些临时续写在最终解码前被丢弃，不需要辅助模型或训练。 在 B=128 的预算下，LORE-KV 将 Qwen2.5-14B 的 LongBench 平均分从 45.49 提升到 48.24（+2.75），将 Mistral-7B 的 16K RULER 平均分从 45.20 提升到 51.05（+5.85）。论文同时指出，缓存预算更大时增益减弱，且存在任务级别的性能回退；在六种稠密与混合注意力骨干模型上，LORE-KV 的每样本墙钟时间为 AnDPro 的 1.46–2.77 倍，属于一次性压缩开销。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。