arXiv cs.AI· Ahsan Bilal, Muhammad Ahmed Mohsin, Muhammad Umer, Wajih Hassan Raza, Atta Ul Asad, Young D. Kwon, Michal Valko, Dean F. Hougen·· 10 小时前AI 评分24
LORE-KV：用蒙特卡洛估计做 KV Cache 驱逐
Monte Carlo Estimation for KV Cache Eviction
AI 导读
研究者提出免训练的 KV cache 驱逐方法 LORE-KV，通过从冻结目标模型采样短自回归续写、用其响应侧 query 状态估计 prompt token 效用，把固定预算的未来感知驱逐建模为分布估计。
来源：arXiv cs.AI · arxiv.org