VECTOR：改进KV缓存压缩的即插即用方法

Yuping Lin 等作者发布论文提出 VECTOR，一种用于改进基于驱逐的 KV cache 压缩的即插即用增强方案。 VECTOR 在原有驱逐流程中引入保留、近似、驱逐三路 token 路由，结合基础打分器的重要性信号与离线校准回归得到的价值估计，判断 token 的可重建性。 该方案定位为插件式增强，可叠加在现有基于驱逐的压缩流程上，论文未在摘要中给出具体压缩率或性能提升数据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。