arXiv cs.LG· Yuping Lin, Jiayuan Ding, Yue Xing, Pengfei He, Jiliang Tang, Subhabrata Mukherjee·· 7 小时前AI 评分22
VECTOR：一种改进基于驱逐的 KV cache 压缩的简易插件
A Simple Plug-in for Improving Eviction-Based KV Cache Compression
AI 导读
VECTOR 是一种即插即用增强方案，为基于驱逐的 KV cache 压缩流程引入保留、近似、驱逐三路 token 路由，结合基础打分器的重要性信号与离线校准回归价值估计的可重建性信号。
来源：arXiv cs.LG · arxiv.org