arXiv cs.CL· Hong Chen, Yudong Zeng, Yongwei Huang, Zuhao Ouyang, Dongnan Zheng, Junyan Zhang, Yubo Gao, Xuming Hu·· 5 小时前AI 评分24
TwinKV:微小频率修正如何改变 KV Cache 压缩后的保留结果
Small Frequency Corrections Can Change What Survives KV Cache Compression
AI 导读
研究者提出免训练方法 TwinKV,用非局部 post-RoPE key 频率对 value energy 打折,在精确存储预算下保留原始 key 和 value。
来源:arXiv cs.CL · arxiv.org