arXiv cs.CL· Yingfa Chen, Xingyu Shen, Chaojun Xiao, Xu Han·· 5 小时前AI 评分30
Latent Compaction:用测试时训练压缩 KV cache
Latent Compaction with Test-Time Training
AI 导读
Latent Compaction 通过测试时训练学习文档专属的紧凑 KV cache,模型权重全程冻结,仅用文档通用提示词训练。在 RULER 上以 32× 压缩率取得 96.7% 准确率,KVZip+ 仅为 40.0%。该方法可跨模型规模与系列迁移,在 Qwen3 和 MiniCPM5 上均提升检索表现,代码已开源。
来源:arXiv cs.CL · arxiv.org