arXiv cs.AI· Han Yu, Wenhui Zhu, Jincheng Cao, Rui Cai, Yuanda Xu, Zhengze Zhou, Xiwen Chen, Hao Wang, Xuanzhao Dong, Han Shi, Menglin Zhou, Shayan Mohajer Hamidi, Lin Su, Mina Razghandi, Sayan Ghosh, Qing Lan, Rohit Jain, Alborz Geramifard·· 8 小时前AI 评分24
Budgeted KV-Cache Repair：SUR 以 2-5% 预算修复演化上下文
Budgeted KV-Cache Repair for Evolving Contexts
AI 导读
研究者提出 budgeted KV-cache repair，通过重算保留后缀中用户选定比例来恢复任务性能，并发现刷新连贯文本区域优于刷新孤立 token。基于此的 Semantic-Unit Refresh（SUR）用廉价嵌入分数把预算分配给查询相关文本区域，无需训练或辅助 Transformer 前向。
来源：arXiv cs.AI · arxiv.org