研究者提出预算化KV缓存修复方法SUR

研究者 Han Yu 等人提出一种“预算化 KV 缓存修复”方法：在保留后缀中重算用户选定比例的内容，以恢复任务性能。他们发现，刷新连贯文本区域的效果优于刷新孤立 token。 基于这一发现，他们提出 Semantic-Unit Refresh（SUR）：用廉价嵌入分数把重算预算分配给与查询相关的文本区域，无需训练，也不需要辅助 Transformer 前向。 该方法目前以论文形式发布，报道未给出具体任务上的性能恢复幅度。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。