跳到正文
arXiv cs.LG· Haeyong Kang, Chang D. Yoo·· 3 小时前AI 评分24

Budgeted Cache Repair:跨上下文 KV-Cache 复用的按预算修复方法

Budgeted Cache Repair for Cross-Context KV-Cache Reuse

AI 导读

针对跨上下文 KV-Cache 复用,研究者发现其在 MMLU 和 GSM8K 上会带来明显精度损失,且现有复用决策规则无法消除该代价。

来源:arXiv cs.LG · arxiv.org