跳到正文
arXiv cs.AI· Gleb Molodtsov, Ekaterina Alimaskina, Evgeny Uskov, Artur Zagitov, Aleksandr Beznosikov·· 9 小时前AI 评分24

MaskAhead:块扩散语言模型中的掩码引导 KV Cache 淘汰

Mask-Guided KV Cache Eviction in Block Diffusion Language Models

AI 导读

研究者提出免训练方法 MaskAhead,用单一掩码查询排序机制同时完成块扩散语言模型的 KV 选择与淘汰,当前块掩码指导选择、后续掩码块探测指导淘汰。

来源:arXiv cs.AI · arxiv.org