arXiv cs.AI· Junjie Li, Jiong Lou, Jie Li·· 8 小时前AI 评分31
GateSight：用循环记忆预判注意力记忆，为混合 LLM 实现与查询无关的 KV 淘汰
GateSight: Recurrent Memory Anticipates Attention Memory for Query-Agnostic KV Eviction in Hybrid LLMs
AI 导读
GateSight 利用 GDN 层在 prefill 阶段输出的写门、衰减和写入幅度信号，通过轻量级 per-head MLP 预测 KV 条目的未来效用，在未见查询前就决定各注意力层保留哪些条目，并在 prefill 后一次性评分、物理释放被淘汰的 KV。
来源：arXiv cs.AI · arxiv.org