GateSight:无需查询预判KV淘汰
热点事件持续更新
GateSight:无需查询预判KV淘汰
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Junjie Li 等人提出 GateSight,一种与查询无关的 KV 淘汰方法:在 prefill 阶段利用 GDN 层输出的写门、衰减和写入幅度信号,通过轻量级 per-head MLP 预测各 KV 条目的未来效用,在尚未见到查询前就决定注意力层保留哪些条目,并在 prefill 后一次性评分、物理释放被淘汰的 KV。 该方法的特点是不依赖注意力分数,据作者称其预测只读取上述门控信号。目前该工作以 arXiv 论文形式发布,尚无第三方验证或实际部署效果的数据。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
GateSight:用循环记忆预判注意力记忆,为混合 LLM 实现与查询无关的 KV 淘汰报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv cs.AIGateSight:用循环记忆预判注意力记忆,为混合 LLM 实现与查询无关的 KV 淘汰
GateSight 利用 GDN 层在 prefill 阶段输出的写门、衰减和写入幅度信号,通过轻量级 per-head MLP 预测 KV 条目的未来效用,在未见查询前就决定各注意力层保留哪些条目,并在 prefill 后一次性评分、物理释放被淘汰的 KV。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。