ValueDiff:面向弱注意力汇LLM的值几何KV缓存淘汰
热点事件持续更新
ValueDiff:面向弱注意力汇LLM的值几何KV缓存淘汰
1 篇报道1 个报道来源9 小时前更新
先了解这件事
报道摘要
ValueDiff 是一种基于值几何的 KV cache 淘汰方法,按 value 向量与缓存均值的 L2 偏差对 token 排序,在弱注意力汇模型上替代依赖注意力汇的既有方案。
摘自 arXiv cs.AI
最新进展10月7日 12:00
ValueDiff:面向弱注意力汇 LLM 的值几何 KV cache 淘汰方法报道时间线
沿着报道,了解事件的不同侧面。
10月7日
- arXiv cs.AIValueDiff:面向弱注意力汇 LLM 的值几何 KV cache 淘汰方法
ValueDiff 是一种基于值几何的 KV cache 淘汰方法,按 value 向量与缓存均值的 L2 偏差对 token 排序,在弱注意力汇模型上替代依赖注意力汇的既有方案。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。