提出对称感知跨层值缓存压缩方法VFold
热点事件持续更新
提出对称感知跨层值缓存压缩方法VFold
1 篇报道1 个报道来源2 小时前更新
先了解这件事
报道摘要
VFold 提出一种对称感知的 value cache 合并策略，在解码阶段压缩 KV cache 内存，且无需改动 LLM 架构、不带来明显性能下降。该方法可与高比例量化或 key cache 剪枝等现有压缩技术叠加，达到单一方法无法实现的压缩比，额外开销极小。
摘自 arXiv cs.LG
最新进展10月9日 12:00
VFold：对称感知的跨层 Value Cache 压缩报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv cs.LGVFold：对称感知的跨层 Value Cache 压缩
VFold 提出一种对称感知的 value cache 合并策略，在解码阶段压缩 KV cache 内存，且无需改动 LLM 架构、不带来明显性能下降。该方法可与高比例量化或 key cache 剪枝等现有压缩技术叠加，达到单一方法无法实现的压缩比，额外开销极小。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。