arXiv cs.LG· Heejun Kim, Junyoung Lee, SangLyul Cho, Dongsu Han, Insu Han, Sehoon Kim·2026-10-08 12:00· 6 小时前AI 评分22

ResidualQuant：面向循环 Transformer 的 2-Bit 残差 KV Cache 量化

ResidualQuant: KV Cache Quantization for Looped Transformers with 2-Bit Residuals

AI 导读

ResidualQuant 利用循环 Transformer 各轮 KV 状态高度相似的特点，以最后一轮 KV 为参考、用低精度残差表示其余轮次，结合最小二乘缩放、旋转与逐轮混合精度，实现低至 INT2 的 KV Cache 量化。

来源：arXiv cs.LG · arxiv.org