Dual-QK：2-bit KV 缓存量化与剪枝新方法

Sunjoo Whang 等作者提交预印本论文，提出 Dual-QK 方法：通过成对的非正交 query/key 变换，结合部分 key 白化与 query 对齐基，在 INT2 量化下平衡 key 尺度并集中 query 能量，以支持动态通道剪枝。 作者称，在四个模型、五个生成基准及长上下文检索任务上，40% query 通道稀疏度下，Dual-QK 在多数任务上准确率优于 OSCAR；在 128K 上下文下，相对未剪枝 BF16 实现 6.8 倍 KV 缓存压缩、约 8.3 倍 KV 读取量减少，其 SGLang 实现在所评估配置下解码吞吐最高达未剪枝 BF16 的 3.75 倍。上述效果均为论文报告结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。