arXiv cs.LG· Sunjoo Whang, Jungjun Oh, Minsung Kim, Dongho Seo, Jisu Shin, Gregory Kielian, Hoi-Jun Yoo, Sangjin Kim·· 6 小时前AI 评分22
Dual-QK：面向可剪枝 2-bit KV Cache 的锐查询与平坦键
Dual-QK: Sharp Queries and Flat Keys for Prunable 2-bit KV Caches
AI 导读
Dual-QK 通过成对的非正交 query/key 变换，结合部分 key 白化与 query 对齐基，在 INT2 量化下平衡 key 尺度并集中 query 能量以支持动态通道剪枝。
来源：arXiv cs.LG · arxiv.org