arXiv cs.CL· Kai Yi, Tarek Elgamal, Sruthikesh Surineni, Vignesh Vivekraja, Soumyadeep Ghosh, Steven Li·· 4 小时前AI 评分27
CanonQ：面向 W2A4KV2 极低位宽 LLM 压缩的统一量化感知训练框架
Few Bits, One Law: Toward W2A4KV2
AI 导读
研究者提出 CanonQ 统一量化感知训练框架，通过将源规范化与任务感知适配分离，把异构张量映射到规范坐标，使冻结的高斯参考码本可跨层跨模型复用。在 W2A4KV2 联合压缩下，CanonQ-Omni 在 LLaMA3-1B/3B/8B 上 WikiText-2 困惑度最多降低 14.28 倍，零样本平均准确率最多提升 57.9%。
来源：arXiv cs.CL · arxiv.org