CanonQ极低比特量化训练框架发布
热点事件持续更新
CanonQ极低比特量化训练框架发布
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
研究者 Kai Yi 等人发布 CanonQ，一个面向极低位宽大语言模型的统一量化感知训练框架。其做法是把源规范化与任务感知适配分开，将异构张量映射到规范坐标，使冻结的高斯参考码本可跨层、跨模型复用。 在 W2A4KV2 联合压缩下，作者称 CanonQ-Omni 在 LLaMA3-1B/3B/8B 上使 WikiText-2 困惑度最多降低 14.28 倍，零样本平均准确率最多提升 57.9%。这些为论文报告的结果。
AI 根据报道生成 · 2 小时前更新
最新进展10月8日 12:00
CanonQ：面向 W2A4KV2 极低位宽 LLM 压缩的统一量化感知训练框架报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- arXiv cs.CLCanonQ：面向 W2A4KV2 极低位宽 LLM 压缩的统一量化感知训练框架
研究者提出 CanonQ 统一量化感知训练框架，通过将源规范化与任务感知适配分离，把异构张量映射到规范坐标，使冻结的高斯参考码本可跨层跨模型复用。在 W2A4KV2 联合压缩下，CanonQ-Omni 在 LLaMA3-1B/3B/8B 上 WikiText-2 困惑度最多降低 14.28 倍，零样本平均准确率最多提升 57.9%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。