arXiv cs.AI· Mahsa Salmani, Sayeh Sharify, Hesham Mostafa·· 1 天前AI 评分24
DualQuant：面向 LLM 的双尺度免校准权重与激活量化
DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
AI 导读
DUALQUANT 是一个双尺度、免校准的 LLM 训练后量化框架，通过最小化权重重建 MSE 直接得到逐通道激活缩放因子，无需校准数据。它是首个正式支持 MX 全家族与 NVFP4 等块格式的双尺度方法，在 Llama 和 Qwen 上于 WikiText-2、C4 及零样本任务中匹配或超越基于校准的 SmoothQuant。
来源：arXiv cs.AI · arxiv.org