arXiv cs.LG· Donghyun Lee, Arkapravo Ghosh, Varun Manjunath, Bumjoon Kyle Rhee, Hyunho Kook, Shiting Xiao, Youngeun Kim, Priyadarshini Panda·· 5 小时前AI 评分24
SoloQ：面向扩散语言模型的无校准量化框架
SoloQ: Calibration-Free Quantization for Diffusion Language Models
AI 导读
SoloQ 是一种无需校准数据的扩散语言模型量化框架，通过将权重和激活映射到归一化旋转基，实现数据无关的量化。在 LLaDA、Dream、Fast-LLM v2 和 Nemotron-Labs-Diffusion 上，SoloQ 在 4-bit 量化下保持精度并超越基于校准的基线；采用 NVFP4 时峰值内存降低最多 2.61 倍，端到端推理加速最多 2.24 倍。
来源：arXiv cs.LG · arxiv.org