arXiv cs.LG· Shiwen Wang, Pengxiang Zhao, Xiaoming Yuan·2026-10-09 12:00· 3 小时前AI 评分24

Deflating the Hessian：面向多模态扩散 Transformer 的 Rank-4 W4A4 量化

Deflating the Hessian: Rank-4 W4A4 Quantization for Multimodal Diffusion Transformers

AI 导读

研究者提出 Deflating Hessian 框架，将低秩辅助的 W4A4 训练后量化建模为耦合校准问题，通过消除输出侧低秩因子得到"收缩 Hessian"并引入激活噪声代理来抑制激活量化误差。

来源：arXiv cs.LG · arxiv.org