arXiv cs.AI· Neriah Ben David, Ori Meir, Or Ordentlich·· 9 小时前AI 评分22
OSFP4：面向 NVFP4 量化的对角平滑与块缩放联合优化
OSFP4: Joint Optimization of Diagonal Smoothing and Block Scales for NVFP4 Quantization
AI 导读
研究者提出 NVFP4 量化方案 OSFP4，对每个线性投影使用对角平滑矩阵，在 NVFP4 下联合优化平滑项与块缩放以最小化矩阵乘量化误差，并兼容 round-to-nearest 与 GPTQ 式逐次干扰消除。实验显示 OSFP4 在对应量化设置下取得所评估方案中最高的平均精度，同时保留约 94-97% 的厂商 NVFP4 prefill 吞吐，代码已开源。
来源：arXiv cs.AI · arxiv.org