arXiv cs.LG· Aksel Fristrup, Sumit Pandey, Ankit Kariryaa·· 11 小时前AI 评分22
ApexQuant:无需数据的弹性量化,通过残差重各向同性化实现
ApexQuant: Data-Free Elastic Quantization by Residual Re-Isotropization
AI 导读
ApexQuant 是一种无需校准的量化方法,通过递归重量化残差误差,可作为现有量化器的精炼层。该方法在四个开源 LLM 及地球观测和医疗领域验证,4 bit 下接近全精度,并给出所测最佳 2 bit 方案,完全无需数据。每个前缀本身即为有效的低比特模型,单一产物可服务多种精度。
来源:arXiv cs.LG · arxiv.org