跳到正文
arXiv cs.LG· Aksel Fristrup, Sumit Pandey, Ankit Kariryaa·· 11 小时前AI 评分22

ApexQuant:无需数据的弹性量化,通过残差重各向同性化实现

ApexQuant: Data-Free Elastic Quantization by Residual Re-Isotropization

AI 导读

ApexQuant 是一种无需校准的量化方法,通过递归重量化残差误差,可作为现有量化器的精炼层。该方法在四个开源 LLM 及地球观测和医疗领域验证,4 bit 下接近全精度,并给出所测最佳 2 bit 方案,完全无需数据。每个前缀本身即为有效的低比特模型,单一产物可服务多种精度。

来源:arXiv cs.LG · arxiv.org