arXiv cs.LG· Seobin Song, Geonho Lee, Janghwan Lee, Jungwook Choi·· 5 小时前AI 评分22
Align, Then Correct：面向极低比特量化大语言模型的无训练两阶段低秩补偿
Align, Then Correct: Training-Free Two-Stage Low-Rank Compensation for Extremely Quantized Large Language Models
AI 导读
研究者提出无训练两阶段闭式框架，通过 Fisher 加权非对称对齐与秩约束自然梯度校正，改进极低比特量化大语言模型的低秩误差补偿。在 QuIP# 2-bit 下，该方法将 Qwen3-8B 的 WikiText-2 困惑度从 12.43 降至 10.26，Qwen3-4B 从 21.11 降至 13.22。
来源：arXiv cs.LG · arxiv.org