arXiv cs.LG· Alexandra Volkova, Matin Ansaripour, Erik Schultheis, Christoph H. Lampert, Dan Alistarh·· 6 小时前AI 评分22
Q-PACE：面向量化感知训练的动态精度分配方法
Q-PACE: Dynamic Precision Allocation for Quantization-Aware Training
AI 导读
Q-PACE 通过二阶敏感度模型预测量化噪声带来的损失增量，在训练中周期性重算各层曲率系数并重新分配精度。在最高 4B 参数 LLM 的预训练和有监督微调中，它持续优于现有混合精度训练方案，并在总显存预算大幅降低的情况下达到相当损失。研究还发现量化敏感度可按深度和层类型高度预测，且训练中保持稳定，因此校准可以低频、低成本进行。
来源：arXiv cs.LG · arxiv.org