arXiv cs.LG· Yan Scholten, Rachel Lawrence, James Hensman, Stephan G\"unnemann, Alicia Curth, Riccardo Grazzi·· 9 小时前AI 评分22
激活去噪：并行与串行 LLM 量化鲁棒性对比研究
Activation Denoising: A Robustness View on Parallel vs Sequential LLM Quantization
AI 导读
针对并行量化误差沿残差流累积的问题，研究者提出"激活去噪"方法，将上游误差建模为噪声，通过预处理加度量加权舍入进行正则化，在保持全并行量化的同时恢复串行量化的大部分收益，耗时仅为后者一小部分。该方法形成的深度累积平滑惩罚可抑制量化误差放大，且与量化中常用的正交旋转互补、效果叠加。
来源：arXiv cs.LG · arxiv.org