arXiv stat.ML· Dwaipayan Haldar, Indranil Patra, Azhar Yousuf, Chandra Sekhar Seelamantula·· 5 小时前AI 评分22
SpectrumQuant：面向 LLM 量化的频谱对齐方法
SpectrumQuant: Spectrum Alignment for LLM Quantization
AI 导读
SpectrumQuant 是一种闭式旋转方法，通过从校准数据估计激活协方差来构建协方差感知的正交变换，用于 LLM 训练后量化。在 Llama 和 Mistral 模型上的实验显示，其性能与 SpinQuant、DartQuant 等学习式旋转方法相当，但所需 GPU 显存不到后者的三分之一，耗时也显著更少。
来源：arXiv stat.ML · arxiv.org