arXiv cs.AI· Rui Fang, Hsi-Wen Chen, Chia-Ming Cheng, Ming-Syan Chen·· 9 小时前AI 评分22
LoopQ:面向循环语言模型的量化框架
LoopQ: Quantization for Looped Language Models
AI 导读
针对循环语言模型(LoopLM)在训练后量化(PTQ)中因角色分布偏移、循环状态复用和递归误差累积导致的性能退化,研究者提出循环感知的 PTQ 框架 LoopQ。在 W4A4 量化下,LoopQ 在四个骨干模型上实现五任务平均准确率 67.8% 的相对提升,并在八组骨干-数据集组合上取得保守估计 75.2% 的平均困惑度相对下降。
来源:arXiv cs.AI · arxiv.org