跳到正文
arXiv cs.AI· Rui Fang, Hsi-Wen Chen, Chia-Ming Cheng, Ming-Syan Chen·· 9 小时前AI 评分22

LoopQ:面向循环语言模型的量化框架

LoopQ: Quantization for Looped Language Models

AI 导读

针对循环语言模型(LoopLM)在训练后量化(PTQ)中因角色分布偏移、循环状态复用和递归误差累积导致的性能退化,研究者提出循环感知的 PTQ 框架 LoopQ。在 W4A4 量化下,LoopQ 在四个骨干模型上实现五任务平均准确率 67.8% 的相对提升,并在八组骨干-数据集组合上取得保守估计 75.2% 的平均困惑度相对下降。

来源:arXiv cs.AI · arxiv.org