LoopQ：循环语言模型的量化框架

研究者 Rui Fang 等人提出并发布 LoopQ，一个面向循环语言模型（LoopLM）的循环感知训练后量化（PTQ）框架，用于缓解此类模型在量化中因角色分布偏移、循环状态复用和递归误差累积导致的性能退化。 据该研究称，在 W4A4 量化下，LoopQ 在四个骨干模型上实现五任务平均准确率 67.8% 的相对提升，并在八组骨干-数据集组合上取得保守估计 75.2% 的平均困惑度相对下降。这些数字为研究者报告的结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。