OnlineQAT：超低比特LLM在线策略蒸馏框架

Wenjun Wang等人提出OnlineQAT，一个面向超低比特大语言模型的两阶段量化感知训练框架。 该框架先通过分块QAT获得可用的低比特初始化，再对学生模型自生成的回答做在线策略蒸馏（OPD），由冻结的全精度教师模型在每个访问到的前缀上提供采样的reverse-KL训练信号。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。