f-OPD：新鲜度感知的异步在线策略蒸馏框架

研究者 Xianwei Chen、Shimin Zhang、Jibin Wu 提出 f-OPD 在线策略蒸馏框架，用于缓解大语言模型在线策略蒸馏中异步执行与理想 on-policy 目标之间的偏离。 该框架将目标偏差分解为 rollout drift 与 supervision drift，并引入样本级新鲜度分数，据此自适应调节陈旧样本的影响、约束异步训练中累积的策略漂移。上述效果出自研究者自述，尚待独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。