研究提出负策略OPD蒸馏方法NP-OPD

Jaehui Hwang等作者提出 Negative-Policy OPD（NP-OPD），一种在在线策略蒸馏（OPD）中引入负策略的方法。其做法是在 rollout 阶段加入能力更弱的负策略，持续产生负策略偏好但教师不偏好的 token，使这些 token 始终处于教师监督之下，从而在保留正向教师监督的同时补充显式负向信号。 作者称，NP-OPD 在多种模型规模、生成模式、推理领域和不同 OPD 变体上均优于 OPD，并能抑制负策略偏好的 token、使学生远离负策略。代码将公开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。