CriticOPD改进在线策略蒸馏

研究者提出 CriticOPD，用于改进在线策略蒸馏（OPD）。OPD 的问题是教师模型会跟随学生的错误，无法从错误前缀恢复正确答案；CriticOPD 利用教师的错误识别能力对错误 rollout 进行批评，让学生据此重写解答，并将批评作为特权信息用于教师打分，学生训练时不使用批评。 在两个 Qwen3 学生模型和六个数学推理基准上，CriticOPD 均优于 OPD，在竞赛题上提升最大。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。