研究指在线自蒸馏教师信号失效，提出批判条件化方法

Mayug Maniparambil 等作者提出“批判条件化在线自蒸馏”方法：先对当前 rollout 生成批判，再让打分教师模型基于该批判进行评分。 作者称，现有在线策略自蒸馏中，教师模型仅凭参考解打分，其全分布 KL 与 token log-ratio 信号无法定位学生 rollout 中的错误，也无法将概率推离错误 token，甚至难以区分同一问题下正确与错误的 rollout。这一失效构成了新方法的动机。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。