研究：在线策略蒸馏的教师优势来自重复纠正

一项发表于 arXiv 的研究重新审视在线策略蒸馏（OPD），试图测量教师纠正对学生模型准确率的实际增益。作者 Yiping Li 等通过在师生分歧处进行受控 token 翻转来观察效果：在选定的失败轨迹上，单次 token 翻转带来的平均增益有限，而重复翻转可将准确率从 28.4% 提升至 74.5%，接近教师自身的 76.9%。 研究据此认为，OPD 虽被视为比强化学习更便宜的替代方案，但其本质仍是依赖教师监督的知识蒸馏，教师的价值主要体现在对同一分歧点的反复纠正，而非单次提示。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。