arXiv cs.LG· Lei Zhao, Qichao Zhao, Bowen Zuo, Qishi Zhan·· 3 小时前AI 评分24
为什么 On-Policy Distillation 有时会失败：学习信号消失
Why On-Policy Distillation Sometimes Fails: Vanishing Learning Signals
AI 导读
研究分析 on-policy distillation（OPD）的失败机制：在代码生成和数学推理任务中，使用更大规模教师的 OPD 出现早期损失平台期，200 次更新后平均最终损失仅下降 25.1%，而 self-RL 教师则下降 96.2%。
来源：arXiv cs.LG · arxiv.org