研究揭示在线策略蒸馏学习信号消失机制
热点事件持续更新
研究揭示在线策略蒸馏学习信号消失机制
1 篇报道1 个报道来源2 小时前更新
先了解这件事
报道摘要
研究分析 on-policy distillation（OPD）的失败机制：在代码生成和数学推理任务中，使用更大规模教师的 OPD 出现早期损失平台期，200 次更新后平均最终损失仅下降 25.1%，而 self-RL 教师则下降 96.2%。
摘自 arXiv cs.LG
最新进展10月9日 12:00
为什么 On-Policy Distillation 有时会失败：学习信号消失报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv cs.LG为什么 On-Policy Distillation 有时会失败：学习信号消失
研究分析 on-policy distillation（OPD）的失败机制：在代码生成和数学推理任务中，使用更大规模教师的 OPD 出现早期损失平台期，200 次更新后平均最终损失仅下降 25.1%，而 self-RL 教师则下降 96.2%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。