DualOPSD 提出师生耦合交替更新的自蒸馏方法
热点事件持续更新
DualOPSD 提出师生耦合交替更新的自蒸馏方法
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Yutong Chen 等作者提出 DualOPSD 自蒸馏方法，让特权教师在每个学生更新步骤后适应新学生，学生则保留 On-Policy 自蒸馏（OPSD）的截断前向 KL 目标，并用基于冻结初始模型的残差目标保留特权上下文效果。 在 Qwen3-8B/4B/1.7B 和三个数学基准上，DualOPSD 将 avg@12 准确率较 OPSD 提升 9.83 个百分点。诊断分析显示其双向 KL 更低、失配更少，并保留对特权参考的敏感性。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
DualOPSD：在 On-Policy 自蒸馏中闭合反馈回路报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv cs.AIDualOPSD：在 On-Policy 自蒸馏中闭合反馈回路
DualOPSD 提出一种耦合的师生交替更新机制，让学生保留 OPSD 的截断前向 KL 目标，同时让特权教师在每个学生更新步骤后适应新学生，并用基于冻结初始模型的残差目标保留特权上下文效果。在 Qwen3-8B/4B/1.7B 和三个数学基准上，DualOPSD 将 avg@12 准确率较 OPSD 提升 9.83 个百分点。诊断分析显示其双向 KL 更低、失配更少，并保留对特权参考的敏感性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。