研究者提出DTDD自适应在线蒸馏框架

研究者 Qijia He 等人提出 DTDD（散度触发动态蒸馏），一种自适应同策略蒸馏（OPD）框架：训练中用片段级学生-教师散度触发教师接管，由教师生成恢复后缀供学生行为克隆学习。 据该研究，DTDD 将预热后峰值梯度范数降低 8.6 倍，从基础初始化出发以 2.6 倍更少的优化器更新达到 21.3% 留出数学准确率，并在 ALFWorld 上分别提升 4.8 和 4.1 个百分点。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。