arXiv cs.LG· Qijia He, Zequn Li, Spencer Luo, Tianle Chen, Pradyumna Narayana, Zixian Ma, Ranjay Krishna, Lan Nie, Sugato Basu·· 7 小时前AI 评分22
DTDD：面向可靠同策略监督的散度触发动态蒸馏
DTDD: Divergence-Triggered Dynamic Distillation for Reliable On-Policy Supervision
AI 导读
研究者提出 DTDD（散度触发动态蒸馏），一种自适应同策略蒸馏（OPD）框架，用片段级学生-教师散度触发教师接管，教师生成恢复后缀供学生行为克隆学习。DTDD 将预热后峰值梯度范数降低 8.6 倍，从基础初始化出发以 2.6 倍更少的优化器更新达到 21.3% 留出数学准确率，并在 ALFWorld 上分别提升 4.8 和 4.1 个百分点。
来源：arXiv cs.LG · arxiv.org