arXiv cs.AI· Shi-Yu Tian, Yong Liu, Ximan Liu, Tianrui Zhu, Sule Bai, Xinwei Yang, Ruiqi Liu, Kun-Yang Yu, Ming Yang, Zhi Zhou, Yu-Feng Li, Yipeng Sun, Gu Simiu·· 5 小时前AI 评分22
Road MOPD：面向多教师在线策略蒸馏的跨教师守护方法
Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
AI 导读
针对多教师在线策略蒸馏（MOPD）中域路由无法避免共享参数梯度冲突的问题，研究者提出 Road MOPD，将非路由教师作为跨域辅助评判者，通过 token 级信用分配与多教师梯度投影协调监督。实验显示，该方法在高冲突场景下提升超过 5 个百分点，并改善了低冲突与三域设置下的整体性能。
来源：arXiv cs.AI · arxiv.org