arXiv cs.LG· Xiaofei Yin, Tong Chu, Jiyuan Fu, Jun Lan, Shuheng Zhou, Huijia Zhu·· 1 天前AI 评分22
SF-MOPD：慢-快多教师在线策略蒸馏如何缓解能力干扰
Slow-Fast Multi-Teacher On-Policy Distillation for Capability Preservation
AI 导读
研究提出慢-快多教师在线策略蒸馏（SF-MOPD），通过将学生模型的指数移动平均作为"慢模型"能力参考，在 log-probability 空间剔除使快模型偏离慢模型的分量，保留对齐与正交分量。实验表明，SF-MOPD 在多模型规模上有效缓解能力干扰，增强多模态专业能力，并降低通用能力基准的平均退化，持续优于原版 MOPD。
来源：arXiv cs.LG · arxiv.org