arXiv cs.LG· Zhengyu Fang, Seoyeon Hong, Jie Yang, Muyang Li, Koyoshi Shindo, Brandon Joseph Lwowski, Jing Li·· 1 天前AI 评分22
Latent-MOPD：面向 LLM 的潜在多教师同策略蒸馏
Latent-MOPD: Latent Multi-Teacher On-Policy Distillation
AI 导读
Latent-MOPD 是首个面向 LLM 的表征级多教师同策略蒸馏（OPD）方法，同时利用专家的预测结果和计算这些预测所用的隐藏状态，无需额外教师训练。在同家族设置下，它在数学、代码和逻辑共 9 个基准上均优于仅 token、仅表征和均匀平均基线，参数量与各教师相同时多数基准超过单基准最佳教师；跨家族教师下也在全部基准上超过单通道基线。
来源：arXiv cs.LG · arxiv.org