跳到正文
arXiv cs.CV· Qixiang Yin, Huanjin Yao, Yuchen Cai, Jianghao Chen, Ziyi Wang, Fei Su, Zhicheng Zhao·· 1 天前AI 评分22

H-OPD:置信度感知的异构多教师多模态同策略蒸馏

H-OPD: Confidence Aware Heterogeneous Multi-Teacher Multimodal On-policy Distillation

AI 导读

H-OPD 提出一种置信度感知的异构多教师同策略蒸馏框架,用 token 级教师仲裁替代任务或样本级的静态路由,在同一学生轨迹上动态组合视觉语言教师与纯文本教师。该方法通过视觉到语言描述迁移让纯文本教师获取关键视觉语义,并在 11 个常用推理基准上取得更优表现。

来源:arXiv cs.CV · arxiv.org