arXiv cs.CV· Haowei Wang, Hao Lin, Qi Zhu, Jiayi Ji, Deyi Ji, Liujuan Cao, Rongrong Ji·· 2 小时前AI 评分22
CV-OPD：面向 VLM 的对比视觉同策略蒸馏
CV-OPD: Contrastive Vision On-policy Distillation
AI 导读
针对 VLM 同策略蒸馏（OPD）中学生即使视觉区域被遮挡或替换为噪声仍能答对、未真正依赖视觉证据的捷径问题，研究者提出 CV-OPD。该方法引入与答案无关的负向教师，通过 Contrastive Divergence Loss（CDL）对比正负教师分布，并用 Discrepancy Aware Gate（DAG）在 token 与样本级别筛选视觉相关 token 参与优化。
来源：arXiv cs.CV · arxiv.org