VC-OPD视觉反事实在线策略蒸馏方法提出

Jiahe Feng 等人提出 VC-OPD（视觉反事实在线策略蒸馏），一种面向视觉语言推理的在线策略蒸馏方法。其做法是对学生生成的轨迹分别用原图和破坏实例证据的反事实图做两次教师评估，用两次分布的差异估计 token 级视觉依赖，并据此软加权损失，使训练更关注正确性依赖图像证据的 token。 该方法先经教师监督热启动以稳定输出格式，再采用保质量归一化避免响应级更新尺度不稳。据该研究称，在多模态推理基准上，它提升了视觉推理表现与 token 级蒸馏效果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。