arXiv cs.AI· Wen Ye, Yuxiao Qu, Aviral Kumar, Xuezhe Ma·· 6 小时前AI 评分24
MIRROR：用跨视图互学提升多模态推理
MIRROR: Learning from the Other View for Multi-Modal Reasoning
AI 导读
针对视觉语言模型在文本与图像呈现同一问题时表现不一致的现象，研究者构建了配对多模态几何数据集 ODA-Data，并提出强化学习方法 MIRROR。该方法对每个问题在文本、图像及图文组合三种视图下评估模型，选出表现最好的视图作为教师，用带 reverse-KL 正则项的 GRPO 目标训练其余视图。在多模态数学推理基准上，MIRROR 优于标准 RL，跨输入模态表现更准确一致。
来源：arXiv cs.AI · arxiv.org