arXiv cs.CL· Derek Lilienthal, Manisha Mukherjee, Sameera Horawalavithana·· 5 小时前AI 评分22
视觉语言模型物理推理的奖励设计：外部奖励与内部注意力奖励对比
Reward Design for Physical Reasoning in Vision-Language Models
AI 导读
研究对比了外部奖励（规则化格式与答案正确性检查、LLM-judge 评分标准）与基于模型自身图像区域注意力的内部奖励，发现外部奖励贡献了大部分准确率提升，对推理 token 给予奖励时推理更连贯。内部注意力奖励无需标注或评判器，可改善空间关系推理，与外部奖励互补：在 Molmo 2 上将其加入格式与准确率奖励后，无需额外标注成本即可提升平均准确率，并泛化到分布外任务。
来源：arXiv cs.CL · arxiv.org