arXiv cs.CV· Denis Degtiarev, Anna Gromova, Sergey Katkov, Artem Mikhailin, Safina Mukhamedshina, Albert Nasybullin, Karina Shaikhutdinova, Artem Tuzov·· 2 小时前AI 评分27
研究团队为 VLMEvalKit 增加审计层，复用已有评测结果审计 VLM 基准
Auditing VLM Benchmarks from Existing Evaluation Runs
AI 导读
研究团队在 VLMEvalKit 中加入审计层，通过六个检测器对已保存的评测输出做后处理，并额外进行一次移除图像输入的纯文本重跑，生成逐题报告。审计 MMStar 时发现，20.2% 的题目上图像未带来任何准确率增益，经题目匹配的置换零假设校正后仍存在 +3.2 pp 超额（校正置换 p = 0.001），且集中在数学与科学类别。
来源：arXiv cs.CV · arxiv.org