研究团队为VLM基准评测加入审计层

研究团队在开源评测工具 VLMEvalKit 中加入审计层，复用已保存的评测输出审计视觉语言模型（VLM）基准本身。该审计层包含六个检测器，对已保存输出做后处理，并额外进行一次移除图像输入的纯文本重跑，生成逐题报告。 团队用该方法审计 MMStar 基准时发现，20.2% 的题目上图像未带来任何准确率增益；经题目匹配的置换零假设校正后，仍存在 +3.2 个百分点的超额，校正置换 p = 0.001，且集中在数学与科学类别。该结果来自研究团队自身的审计，尚待其他研究者独立验证。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。