研究者提出TsT方法审计视觉基准捷径

研究者 Ellis Brown 等提出 Test-set Stress-Test（TsT），用纯文本 Qwen2-7B 在测试集问答上交叉验证，量化基准中可被语言先验利用的偏差，并发布 VSI-Bench-Debiased 数据集。 在模板化的 VSI-Bench 和 CV-Bench 上，其留出得分分别比模型零样本高 17.9 和 13.1 分；而在 MMMU 上学习有限，GPT-4o 不看图即答对 52.3% 的选择题，说明盲答源于预训练知识而非可学模式。作者据此主张基准设计者应“在测试集上训练”以暴露可利用的非视觉捷径。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。