arXiv cs.CV· Ellis Brown, Jihan Yang, Shusheng Yang, Rob Fergus, Saining Xie·· 3 小时前AI 评分29
基准设计者应"在测试集上训练"以暴露可利用的非视觉捷径
Benchmark Designers Should "Train on the Test Set" to Expose Exploitable Non-Visual Shortcuts
AI 导读
研究者提出 Test-set Stress-Test（TsT），用纯文本 Qwen2-7B 在测试集问答上交叉验证，量化基准中可被语言先验利用的偏差。在模板化的 VSI-Bench 和 CV-Bench 上，其留出得分分别比模型零样本高 17.9 和 13.1 分；而 MMMU 上学习有限，GPT-4o 不看图即答对 52.3% 选择题，说明盲答源于预训练知识而非可学模式。
来源：arXiv cs.CV · arxiv.org