arXiv cs.AI· Dheeraj Varghese, Anna Vettoruzzo, Walter Simoncini, Michelle Lorena Acevedo Callejas, Mohammad Mahdi Derakhshani, Kristof Meding, Joaquin Vanschoren, Cees G. M. Snoek·· 9 小时前AI 评分32
PlaySuite：面向交互式视觉智能的大规模基准
PlaySuite: A Large-Scale Benchmark for Interactive Visual Intelligence
AI 导读
研究者推出 PlaySuite，一个基于 5K 多款开源视频游戏构建的交互式视觉智能基准，覆盖 Pygame、HTML5、Godot 和 Unity 等引擎。该基准配套统一的闭环交互框架和 Video-LLM-as-a-judge 评测协议，并评测了 14 个近期开源模型。结果显示存在明显的感知-行动差距：模型虽推理能力较强，但在空间定位、动作执行和自我纠错上持续失败。
来源：arXiv cs.AI · arxiv.org