arXiv cs.AI· Yoshinari Fujinuma, Keisuke Kamahori, Ryuto Koike, Abdelrahman Madkour, Varun Prashant Gangal, Monty Bichouna, Martyna Markiewicz, Shivani Jain, Duncan Curtis, Rebecca Qian, Anand Kannappan·· 9 小时前AI 评分31
SpeedrunBench：用视频游戏速通挑战 LLM 智能体
SpeedrunBench: Challenging LLM Agents with Video Game Speedrunning
AI 导读
研究者推出 SPEEDRUNBENCH，一个覆盖 9 款游戏、评估前沿 LLM 智能体策略形成能力的基准，要求智能体反复改进策略、反思表现并长程推理，以不断超越自己和他人。实验显示，前沿智能体在简单平台跳跃游戏中接近人类世界纪录，但在更长、更复杂的游戏上受实际预算限制仍落后于人类。该基准因几乎总存在更快的通关时间而具备抗饱和特性。
来源：arXiv cs.AI · arxiv.org