arXiv cs.CL· Scott C. Lowe, Sander W. Keemink·· 2 小时前AI 评分32
SpireBench：用《杀戮尖塔》评测智能体模型的长程策略能力
SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire
AI 导读
研究者推出 SpireBench，让 20 个大语言模型在最高难度下完整游玩商业卡牌构筑游戏《杀戮尖塔》，以评测其长程策略推理能力。前沿模型能击败启发式基线并追平普通人类玩家，但仍远逊于专家，且差距随游戏进程拉长而扩大；模型普遍在整局中误判风险，倾向保守保血而非以血量换取成长。全面重命名游戏术语后性能下降，说明部分表现依赖对游戏的先验知识，模型也无法从跨局记忆中改进。
来源：arXiv cs.CL · arxiv.org