LoopArena：评估模型引导编码智能体的基准

Yi Wang 等作者发布基准 LoopArena，用于评估一个模型能否引导独立的编码智能体完成长时任务。被测模型担任 Controller，在每轮编码后依据结构化摘要指示固定的 Worker 下一步做什么或是否停止。 该基准分三部分：Type I 含 160 道低成本控制选择题，执行成本在构建基准时一次性产生，因此每个新 Controller 只需做一次四选一、无需执行代码；Type II 在 80 个选定任务片段上评估 Controller 的引导；Type III 则从原始状态评估对应的 80 个完整任务。作者称已公开基准数据与评估代码。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。