arXiv cs.LG· Xing Han L\`u, Dheeraj Vattikonda, Sina Hajimiri, Fatemeh Pesaran Zadeh, Parishad BehnamGhader, Ghazwa Darwiche, Amirhossein Kazemnejad, Christopher Pal, Alexandre Drouin, Siva Reddy·· 3 小时前AI 评分36
AgentHorizon：面向长周期计算机使用任务的智能体评判基准
AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks
AI 导读
研究者推出 AgentHorizon 基准，包含 1,373 个计算机使用任务（指令-轨迹对），取自 166 小时人类录制的轨迹，覆盖三种操作系统。该基准通过交换相近指令构造负样本任务，评估评判模型区分成功轨迹与完成相似但不兼容请求的能力，并发布 AH、AH-S、AH-D 三个划分。
来源：arXiv cs.LG · arxiv.org