跳到正文
arXiv cs.AI· Kaiyu Huang, Yiting Li, Angyang Gu, Pinjia He, Minchen Yu, Qingjiang Shi·· 8 小时前AI 评分33

AM-Bench:跨模型与执行框架理解任务欠规范下的智能体表现

AM-Bench: Understanding Agents under Task Underspecification across Models and Harnesses

AI 导读

研究者发布 AM-Bench,基于 Terminal-Bench 2.0 和 Harness-Bench 改编 48 个任务,每个任务含一个完整参考和六个目标、上下文或约束模糊/缺失的变体,覆盖 5 个模型与 4 个执行框架共 20,160 次运行。结果显示目标缺失阻碍完成、上下文缺失增加 token 消耗、约束缺失削弱合规性,且缺失比模糊影响更大;模型与框架的排名会随信息条件和评估标准变化。

来源:arXiv cs.AI · arxiv.org