研究者发布AM-Bench智能体欠规范基准

研究者发布 AM-Bench，用于评估智能体在任务信息欠规范条件下的表现。该基准从 Terminal-Bench 2.0 和 Harness-Bench 改编 48 个任务，每个任务包含一个完整参考版本和六个变体，变体分别模糊或缺失目标、上下文、约束，共覆盖 5 个模型与 4 个执行框架、20,160 次运行。 结果显示：目标缺失会阻碍任务完成，上下文缺失会增加 token 消耗，约束缺失会削弱合规性，且缺失比模糊影响更大。模型与执行框架的排名会随信息条件和评估标准变化。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。