跳到正文
热点事件持续更新

研究者发布Agents' Last Exam智能体基准

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

研究者发布 Agents' Last Exam(ALE)基准,用于评估 AI 智能体在长周期、有经济价值、结果可验证的真实世界任务上的表现。该基准与 250 多名行业专家合作开发,参照美国联邦职业分类 O*NET / SOC 2018 覆盖非物理行业,按 13 个行业集群、55 个子领域组织,包含 1K+ 任务。 在主流 harness 与 backbone 配置下,ALE 平均完整通过率低于 1%。ALE 被设计为持续更新的基准,随着新工作流和行业接入,任务池会不断扩充。

AI 根据报道生成 · 49 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv cs.CL
    Agents' Last Exam(ALE):面向经济价值真实工作流的 AI 智能体长周期基准

    研究者发布 Agents' Last Exam(ALE)基准,用于评估 AI 智能体在长周期、有经济价值、结果可验证的真实世界任务上的表现。ALE 与 250+ 行业专家合作开发,基于 O*NET / SOC 2018 覆盖 13 个行业集群、55 个子领域、1K+ 任务;当前主流 harness 与 backbone 配置下平均完整通过率低于 1%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。