跳到正文
arXiv cs.AI· Jiale Liu, Huajun Xi, Shaokun Zhang, Yifan Zeng, Tianwei Yue, Chi Wang, Jian Kang, Qingyun Wu, Huazheng Wang·· 6 小时前AI 评分30

Who&When Pro:LLM 真能定位 AI 智能体的失败吗?

Who&When Pro: Can LLMs Really Attribute Failures in AI Agents?

AI 导读

研究者推出 Who&When Pro,一个面向 AI 智能体自动化失败归因的大规模基准,通过严格受控流程在精确重放成功前缀后注入失败,构建了覆盖 3 种模态、26 个基准的 12,326 条带金标签的失败轨迹。论文还开展大量实验,揭示模型在不同模态、协议和模型族间归因失败的系统性规律,为后续自动化失败归因系统提供实证指导。

来源:arXiv cs.AI · arxiv.org