arXiv cs.AI· Jiale Liu, Huajun Xi, Shaokun Zhang, Yifan Zeng, Tianwei Yue, Chi Wang, Jian Kang, Qingyun Wu, Huazheng Wang·· 6 小时前AI 评分30
Who&When Pro:LLM 真能定位 AI 智能体的失败吗?
Who&When Pro: Can LLMs Really Attribute Failures in AI Agents?
AI 导读
研究者推出 Who&When Pro,一个面向 AI 智能体自动化失败归因的大规模基准,通过严格受控流程在精确重放成功前缀后注入失败,构建了覆盖 3 种模态、26 个基准的 12,326 条带金标签的失败轨迹。论文还开展大量实验,揭示模型在不同模态、协议和模型族间归因失败的系统性规律,为后续自动化失败归因系统提供实证指导。
来源:arXiv cs.AI · arxiv.org