arXiv cs.AI· Xue Li, Hongqian Xia, Daniel Gomm, A\'ecio Santos, Cornelius Wolff, Madelon Hulsebos·· 8 小时前AI 评分37
智能体数据科学中的隐性失败:现有评测忽视方法论缺陷
The Silent Failures in Agentic Data Science
AI 导读
研究对 220 个数据科学任务的分析发现,多数智能体数据科学(agentic DS)方案至少存在一种失败模式,且数据泄漏失败与预测性能呈正相关。研究还构建了可复用的测试套件,针对六类特定失败进行受控测试,并通过 Kaggle 竞赛的定性评估发现,DS 智能体普遍缺乏解题创造力和领域知识。
来源:arXiv cs.AI · arxiv.org