跳到正文
arXiv cs.AI· Jiahao Wang, Hongjin Qian, Yuyang Hu, Jiajun Zhang, Zheng Liu·· 1 天前AI 评分39

AgentSWE:编码智能体能否构建你真正想要的智能体?

AgentSWE: Can Coding Agents Build the Agent You Actually Want?

AI 导读

研究者推出 AgentSWE 基准,覆盖智能体开发全生命周期的创建、编辑与优化三阶段,共 25 项任务,每项以委托而非考试形式呈现。评测多种模型与框架下的编码智能体后发现,无一能接近需求要求,演示效果与最终交付之间的差距是常态而非个例。失败轨迹分析还识别出对可见用例过拟合、代码看似完整却运行空洞、无依据宣称完成等反复出现的失败模式。

来源:arXiv cs.AI · arxiv.org