跳到正文
arXiv cs.CL· Han Peng, Xing Hu, Feifei Niu, Huan Li, Xin Xia·· 2 小时前AI 评分32

研究:SWE-bench 通过正确性测试的补丁运行时性能差异显著

Not All Correct Fixes Run Alike: An Empirical Study of Patch Performance in Repository-Level Issue Resolution

AI 导读

一项实证研究利用 SWE-bench 与 SWE-bench-Live 内置的 FAIL_TO_PASS(F2P)测试评估补丁运行时性能,在 Claude Opus 5、GPT 5.6、DeepSeek V4 Pro 和 Qwen 3.8 Max 配合 SWE-agent 生成的 262 个案例中,近半数实例存在性能差异。

来源:arXiv cs.CL · arxiv.org