研究：F2P测试可评估补丁运行时性能

一项实证研究提出，SWE-bench 与 SWE-bench-Live 内置的 FAIL_TO_PASS（F2P）测试除验证补丁正确性外，还可用于评估补丁的运行时性能。 研究在 Claude Opus 5、GPT 5.6、DeepSeek V4 Pro 和 Qwen 3.8 Max 配合 SWE-agent 生成的 262 个案例中发现，近半数实例存在性能差异，即通过正确性测试的补丁在运行时表现上并不一致。 该结论来自 Han Peng 等研究者的论文，作者称其目的是考察 F2P 测试能否被重新用于评估补丁性能。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。