arXiv cs.AI· Pujun Zheng, Zixin Shang, Shufan Jiang, Wenhui Tian, Dongsheng Zhu, Zerun Ma, Dingbo Yuan, Qi Zhang·· 6 小时前AI 评分42
SWE-Bench Pro Verified：面向软件工程智能体的可靠基准
SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
AI 导读
针对 SWE-Bench Pro 存在的奖励黑客与任务质量问题，研究者推出 SWE-Bench Pro Verified，通过防作弊防护消除主要泄漏渠道，并对缺陷实例做最小化修正。评测显示部分模型表现明显低于此前结果，表明原有 SWE-Bench Pro 分数可能高估了真实软件工程能力。
来源：arXiv cs.AI · arxiv.org