掘金· Ikalus1988·· 13 小时前AI 评分42
AgentLens 论文:1,136 条「通过」的 SWE-Agent 轨迹中 122 条是走运
1,136 条「通过」的轨迹里,122 条是运气
AI 导读
arXiv 论文 AgentLens 将 1,136 条通过轨迹分为 Ideal(20.2%)、Solid(69.1%)和 Lucky(10.7%)三档,Lucky Pass 在八个模型后端间跨度达 46 倍,而 pass rate 排名与过程质量排名全部不一致。
来源:掘金 · juejin.cn