GitHub Blog · AI & ML· Michelle Zhou·· 14 小时前精选AI 评分60
GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准
ReviewBench: An open benchmark for AI code review
AI 导读
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,研究预览版已上线,可对比不同审查系统并提交自己的智能体。基准基于 1.039 亿个 GitHub PR 的分布构建,包含 19 种语言的 219 个公开 PR,采用多来源 golden set 与统一评分标准,发布前由资深工程师独立复核,与基准判定一致率 96.6%。
推荐理由
GitHub 公开了代码审查基准的构建方法与离线到线上的验证数据,可据此判断评测信号是否可信。
来源:GitHub Blog · AI & ML · github.blog