跳到正文
GitHub Blog · AI & ML· Michelle Zhou·· 14 小时前精选AI 评分60

GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

ReviewBench: An open benchmark for AI code review

AI 导读

GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,研究预览版已上线,可对比不同审查系统并提交自己的智能体。基准基于 1.039 亿个 GitHub PR 的分布构建,包含 19 种语言的 219 个公开 PR,采用多来源 golden set 与统一评分标准,发布前由资深工程师独立复核,与基准判定一致率 96.6%。

推荐理由

GitHub 公开了代码审查基准的构建方法与离线到线上的验证数据,可据此判断评测信号是否可信。

来源:GitHub Blog · AI & ML · github.blog