GitHub 发布 AI 代码审查基准 ReviewBench

GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，研究预览版已上线，可对比不同审查系统并提交自己的智能体。 基准基于 1.039 亿个 GitHub PR 的分布构建，包含 19 种语言的 219 个公开 PR，采用多来源 golden set 与统一评分标准，发布前由资深工程师独立复核，GitHub 称与基准判定一致率 96.6%。 使用者可先在 25 个 PR 的测试集上反复调试，再运行全部 219 个 PR（三轮），由与其他参评者相同的评审打分；提交的分数在维护者审核通过前保持私密。

AI 根据报道生成 · 15 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。