跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

4 条精选近 30 天 4 条共收录 140 条

更新

评测基准的精选

今天10月7日周三第 1–4 条
  1. Latent Space88

    OpenAI 内部模型发布 722 篇数学手稿,称解决 500 个公开难题中的 90 个

    OpenAI 从一个未公开的内部前沿模型发布 722 篇数学手稿,归入 372 个相关结果族,来自约 4000 个研究问题的评测,平均每个结果消耗约 3 小时 ChatGPT Pro 推理算力。

    推荐理由:OpenAI 内部模型一次性产出 722 篇数学手稿,读者可了解其规模、算力成本与学界对结果可靠性的分歧。

10月5日周一
  1. GitHub Blog · AI & ML60

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,研究预览版已上线,可对比不同审查系统并提交自己的智能体。基准基于 1.039 亿个 GitHub PR 的分布构建,包含 19 种语言的 219 个公开 PR,采用多来源 golden set 与统一评分标准,发布前由资深工程师独立复核,与基准判定一致率 96.6%。

    推荐理由:GitHub 公开了代码审查基准的构建方法与离线到线上的验证数据,可据此判断评测信号是否可信。

10月1日周四
9月30日周三