RATIO科学文献检索基准发布

研究者 Maayan Sharon 与 Tom Hope 发布 RATIO 检索基准，把科学文献检索的相关性重新定义为三种“构思操作”：Address 检索问题的潜在解法、Broaden 检索更通用的表述、Specify 检索具体实例。该基准基于数百万篇计算机科学全文论文构建，结合大语言模型与人工审核，并公开全部数据、代码、模型和标注。 实验显示，针对具体操作微调检索器能显著提升效果，再用大语言模型重排序可进一步增益，但研究者称仍有较大提升空间；盲测中，研究者认为微调后的候选结果更具启发价值。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。