热点事件持续更新

新LLM在软工综述筛选中提升有限

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

一项基于 SESR-Eval 基准的研究评估了 8 个新 LLM 在软件工程系统综述筛选任务上的表现：平均 MCC 仅从旧模型的 0.347 微升至 0.365，提升有限。研究作者 Aleksi Huotala 等人据此认为，LLM 尚无法替代人工筛选，更昂贵的新模型带来的优势十分有限。研究还发现，LLM 之间的筛选决策一致性较高（平均 Gwet's AC1 = 0.830），细化纳入排除标准仅小幅提升召回率。

AI 根据报道生成 · 58 分钟前更新

最新进展10月9日 12:00

LLM 在软件工程系统综述中的筛选性能是否已停滞？

报道时间线

沿着报道，了解事件的不同侧面。

10月9日

12:00
arXiv cs.AI
LLM 在软件工程系统综述中的筛选性能是否已停滞？
研究基于 SESR-Eval 基准评估了 8 个新 LLM 在软件工程系统综述筛选任务上的表现，平均 MCC 仅从旧模型的 0.347 微升至 0.365，提升有限。LLM 之间筛选决策一致性较高（平均 Gwet's AC1 = 0.830），细化纳入排除标准仅小幅提升召回率。研究认为 LLM 尚无法替代人工筛选，更昂贵新模型带来的优势十分有限。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。