跳到正文
arXiv cs.CL· Ruchira Dhar, Qiwei Peng, Anders S{\o}gaard·· 5 小时前AI 评分24

语言模型评估方法面临哪些挑战:一项跨越四十年的综述

On Challenges in Evaluation Methodology: A Review

AI 导读

一项跨越四十年的范围综述梳理出语言模型评估方法中反复出现的 22 类问题,并构建了相应分类体系。研究发现,部分问题在文献中已变得不再显眼,且许多问题未被机构检查清单明确覆盖。该工作为研究社区重新审视评估方法、开展领域级干预提供了目标。

来源:arXiv cs.CL · arxiv.org