arXiv cs.CL· Mayank Kulkarni, Rakesh Vaideeswaran·· 5 小时前AI 评分25
ListQA：评估大语言模型列表式事实知识检索的基准
ListQA: A Benchmark for Evaluating List-Formatted Factual Knowledge Retrieval in Large Language Models
AI 导读
研究者发布 ListQA 基准，包含 9,045 道人工校验问题（审计错误率 1.7%），要求 LLM 回忆多个事实并组织成 3-10 个元素的结构化列表。在 34 个模型（8 个家族、42 种配置）上评测，最佳标准推理模型 LLM-Judge-F1 低于 37%，提供源 Wikipedia 页面可大幅提升得分，表明模型能组织事实但难以仅从参数中检索。
来源：arXiv cs.CL · arxiv.org