arXiv cs.CL· Benjamin Wilcox, Dawei Gao, Pradeeban Kathiravelu, Douglas Causey, Kewei Sha, Yunhe Feng·· 4 小时前AI 评分22
ArcticQA:面向 LLM 北极科学弃答的数据集与基准
Arctic Questions, Missing Answers: A Dataset and Benchmark for LLM Abstention in Arctic Science
AI 导读
研究者发布 ArcticQA 数据集与 ArcticAbstain 基准,用于评估 LLM 在北极科学多选题中"无正确答案时是否弃答"。ArcticQA 含 194 道源自北极研究的题目,并自动校验答案支持与干扰项矛盾;ArcticAbstain 对比答案存在与缺失两种条件。
来源:arXiv cs.CL · arxiv.org