arXiv cs.AI· Jinhyeok Kim, Hye-Young Jung·· 5 小时前AI 评分24
无有效选项 MCQA 下的 LLM 弃答：惩罚框架分析
Penalty-Framed No-Valid-Option MCQA: Analyzing LLM Abstention under Invalid Choices
AI 导读
研究提出"惩罚框架无有效选项 MCQA"设定，在 MMLU-Pro 数学子集上移除正确选项，允许模型选择剩余选项或输出 ABSTAIN，并对无效强制选择进行惩罚。实验显示，即便有明确的无有效选项提示和惩罚评分，模型在原本答对的题目上仍会给出无效强制选择，说明高 MCQA 准确率并不能完全保证弃答可靠性。该工作已被 AACL-IJCNLP 2026 主会议短论文接收。
来源：arXiv cs.AI · arxiv.org