研究提出惩罚框架无有效选项MCQA评测方法
热点事件持续更新
研究提出惩罚框架无有效选项MCQA评测方法
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
一项被 AACL-IJCNLP 2026 主会议短论文接收的研究提出"惩罚框架无有效选项 MCQA"评测设定：在 MMLU-Pro 数学子集上移除正确选项，允许模型选择剩余选项或输出 ABSTAIN，并对无效强制选择进行惩罚。 实验显示，即便给出明确的无有效选项提示并采用惩罚评分，模型在原本答对的题目上仍会给出无效强制选择。研究者据此认为，高 MCQA 准确率并不能完全保证弃答可靠性。
AI 根据报道生成 · 3 小时前更新
最新进展10月7日 12:00
无有效选项 MCQA 下的 LLM 弃答：惩罚框架分析报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- arXiv cs.AI无有效选项 MCQA 下的 LLM 弃答：惩罚框架分析
研究提出"惩罚框架无有效选项 MCQA"设定，在 MMLU-Pro 数学子集上移除正确选项，允许模型选择剩余选项或输出 ABSTAIN，并对无效强制选择进行惩罚。实验显示，即便有明确的无有效选项提示和惩罚评分，模型在原本答对的题目上仍会给出无效强制选择，说明高 MCQA 准确率并不能完全保证弃答可靠性。该工作已被 AACL-IJCNLP 2026 主会议短论文接收。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。