研究：多选题评测准确率与顺序敏感性背离
热点事件持续更新
研究：多选题评测准确率与顺序敏感性背离
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
一项发表于 arXiv 的研究发现，大语言模型在多选题评测中的准确率与顺序敏感性并不一致变化。作者 Karl Hanna 和 Chen Feng 在 MMLU 和 ARC-Challenge 上，用两个闭源模型和两个开源权重模型测试了四类策略。 具体而言，两阶段提示词降低了 GPT 在 MMLU 上的 flip rate 和 RStd，准确率却无显著变化；给直接作答加入推理后，Llama 在 MMLU 上的 flip rate 统计上无差异，RStd 却大幅下降。研究由此认为，准确率与顺序敏感性不能相互替代衡量。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
准确率与顺序敏感性为何在 LLM 多选题评测中背离？报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv cs.AI准确率与顺序敏感性为何在 LLM 多选题评测中背离？
研究在 MMLU 和 ARC-Challenge 上用两个闭源模型和两个开源权重模型测试四类策略，发现准确率与顺序敏感性并不一致变化：两阶段提示词降低了 GPT 在 MMLU 上的 flip rate 和 RStd，准确率却无显著变化；给直接作答加入推理后，Llama 的 MMLU flip rate 统计上无差异，RStd 却大幅下降。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。