arXiv cs.AI· Tianyou Lai, Wentao Yue, Zhiying Deng, Qilei Li·· 8 小时前AI 评分24
Choice2Seq 基准：模型选对答案却在序列构建中失败
Correct Choices, Failed Sequences: Choice2Seq Benchmarks Correctness Retention Across Output Interfaces
AI 导读
研究者提出 Choice2Seq 诊断基准，衡量模型在完整答案选择与逐步序列构建之间的正确性保持率。Jev 在算术和词汇检索上选择准确率达 97.1% 和 99.5%，但在序列构建下仅保留 33.0% 和 2.1% 的正确选择；StartLux 和 Qwen 也存在显著差距。将局部选项限制为候选字符可改善构建，显式位置索引可提升复制保真度。
来源：arXiv cs.AI · arxiv.org