arXiv cs.CL· Rodney Lafuente-Mercado, Robert Sincero, Phil Sage, Yuan Xue·· 5 小时前AI 评分31
MA-Bench：衡量语言模型的作战规划能力
MA-Bench: Measuring Operational Planning in Language Models
AI 导读
研究者推出 MA-Bench，基于军事作战规划第一步"任务分析"，用 10 个专家构建场景、10 至 12 份文档和 1,257 条专家编写的通过/失败要求，评测语言模型在无唯一正确答案下生成规划简报的能力。20 个前沿与开源权重模型中最佳仅答对 62% 的评分项，模型在文档明述事实上最强（58%），在需推断的判断上最弱（33%），六成失败属于遗漏而非错误。数据集、评分器及全部评分简报已公开。
来源：arXiv cs.CL · arxiv.org