arXiv cs.AI· Abdul Basit, Muhammad Abdullah Hanif, Muhammad Shafique·· 9 小时前AI 评分22
MS-Exam-Gen：面向多发性硬化 MRI 影像知识评估 LLM 的自动基准构建工具包
MS-Exam-Gen: An Automatic Benchmark Construction Toolkit for Evaluating LLMs on Multiple Sclerosis-MRI Imaging Knowledge
AI 导读
MS-Exam-Gen 是一个可复现的框架，用于构建和审计评估 LLM 多发性硬化 MRI 文本知识的选择题基准，不涉及直接影像判读。它从 66 个来源索引出 4,289 个检索块，生成覆盖 16 个主题、53 个子主题的 3,058 道锁定候选题，在 12 个 LLM 端点上产生 36,696 条预测，准确率跨度达 42.8 个百分点（89.7% 至 46.9%）。
来源：arXiv cs.AI · arxiv.org