跳到正文
arXiv cs.AI· Daniel J. Evans, J. P. Naiman, JooYoung Seo, J. Stephen Downie·· 8 小时前AI 评分22

多面板科学图表视觉问答数据集发布,用于评测 LLM 图表分析能力

Do you "see" what I "see"? A Multi-panel Visual Question Answer Dataset for Large Language Model Chart Analysis

AI 导读

研究者构建了一个面向 LLM/LMM 科学图表分析的多面板视觉问答(VQA)数据集,任务按四级描述模型从基础概念回答延伸到解释性与分析性理解。测试发现,随着面板数量、图表元素和问题难度增加,LMM 准确率下降,分析还引入成本相对性能作为评估指标。随机图表生成代码、问答对及图表元素 bounding-box 元数据已公开。

来源:arXiv cs.AI · arxiv.org