arXiv cs.LG· Hanyao Guo, Mo Cui, Zihan Tan, Leixin Sun, Yichun Wang, Yinan Shen, Guojun Zhu, Jia Jiang, Erhao Chen, Zui Chen, Wenzhe Gao, Zhihao Yu, Qijun Wang, Yetian Zhu, Jiande Chen, Chuhang Pei, Yao Jiang, Yichen Fan, Pinhan Wang, Xiaorui Pan, Qianyi Zhu, Yang Liu, Mang Ye, Guancheng Wan·· 7 小时前AI 评分24
ChemArgus：面向实验室级多模态化学推理的自动化科学诊断前沿基准
ChemArgus: Automated Scientific Diagnostics for Lab-Grade Multimodal Chemistry Reasoning: A Frontier Benchmark
AI 导读
研究团队发布 ChemArgus，一个取材于化学竞赛、教科书与研究论文的竞赛级化学基准，用逐点部分给分、图文对照和共享评分单元的配对指标，把评分从答案端点转向推理步骤。GPT-5.6-Sol 在无辅助整题求解上得分 23.2%，在两项顺序指标下分别为 28.8% 和 30.4%，该差距用于量化整合负担。
来源：arXiv cs.LG · arxiv.org