跳到正文
arXiv cs.AI· Anurag Sharma, Aditya Sharma, Sapna Baalwan·· 8 小时前AI 评分37

ClinEdge:前沿多模态模型在真实患者边缘病例上失败的专家评分基准

ClinEdge: An Expert-Graded Benchmark of Real Patient Edge Cases Where Frontier Multimodal Models Fail

AI 导读

ClinEdge 基准用 32 个真实脱敏临床病例、224 次专家评分评估了七款前沿多模态系统,所有系统表现均差且失败模式趋同。评分由一名资深骨科外科医生对全部 224 份回答按加权量表打分,再由 19 名医生组成的小组独立复核。研究归纳出五大类 18 种反复出现的失败模式,包括只看图像首个发现、给出泛化方案并倾向过度治疗、轻信误导性病史,且错误答案表达流畅、毫无不确定性。

来源:arXiv cs.AI · arxiv.org