ClinEdge 临床边缘案例基准发布:七款前沿模型全数表现不佳
热点事件持续更新
ClinEdge 临床边缘案例基准发布:七款前沿模型全数表现不佳
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Anurag Sharma 等作者发布 ClinEdge 基准,用 32 个真实脱敏临床病例、224 次专家评分评估七款前沿多模态系统,结论是所有系统表现均差且失败模式趋同。评分由一名资深骨科外科医生对全部 224 份回答按加权量表打分,再由 19 名医生组成的小组独立复核。 研究归纳出五大类 18 种反复出现的失败模式,包括只看图像首个发现、给出泛化方案并倾向过度治疗、轻信误导性病史;错误答案表达流畅、毫无不确定性。 32 个病例中仅 4 个完整公开,其余 28 个保留,作者邀请前沿 AI 实验室和医疗 AI 公司用其评估自家模型。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
ClinEdge:前沿多模态模型在真实患者边缘病例上失败的专家评分基准报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv cs.AIClinEdge:前沿多模态模型在真实患者边缘病例上失败的专家评分基准
ClinEdge 基准用 32 个真实脱敏临床病例、224 次专家评分评估了七款前沿多模态系统,所有系统表现均差且失败模式趋同。评分由一名资深骨科外科医生对全部 224 份回答按加权量表打分,再由 19 名医生组成的小组独立复核。研究归纳出五大类 18 种反复出现的失败模式,包括只看图像首个发现、给出泛化方案并倾向过度治疗、轻信误导性病史,且错误答案表达流畅、毫无不确定性。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。