跳到正文
热点事件持续更新

ClinEdge 临床边缘案例基准发布:七款前沿模型全数表现不佳

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

Anurag Sharma 等作者发布 ClinEdge 基准,用 32 个真实脱敏临床病例、224 次专家评分评估七款前沿多模态系统,结论是所有系统表现均差且失败模式趋同。评分由一名资深骨科外科医生对全部 224 份回答按加权量表打分,再由 19 名医生组成的小组独立复核。 研究归纳出五大类 18 种反复出现的失败模式,包括只看图像首个发现、给出泛化方案并倾向过度治疗、轻信误导性病史;错误答案表达流畅、毫无不确定性。 32 个病例中仅 4 个完整公开,其余 28 个保留,作者邀请前沿 AI 实验室和医疗 AI 公司用其评估自家模型。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.AI
    ClinEdge:前沿多模态模型在真实患者边缘病例上失败的专家评分基准

    ClinEdge 基准用 32 个真实脱敏临床病例、224 次专家评分评估了七款前沿多模态系统,所有系统表现均差且失败模式趋同。评分由一名资深骨科外科医生对全部 224 份回答按加权量表打分,再由 19 名医生组成的小组独立复核。研究归纳出五大类 18 种反复出现的失败模式,包括只看图像首个发现、给出泛化方案并倾向过度治疗、轻信误导性病史,且错误答案表达流畅、毫无不确定性。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。