跳到正文
热点事件持续更新

德语临床开放问答基准MedQADE发布

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

研究者发布德语开放问答临床基准 MedQADE,包含 3,800 组问答、10 位医生的参考标注,并测试了 9 个 LLM 评审。医生之间对答案正确性的标注一致性为中等偏强(Cohen's kappa = 0.612)。 在 LLM 评审与医生标注的一致性上,Gemini 3 Flash 的 kappa 为 0.694,接近留一医生参考值 0.709。研究同时考察了 LLM 评审的自我偏见、同族偏见以及弃答行为。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月7日
  1. arXiv cs.CL
    德国开放问答临床基准 MedQADE 发布:LLM 评审与医生标注一致性及偏见研究

    研究者发布德语开放问答临床基准 MedQADE,含 3,800 组问答、10 位医生标注和 9 个 LLM 评审。医生对答案正确性一致性中等偏强(Cohen's kappa = 0.612),Gemini 3 Flash 接近留一医生参考(kappa = 0.694 vs 0.709)。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。