arXiv cs.CL· Soroosh Tayebi Arasteh, Sebastian Ziegelmayer, Mahshad Lotfinia, Lisa Adams, Sven Nebelung, Jakob Nikolas Kather, Daniel Truhn·· 2 小时前AI 评分24
医学基础模型在标签监督下收敛性更差
Medical foundation models converge less under label supervision
AI 导读
一项研究用 5 种成像模态、14 个数据集超 75 万张图像测试医学基础模型的表征一致性，发现两个公开模型在胸片上平均仅共享 0.091 的 10 个最近邻，随机初始化网络为 0.036。收敛性取决于预训练目标，标签监督模型在胸片和病理组织学上收敛最少，仅随机种子不同的两个标签监督模型共享 0.062 至 0.100，而自蒸馏、掩码图像建模或对比预训练模型共享 0.411 至 0.802。
来源：arXiv cs.CL · arxiv.org