医学基础模型标签监督下收敛性更差

一项研究测试医学基础模型的表征一致性，发现预训练目标决定模型收敛程度：标签监督模型在胸片和病理组织学上收敛最少，仅随机种子不同的两个标签监督模型共享 0.062 至 0.100 的最近邻，而自蒸馏、掩码图像建模或对比预训练模型共享 0.411 至 0.802。 该研究覆盖 5 种成像模态、14 个数据集、超 75 万张图像。两个公开模型在胸片上平均仅共享 0.091 的 10 个最近邻，随机初始化网络为 0.036。作者 Soroosh Tayebi Arasteh 等人称，收敛性取决于预训练目标。

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。