多教师蒸馏新方法发布OMNI病理模型

研究者 Sofiène Boutaj 等人提出一种可扩展的多教师蒸馏方法，并据此发布面向数字病理的 OMNI 基础模型集合。该方法针对标准多教师蒸馏在教师数量增加时性能下降的问题，通过学习教师专属表征，结合可学习教师 token、定制注意力机制、额外 MoE 层与对比损失来实现扩展。 作者称，该方法随教师数量增加的可扩展性更好，可训练出比大型教师基础模型效率最高提升 10 倍的紧凑学生编码器，同时在大量 tile 级和 slide 级任务上达到教师模型性能，部分任务上甚至更优。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。