UP-MOPD多教师在线蒸馏方法提出

针对多教师在线策略蒸馏中梯度冲突问题，研究者提出 UP-MOPD，让原始混合梯度先更新优化器状态并生成候选位移，再对违反约束的候选做欧氏距离最近的可行投影。在医学与通用领域实验中，UP-MOPD 训练后期 IFEval-loose 准确率比原始 M-OPD 提升 2.96 分，八项指标平均 60.03，高于梯度投影的 59.00 和更新拒绝的 59.15。

摘自 arXiv cs.CV

还没有足够的连续观测数据，暂不绘制趋势。