新方法让自监督学习摆脱批次大小限制

研究者 Konstantinos Almpanakis 与 Anna Kreshuk 提出一种名为 out-of-batch regularization（数据集级正则化）的方法，在 CPU 内存中维护数据集级状态，用小批次训练时全局构造的逐实例目标替代传统的小批次估计，使正则器的几何结构不再受批次大小影响。 该方法应用于 SimCLR 和 SIGReg，在图像分类、受控不平衡下的少数类性能、实例检索和持续自监督预训练上均取得一致提升，且小批次下增益最大。研究者据此称，数据集级正则化可与小批次优化解耦。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。