arXiv cs.CV· Konstantinos Almpanakis, Anna Kreshuk·· 5 小时前AI 评分22
数据集级正则化：让自监督联合嵌入学习摆脱批次大小限制
Dataset-Level Regularization for Joint-Embedding Self-Supervised Learning
AI 导读
研究者提出 out-of-batch regularization，在 CPU 内存中维护数据集级状态，用小批次训练时全局构造的逐实例目标替代传统小批次估计。该方法应用于 SimCLR 和 SIGReg，在图像分类、受控不平衡下的少数类性能、实例检索和持续自监督预训练上均取得一致提升，小批次下增益最大。结果表明数据集级正则化可与小批次优化解耦，批次大小不再影响正则器的几何结构。
来源：arXiv cs.CV · arxiv.org