arXiv cs.AI· Jaedong Hwang, Brian Cheung, Zhang-Wei Hong, Akhilan Boopathy, Pulkit Agrawal, Ila Fiete·· 9 小时前AI 评分40
大规模预训练数据集不能保证图像分类微调后的鲁棒性
Large Pretraining Datasets Don't Guarantee Robustness after Fine-Tuning in Image Classification
AI 导读
研究提出 Robustness Inheritance Benchmark（ImageNet-RIB），用于评估预训练模型微调后的鲁棒性保持情况。结果显示，在 LAION-2B 等最大最多样数据集上预训练的模型，在小数据集上微调后鲁棒性损失更大、绝对鲁棒性更低，这种崩溃出现在 CLIP 等对比预训练模型及其微调变体中，并随预训练规模增大而加剧，而所测试的监督模型未出现该现象。
来源：arXiv cs.AI · arxiv.org