arXiv cs.LG· Alvard Barseghyan, Ani Vanyan, Hakob Tamazyan, Hrant Khachatrian·· 7 小时前AI 评分24
图像自蒸馏的数据密度缩放定律：重复训练小数据集可胜过更大唯一样本集
Data Density Scaling Laws for Image Self-Distillation
AI 导读
针对图像自蒸馏模型的研究发现，重复训练较小的随机子集在某些设置下可优于训练更大的唯一样本集，说明现有缩放定律存在局限。作者在 Maxar、SATLAS、Waymo、nuPlan、Ego4D、ImageNet 和 YFCC15M 上系统实验后，提出一种改进的 Chinchilla 式缩放定律，显式纳入唯一样本数与每样本重复次数两个因素，以刻画数据与算力的权衡，但其收益在不同数据集间并不一致。
来源：arXiv cs.LG · arxiv.org