研究提出纳入样本重复的数据缩放律

一项图像自蒸馏研究提出，重复训练较小的随机子集在某些设置下可优于训练更大的唯一样本集，说明现有缩放定律存在局限。作者在 Maxar、SATLAS、Waymo、nuPlan、Ego4D、ImageNet 和 YFCC15M 上系统实验后，提出一种改进的 Chinchilla 式缩放定律，显式纳入唯一样本数与每样本重复次数两个因素，以刻画数据与算力的权衡。 作者称，该缩放律的收益在不同数据集间并不一致。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。