arXiv cs.LG· Atreya Vedantam, Nataraj Das, Chandrashekar Lakshminarayanan·· 7 小时前AI 评分22
线性模型中的延迟泛化动力学研究
On the Dynamics of Delayed Generalization in Linear Models
AI 导读
一项 arXiv 研究证明，延迟泛化（训练准确率远早于测试准确率接近完美）可在使用梯度下降和指数尾损失的线性模型中、在线性可分数据上出现。研究将有限时间超平面动力学划分为种群阶段、支持向量主导的遗忘阶段和泛化阶段，并通过对种群与支持向量分布的控制实验验证了理论，还在 MNIST 上单输出神经元深度模型中验证了预测的偏置行为。
来源：arXiv cs.LG · arxiv.org