arXiv cs.LG· Gireeja Ranade, Anant Sahai·· 7 小时前AI 评分22
线性回归中的良性错配：第四象限的精确训练-测试权衡
The Fourth Quadrant: A Stylized View of Benign Misfitting
AI 导读
研究在确定性 (d+1) 维单尖峰模型下平方误差线性回归的训练-测试权衡，提出"良性错配"（第四象限）现象：存在一段训练集规模区间，泛化良好的预测器必须比零预测器更差地拟合训练数据。最极端时测试误差趋零而训练误差发散。最佳 span 预测器在 n≫d/γ² 时开始泛化，而插值需要 n≫d/γ；大常数学习率的一遍随机梯度下降在该窗口内可达到接近最优的测试误差。
来源：arXiv cs.LG · arxiv.org