从函数中心视角重新审视平坦与尖锐极小值

一项被 TMLR 接收的研究从函数中心视角重新审视了极小值几何，指出平坦性不应被视为泛化的通用代理。在单目标优化中，同等最优解可呈现截然不同的局部几何；在合成非线性二分类任务中，决策边界收紧会提升尖锐度，即便模型完美泛化。大规模实验发现，经权重衰减、数据增强或 SAM 正则化后常出现更尖锐的极小值，且可与更好的泛化、校准、鲁棒性和函数一致性并存。