GSAM增大批量与衰减学习率的收敛性获证

日本研究者 Hinata Harada 与 Hideaki Iiduka 发表论文，针对锐度感知最小化算法 GSAM，在采用递增批量大小或余弦退火、线性衰减等学习率策略时，从理论上证明了其收敛性。 数值实验显示，使用递增批量大小相比固定批量大小和学习率，能达到更低的最坏情况 ℓ∞ 自适应锐度。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。