arXiv cs.LG· Hinata Harada, Hideaki Iiduka·· 10 小时前AI 评分13
使用递增批量大小与衰减学习率的锐度感知最小化算法的收敛性
Convergence of Sharpness-Aware Minimization Algorithms using Increasing Batch Size and Decaying Learning Rate
AI 导读
该研究针对 GSAM 算法，在采用递增批量大小或余弦退火、线性衰减等学习率策略时从理论上证明了其收敛性。数值实验表明，使用递增批量大小相比固定批量大小和学习率，能达到更低的最坏情况 ℓ∞ 自适应锐度。
来源：arXiv cs.LG · arxiv.org