跳到正文
arXiv cs.LG· Ashmitha R, J\"org Frochte·· 6 小时前AI 评分22

利用 Armijo 回溯线搜索的方向曲率:面向 Adam 的低成本锐度探针与免校准学习率保护机制

Directional Curvature from Armijo Backtracking: A Low-Cost Sharpness Probe and a Calibration-Free Learning-Rate Safeguard for Adam

AI 导读

研究发现单次 Armijo 回溯线搜索即可低成本估计 Hessian 最大特征值 λ1,在 CIFAR-10、Fashion-MNIST 和 Imagenette 上 log α 与 log λ1 的 Pearson 相关性达 -0.91 至 -0.95。

来源:arXiv cs.LG · arxiv.org