arXiv cs.LG· Ashmitha R, J\"org Frochte·· 6 小时前AI 评分22
利用 Armijo 回溯线搜索的方向曲率:面向 Adam 的低成本锐度探针与免校准学习率保护机制
Directional Curvature from Armijo Backtracking: A Low-Cost Sharpness Probe and a Calibration-Free Learning-Rate Safeguard for Adam
AI 导读
研究发现单次 Armijo 回溯线搜索即可低成本估计 Hessian 最大特征值 λ1,在 CIFAR-10、Fashion-MNIST 和 Imagenette 上 log α 与 log λ1 的 Pearson 相关性达 -0.91 至 -0.95。
来源:arXiv cs.LG · arxiv.org