Armijo回溯可低成本估计Hessian最大特征值

Ashmitha R 与 Jörg Frochte 发表论文，提出用单次 Armijo 回溯线搜索估计 Hessian 最大特征值 λ1，并据此为 Adam 设计免校准的学习率保护机制。作者称，被接受的步长 α 在回溯因子决定的倍数带内反映搜索方向上的曲率，因此仅需少量前向传播即可完成探测。 在 CIFAR-10、Fashion-MNIST 和 Imagenette 上，log α 与 log λ1 的 Pearson 相关性为 -0.91 至 -0.95。该探测协议开销约 1%；使用非约束上限时，优化器状态与首次更新逐位相同。作者称协议参数未针对任何特定架构微调，因此是免校准的，其用途是避免发散而非提升精度。作者也指出，在通用架构分析中，仍有一种 MLP 架构对初始批次顺序敏感。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。