RanSOM：随机步长实现二阶动量优化

El Mahdi Chayti 与 Mohamad Fakhouri 发表 RanSOM-E/RanSOM-B 两种二阶动量优化方法，用指数分布随机步长替代二阶动量中的辅助点计算，从而无需 Lipschitz Hessian 假设。 作者称，当步长服从均值为 η 的指数分布时，一个 Stein 型恒等式使新迭代点处的一次 Hessian-向量积（HVP）乘以 η 成为梯度变化的估计，且该估计在步长上期望无偏；这次 HVP 还与下一次梯度共享前向传播，因此只需一次 HVP。 该结果来自 arXiv cs.LG 论文，属方法层面的理论提出，报道未给出实际训练任务上的验证效果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。