arXiv cs.LG· El Mahdi Chayti, Mohamad Fakhouri·· 7 小时前AI 评分20
RanSOM：用随机步长实现二阶动量优化，无需 Lipschitz Hessian
RanSOM: Second-Order Momentum with Randomized Scaling for Constrained and Unconstrained Optimization
AI 导读
RanSOM 提出用指数分布随机步长替代二阶动量中的辅助点计算，通过 Stein 型恒等式使一次 HVP 即可无偏估计梯度变化，且该 HVP 与下一次梯度共享前向传播。
来源：arXiv cs.LG · arxiv.org