Adam 优化器共享记忆参数 β 的早期选择方法

研究者提出一种从短程试点训练中选择 Adam 共享记忆参数 β₁=β₂=β 的方法，选定后在全量训练中保持固定。该方法基于 Adam 归一化方向的局部模型，在采样波动与梯度平均延迟之间取得平衡，导出三次记忆规则，其系数由少量试点检查点的梯度探测估计。