提出Adam共享记忆参数早期选择方法

研究者提出一种从短程试点训练中选择 Adam 共享记忆参数 β₁=β₂=β 的方法，选定后在全量训练中保持固定。该方法基于 Adam 归一化方向的局部模型，在采样波动与梯度平均延迟之间取得平衡，导出三次记忆规则，其系数由少量试点检查点的梯度探测估计。

摘自 arXiv cs.AI

还没有足够的连续观测数据，暂不绘制趋势。