arXiv stat.ML· Kaifei Wang, Zikang Shan, Liwei Wang, Yinyu Ye, Han Zhong·· 5 小时前AI 评分29
动量何时有助于带可验证奖励的强化学习（RLVR）？
When Does Momentum Help in Reinforcement Learning with Verifiable Rewards?
AI 导读
研究通过带偏差校正 EMA 动量的 bandit 形式分析 RLVR，证明在避免过冲的范围内增大 EMA 系数 β 可严格加速优化。当梯度由采样响应估计时，降低学习率 η 会让固定 β 的期望增益更快消失，而增大 β 使 η/(1-β) 保持在安全区间可保留非消失增益。
来源：arXiv stat.ML · arxiv.org