RLVR双时钟框架解释批次规模悖论
热点事件持续更新
RLVR双时钟框架解释批次规模悖论
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
一项研究提出"两时钟"框架，用于解释 RLVR（可验证奖励强化学习）中一个反直觉现象：更大的 rollout batch 反而学得更慢，却会在固定时间点失败。该框架区分了"产生进展所需样本"与"崩溃前消耗样本"两种时钟。 研究指出，平方根学习率缩放虽能保持每样本一阶漂移，却因曲率损失导致样本效率下降，因此存在一个依赖学习率的临界 batch。作者在 Qwen2.5-Math-1.5B 上以 GRPO 跨 16 倍 batch 范围实验，验证了这一预测；ratio clipping 可延迟失败，但无法消除进展差距。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
两时钟：为何更大 rollout batch 在 RLVR 中学习更慢却按时失败报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv cs.AI两时钟：为何更大 rollout batch 在 RLVR 中学习更慢却按时失败
研究提出"两时钟"框架，区分 RLVR 中产生进展所需样本与崩溃前消耗的样本，指出平方根学习率缩放虽保持每样本一阶漂移，却因曲率损失导致样本效率下降，存在依赖学习率的临界 batch。在 Qwen2.5-Math-1.5B 上跨 16 倍 batch 范围的 GRPO 实验验证了该预测，ratio clipping 可延迟失败但无法消除进展差距。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。