研究者提出双 rollout 强化学习奖励估计方法

Haifeng Qian 等作者提出一种名为 double-rollout 的强化学习奖励估计方法。该方法针对推理模型训练中的信用分配问题：对每条采样 rollout 截断推理轨迹后采样多个续写，用这些续写奖励的均值替代原始奖励，以更稳健地估计推理质量。 据该论文，这一做法旨在提升推理模型的准确率与 token 效率。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。