RollVerify：部分回放RL框架

研究者提出轻量级强化学习框架 RollVerify，用于长尾 rollout 场景。该框架基于部分回放（partial rollout），在样本进入训练前主动验证并修复样本，而非在训练中被动重新加权。 针对长尾 rollout 造成的 GPU 空泡，以及异步部分 rollout 引入的 off-policy 样本问题，RollVerify 通过 off-policy shift 指标 OPS 量化偏差，并在序列级和 token 级进行验证、截断无效轨迹后缀。该工作由 Yongqiang Yao 等作者完成。 报道未给出该框架在具体任务上的效率或准确率提升数值。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。