研究者提出MIPS缓解强化学习模式崩溃

针对GRPO等组策略梯度方法中频率估计的逆概率缩放（IPS）在大结果空间下失效的问题，Armaan Sandhu等作者提出Marginal IPS（MIPS）方法。 据作者描述，MIPS通过将采样轨迹与学习到的轨迹模型结合进行边缘评估，以缓解大结果空间强化学习中的模式崩溃。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。