arXiv cs.LG· Armaan Sandhu, Abhijeet Sinha, Dianbo Liu·2026-10-15 12:00· 7 小时前AI 评分26

MIPS：缓解大结果空间强化学习中的模式崩溃

MIPS: Mitigating Mode Collapse in Reinforcement Learning for Large Outcome Spaces

AI 导读

针对 GRPO 等组策略梯度方法中频率估计的逆概率缩放（IPS）在大结果空间下失效的问题，研究者提出 Marginal IPS（MIPS），通过将采样轨迹与学习到的轨迹模型结合进行边缘评估。

来源：arXiv cs.LG · arxiv.org