arXiv cs.LG· Zhicheng Cai, Weinan Dai, Yuyan Zhou, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou·· 7 小时前AI 评分29
TAPO：面向长程 LLM RL 的轨迹感知策略优化，弥合状态分布差距
Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL
AI 导读
针对长程自回归 rollout 中局部策略失配累积成严重状态分布偏移的问题，研究者提出轨迹感知策略优化（TAPO），从 off-policy 策略梯度中理论推导出状态分布修正项并纳入 RL 目标，同时用几何均值估计器降方差、用长度感知动态裁剪防止轨迹上的过度偏离更新。在八个竞赛级基准上，TAPO 在数学推理和算法编程上分别较 GRPO 最高提升 48% 和 12%，训练稳定性显著增强。
来源：arXiv cs.LG · arxiv.org