研究者提出TAPO长程LLM强化学习框架
热点事件持续更新
研究者提出TAPO长程LLM强化学习框架
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
研究者提出轨迹感知策略优化（TAPO）框架，用于长程大语言模型强化学习。该框架针对长程自回归 rollout 中局部策略失配累积导致的状态分布偏移问题，从 off-policy 策略梯度中理论推导出状态分布修正项并纳入 RL 目标，同时用几何均值估计器降低方差、用长度感知动态裁剪防止轨迹上的过度偏离更新。 在八个竞赛级基准上，TAPO 在数学推理和算法编程任务上较 GRPO 最高分别提升 48% 和 12%，训练稳定性增强。上述结果来自作者在论文中的报告。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
TAPO：面向长程 LLM RL 的轨迹感知策略优化，弥合状态分布差距报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv cs.LGTAPO：面向长程 LLM RL 的轨迹感知策略优化，弥合状态分布差距
针对长程自回归 rollout 中局部策略失配累积成严重状态分布偏移的问题，研究者提出轨迹感知策略优化（TAPO），从 off-policy 策略梯度中理论推导出状态分布修正项并纳入 RL 目标，同时用几何均值估计器降方差、用长度感知动态裁剪防止轨迹上的过度偏离更新。在八个竞赛级基准上，TAPO 在数学推理和算法编程上分别较 GRPO 最高提升 48% 和 12%，训练稳定性显著增强。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。