跳到正文
arXiv cs.AI· Chaoli Mou, Xinning Chen, Zhan Zhuang, Qinghe Zheng, Deyuan Kong, Yu Zhang·· 9 小时前AI 评分23

S-trace:面向 RLVR 的选择性后继资格迹方法

Selective Successor Eligibility Traces for RLVR

AI 导读

针对 GRPO 等无 critic 算法在 RLVR 中粗粒度时序信用分配的问题,研究者提出选择性后继资格迹方法 S-trace,通过后继重要性重加权恢复 PPO 式裁剪下的下游信用信号,并借助基于熵的 token 选择将其传播到选定的历史 token。

来源:arXiv cs.AI · arxiv.org