arXiv cs.AI· Chaoli Mou, Xinning Chen, Zhan Zhuang, Qinghe Zheng, Deyuan Kong, Yu Zhang·· 9 小时前AI 评分23
S-trace:面向 RLVR 的选择性后继资格迹方法
Selective Successor Eligibility Traces for RLVR
AI 导读
针对 GRPO 等无 critic 算法在 RLVR 中粗粒度时序信用分配的问题,研究者提出选择性后继资格迹方法 S-trace,通过后继重要性重加权恢复 PPO 式裁剪下的下游信用信号,并借助基于熵的 token 选择将其传播到选定的历史 token。
来源:arXiv cs.AI · arxiv.org