arXiv cs.CL· Guo Tang, Shixin Jiang, Heng Chang, Zihan Zhang, Nuo Chen, Yuhan Li, Huiming Fan, Jia Li, Ming Liu, Bing Qin·· 5 小时前AI 评分27
LoopRPT:面向循环语言模型的强化预训练框架
LoopRPT: Reinforcement Pre-Training for Looped Language Models
AI 导读
LoopRPT 是面向循环语言模型(LoopLMs)的强化预训练框架,将下一 token 预测重构为下一 token 推理任务,通过 EMA teacher 参考和带噪 latent rollout 把强化信号直接施加到隐式推理步骤上。
来源:arXiv cs.CL · arxiv.org