arXiv cs.LG· Xu Han, Jiajing Hu, Li-Ping Liu·· 7 小时前AI 评分22
通过连续流语言模型反向传播验证器奖励
Backpropagating Verifier Rewards Through Continuous Flow Language Models
AI 导读
研究者提出一种面向连续流语言模型的强化学习后训练框架，通过引入 critic 估计中间 token 嵌入的价值，绕过不可微的解码步骤，获得比 REINFORCE 方差更低的路径梯度。该 critic 能从每个 token 表示预测价值，并随策略变化持续跟踪价值函数。在四项推理任务上，该方法稳定提升连续流语言模型表现，并优于同类型基线方法。
来源：arXiv cs.LG · arxiv.org