研究者提出PACT扩散语言模型RL后训练方法

Vaibhav Singh 与 Eugene Belilovsky 提出 PACT（Potential-Anchored Consistency of Transitions），一种针对扩散语言模型的强化学习后训练方法。 该方法针对扩散语言模型 RL 后训练中的“轨迹盲”问题：联合学习策略与一个由终端奖励锚定的标量势函数，用一致性损失匹配已揭示 token 的策略与参考分布对数概率比与势函数变化，无需序列似然估计或重要性比裁剪。 该工作以预印本形式发布，尚未见经同行评审或实验效果验证的报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。