跳到正文
arXiv cs.CL· Jinjin He, Xinsong Feng, Lucheng Fu, Sinan Wang, Bo Zhu, Jiayun Wang·· 2 小时前AI 评分27

重新思考扩散与解码的角色:面向并行语言生成的 Predictive-State Flows

Rethinking the Roles of Diffusion and Decoding: Predictive-State Flows for Parallel Language Generation

AI 导读

研究提出 Predictive-State Flows(PSF),将序列划分为块,由 rectified-flow 先验生成仅依赖前文的预测状态,再由块因果解码器并行生成所有块,把扩散从 L 个 token 级状态降到 K << L 个预测状态。

来源:arXiv cs.CL · arxiv.org