arXiv cs.AI· Jiayu Liu, Ruizhi Zhao, Tianyun Ji, Yee Whye Teh, Zhenya Huang, Ning Miao·· 6 小时前AI 评分32
Seq-Drifting:单步文本生成框架
One-Step Text Generation by Seq-Drifting
AI 导读
Seq-Drifting 提出一种对连续 token 表示序列施加 drifting 的框架,直接学习从高斯噪声到文本的映射,在推理时一次前向传播即可联合生成全部 token。该框架在 LM1B 上单步生成达到 36.01 的生成困惑度,并在无条件与条件生成中表现有竞争力。翻译、摘要和推理实验进一步验证了其超越开放式生成的适用性,代码已开源。
来源:arXiv cs.AI · arxiv.org