arXiv cs.CL· Zhihan Yang, Wei Guo, Jean-Marie Lemercier, Simon Welker, Yonggan Fu, Mohammad Mahdi Kamani, Sajad Norouzi, Julius Berner, Tomas Geffner, Karsten Kreis, Yongxin Chen, Molei Tao, John Thickstun, Pavlo Molchanov, Ante Juki\'c, Arash Vahdat, Morteza Mardani·· 1 天前AI 评分36
Sigma：首个大规模连续扩散语言模型，3B/8B 参数
Large Language Continuous Diffusion Models
AI 导读
研究者提出 Sigma，首个大规模（3B/8B）连续扩散语言模型，基于可操控的低维 ODE/SDE 潜轨迹，按块通过似然优化训练，并利用自回归模型预训练权重热启动。
来源：arXiv cs.CL · arxiv.org