研究者提出首个大规模连续扩散语言模型Sigma

研究者提出 Sigma，称其为首个大规模（3B/8B）连续扩散语言模型。它基于可操控的低维 ODE/SDE 潜轨迹，按块通过似然优化训练，并利用自回归模型的预训练权重热启动。 该模型由 Zhihan Yang 等作者提出，相关论文发布在 arXiv cs.CL。上述“首个大规模连续扩散语言模型”的定位来自论文自述。

AI 根据报道生成 · 14 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。