连续扩散语言模型新设计DoubleCat与SemiCat

Oscar Davis等作者发表论文，研究连续扩散语言模型（CDLM）的两个训练要素——自条件与嵌入几何，并提出两种设计方法。其中DoubleCat无需额外前向传播，即可将TinyGSM准确率提升三倍以上；在此基础上加入离散揭示的SemiCat在TinyGSM上达到49.94%，并在1.7B规模下于六项基于似然的评测中四项超越离散扩散模型。 论文还称，交叉熵会驱动嵌入趋向解码错误率接近one-hot的几何结构。上述准确率与评测结果均为论文报告的数据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。