arXiv cs.LG· Oscar Davis, Daan Roos, Alice Bizeul, Amitis Shidani, Victor Turrisi, Louis B\'ethune, Pierre Ablin, Marco Cuturi·· 7 小时前AI 评分24
连续扩散语言模型的设计空间：自条件与嵌入几何如何影响 CDLM 训练
On the Design Space of Continuous Diffusion Language Models
AI 导读
研究聚焦连续扩散语言模型（CDLM）的两个训练杠杆——自条件和嵌入几何。提出的 DoubleCat 无需额外前向传播即可将 TinyGSM 准确率提升三倍以上；加入离散揭示的 SemiCat 在 TinyGSM 上达到 49.94%，在 1.7B 规模下于六项基于似然的评测中四项超越离散扩散。交叉熵会驱动嵌入趋向解码错误率接近 one-hot 的几何结构。
来源：arXiv cs.LG · arxiv.org