扩散语言模型训练对提示词加噪，求解率提升

Justin Jung 提出一种连续扩散语言模型的训练方法：在训练时也对条件提示词 token 加噪，而此前这类模型通常固定条件提示词 token 不加噪。作者称这是对训练目标的单行改动，默认不增加推理成本，并支持类似无分类器引导的引导采样，代码已公开。 该方法在 Sudoku Hard 上把求解率从 3.73% 提升到 24.65%，10x10 N-Queens 解覆盖度从 50.60% 升至 73.79%，在 Gigaword 摘要等小数据集自然语言生成上也有提升；但在开放式对话生成等任务上未见收益。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。