arXiv cs.CL· Justin Jung·· 4 小时前AI 评分23
在连续扩散语言模型训练中为条件提示词 token 加噪
Noise Your Prompt: Noising Conditioning Tokens in Continuous Diffusion Language Models
AI 导读
连续扩散语言模型训练中通常固定条件提示词 token 不加噪，该研究改为在训练时也对条件提示词 token 加噪。这一单行训练目标改动在 Sudoku Hard 上把求解率从 3.73% 提升到 24.65%，10x10 N-Queens 解覆盖度从 50.60% 升至 73.79%，并在 Gigaword 摘要等小数据集自然语言生成上有提升，但开放式对话生成等任务未见收益。
来源：arXiv cs.CL · arxiv.org