arXiv cs.LG· Mathias Ollu, Nikos Komodakis·· 11 小时前AI 评分24
H-CDLM：面向语言建模的层级表示联合连续扩散框架
Denoising Hierarchical Representations: Joint Continuous Diffusion for Language Modeling
AI 导读
研究者提出层级连续扩散语言模型 H-CDLM，通过并行扩散 token 及其聚类得到的粗粒度语义表示，以极小的算力与参数开销提升连续扩散语言模型。应用于 CoBit 得到 H-CoBit，在 LM1B 上生成困惑度 49.4、OWT 上 50.4，较基线分别改善 24.2 和 20.7 点，GSM8K 准确率达 27.4%。该框架同样适用于流匹配模型 FLM，代码将公开。
来源：arXiv cs.LG · arxiv.org