提出分层连续扩散语言模型H-CDLM
热点事件持续更新
提出分层连续扩散语言模型H-CDLM
1 篇报道1 个报道来源4 小时前更新
先了解这件事
报道摘要
研究者提出层级连续扩散语言模型 H-CDLM,通过并行扩散 token 及其聚类得到的粗粒度语义表示,以极小的算力与参数开销提升连续扩散语言模型。应用于 CoBit 得到 H-CoBit,在 LM1B 上生成困惑度 49.4、OWT 上 50.4,较基线分别改善 24.2 和 20.7 点,GSM8K 准确率达 27.4%。该框架同样适用于流匹配模型 FLM,代码将公开。
摘自 arXiv cs.LG
最新进展10月7日 12:00
H-CDLM:面向语言建模的层级表示联合连续扩散框架报道时间线
沿着报道,了解事件的不同侧面。
10月7日
- arXiv cs.LGH-CDLM:面向语言建模的层级表示联合连续扩散框架
研究者提出层级连续扩散语言模型 H-CDLM,通过并行扩散 token 及其聚类得到的粗粒度语义表示,以极小的算力与参数开销提升连续扩散语言模型。应用于 CoBit 得到 H-CoBit,在 LM1B 上生成困惑度 49.4、OWT 上 50.4,较基线分别改善 24.2 和 20.7 点,GSM8K 准确率达 27.4%。该框架同样适用于流匹配模型 FLM,代码将公开。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。