arXiv stat.ML· Jingda Wu, Changxiao Cai·· 2 小时前AI 评分20
Transformer 掩码扩散模型可证明学习具隐结构的分布
Transformer-Based Masked Diffusion Models Provably Learn Distributions with Latent Structure
AI 导读
研究证明基于 Transformer 的掩码扩散模型（MDM）能以受隐结构约束的样本复杂度学习结构化分布。当数据分布可由隐马尔可夫树混合近似时，采用并行解掩码调度的 Transformer MDM 仅需 Õ(LK_par/ε) 训练样本即可达到 KL 散度下的 ε 精度，且无需预知树拓扑或分量参数。
来源：arXiv stat.ML · arxiv.org