Transformer掩码扩散模型获统计保证

Jingda Wu 与 Changxiao Cai 发表论文，为基于 Transformer 的掩码扩散模型（MDM）给出端到端统计保证：当数据分布可由隐马尔可夫树混合近似时，采用并行解掩码调度的 Transformer MDM 只需 Õ(LK_par/ε) 训练样本，即可在 KL 散度下达到 ε 精度，且无需预知树拓扑或分量参数。 该结论说明这类模型的样本复杂度由数据自身的隐结构决定，而非仅由模型规模决定。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。