arXiv cs.CL· Vansh Bansal, Cholyeon Cho, Syamantak Kumar, Sujay Sanghavi, Purnamrita Sarkar·· 4 小时前AI 评分24
走快但小心：理解掩码扩散模型中的并行采样
Walk fast but be careful: Understanding Parallel Sampling in Masked Diffusion
AI 导读
研究以图上随机游走为可验证沙盒，分析掩码扩散模型（MDM）的并行采样策略，证明基于最低熵等分数的并行解掩码并不总优于随机并行采样，性能取决于图结构诱导的条件依赖。作者提出免训练的二分采样器，在序列长度上仅需对数步数，若学习到的边缘分布精确则可证明对随机游走精确。在 OpenWebText 生成及 GSM8K、MBPP、HumanEval 推理基准上，二分式采样器提供了良好的速度-质量权衡。
来源：arXiv cs.CL · arxiv.org