基于粒子的广义随机优化

研究者提出一类基于扩散的随机粒子优化方法，用于损失梯度难以求解的场景，即梯度为关于参数依赖分布的积分，涵盖生成模型训练、微调和隐变量模型学习。该方法引入平均场动力学及其交互粒子近似，可涵盖多种现有算法，并在适定性与联合收缩性假设下证明了指数收敛和非渐近误差界。作者据此开发了高阶 Langevin 与动量优化器，并在最大边际似然估计和基于能量的模型训练上进行了评估。