arXiv stat.ML· Yiran Zhang, Mo Zhou, Weihang Xu, Maryam Fazel, Simon S. Du·· 13 小时前AI 评分21
梯度 EM 学习高维高斯混合模型是否必须 Ω(√d) 分离？
Is $\sqrt{d}$ Separation Necessary for Gradient EM to Learn Gaussian Mixtures in High Dimensions?
AI 导读
针对梯度 EM 在过参数化设置下学习高斯混合模型需真值分量分离度达到 Ω(√d) 的已知结论，该论文证明这一维度依赖在高维下不可避免。作者考虑对混合权重用标准 EM、对分量均值用梯度 EM 的混合算法，证明当维度足够大时，即便在过参数化情形下，Ω(d^{0.5-ε}) 量级的分离度也不足以在次指数时间内保证随机初始化下总体梯度 EM 的全局收敛，从而给出近乎最优的最坏情况下界。
来源：arXiv stat.ML · arxiv.org