arXiv cs.LG· Gon Buzaglo, Guy Kornowski·· 7 小时前AI 评分13
带约束非光滑非凸随机优化的最优算法
Optimal Algorithms for Nonsmooth Nonconvex Stochastic Optimization with Constraints
AI 导读
研究者提出面向凸约束集下非光滑非凸随机优化的新算法,可返回 (δ,ε)-Goldstein 稳定点,并首次在多种设定下达到最优收敛率。基于投影和无投影算法用随机梯度实现 Õ(δ⁻¹ε⁻³) 速率并被证明最优,零阶查询实现 Õ(dδ⁻¹ε⁻³) 速率,在维度 d 依赖上同样最优。其下界以 Frank-Wolfe gap 给出,即使对光滑问题也成立。
来源:arXiv cs.LG · arxiv.org