跳到正文
arXiv cs.LG· Mingyi Li, Taira Tsuchiya, Kenji Yamanishi·· 3 小时前AI 评分13

复合在线到非凸转换实现最优 Oracle 复杂度

Composite Online-to-Nonconvex Conversion with Optimal Oracle Complexity

AI 导读

研究者将在线到非凸转换框架扩展到复合非光滑非凸优化场景,通过为在线学习器引入包含正则项本身而非其线性化的新损失函数,使在线镜像下降的变体实现低 regret。所得算法达到 O(δ⁻¹ε⁻³) 随机梯度查询或 O(dδ⁻¹ε⁻³) 函数值查询复杂度,与非复合情形的最优速率一致,表明额外的凸正则项不会恶化 oracle 复杂度。

来源:arXiv cs.LG · arxiv.org