arXiv cs.LG· Xingyu Chen, Ming Yang, Quanqi Hu, Tianbao Yang·· 11 小时前AI 评分17
SICO：单循环恒定批量的一阶惩罚方法求解随机双层优化
A Single-Loop, Constant-Batch First-Order Penalty Method for Stochastic Bilevel Optimization
AI 导读
研究者提出随机单循环恒定批量一阶惩罚方法 SICO，用于求解随机非凸-强凸双层优化问题。该方法每次迭代仅需 O(1) 个随机梯度样本，在无偏有界方差假设下达到 O(ε⁻⁶) 样本复杂度，在额外均方光滑假设下提升至 O(ε⁻⁴)。这是首个以单循环和恒定批量匹配全一阶 SBO 方法已知最优收敛速率的工作。
来源：arXiv cs.LG · arxiv.org