arXiv cs.LG· Wei Jiang, Yibo Wang, Zechao Li·· 7 小时前AI 评分13
无需知道 Oracle 平滑常数的自适应方差缩减方法
Adaptive Variance Reduction without Knowing Oracle Smoothness
AI 导读
该研究提出一种两阶段方法,在不知道平滑常数和方差上界的情况下,让同一算法自适应平均平滑、标准平滑与无噪声三种设定。在梯度预算 T 下,其收敛率分别为平均平滑 O(T^{-1/3})、标准平滑 O(T^{-1/4})、无噪声 O(T^{-1/2})。
来源:arXiv cs.LG · arxiv.org