arXiv stat.ML· Junsoo Ha·· 5 小时前AI 评分22
随机梯度下降上升(SGDA)在非凸-PL极小极大博弈中并非最优
Stochastic Gradient Descent Ascent is Suboptimal for Nonconvex-PL Min-Max Games
AI 导读
研究证明,固定时间尺度比与非递增步长的双时间尺度 SGDA 在非凸-PL 博弈中复杂度下界为 Ω(κ²ℓε⁻²+κ⁴ℓσ²ε⁻⁴),与现有 SGDA 上界吻合,并与 Smoothed-AGDA 形成复杂度分离。当时间尺度比小至 o(κ²) 时,SGDA 甚至无法找到稳定点,凸显其在 NC-PL 博弈中的根本局限。
来源:arXiv stat.ML · arxiv.org