arXiv cs.AI· Guy Smorodinsky, Sveta Gimpleson, Itay Safran·· 1 天前AI 评分22
非线性神经网络中 GD 收敛速度研究：对抗鲁棒性视角
On the Rate of Convergence of GD in Non-linear Neural Networks: An Adversarial Robustness Perspective
AI 导读
研究证明，即便在仅含两个 ReLU 神经元和两个训练样本的极简二分类设定下，梯度下降（GD）虽能收敛到最优鲁棒性边界，但收敛速度极慢，严格为 Θ(1/ln(t))。这是首个针对非线性模型鲁棒性边界收敛速度的显式下界，实证模拟显示该失效模式在多种自然网络初始化下普遍存在且速率一致。
来源：arXiv cs.AI · arxiv.org