研究：GD在极简非线性网络中收敛极慢

1. 12:00
   arXiv cs.AI

   非线性神经网络中 GD 收敛速度研究：对抗鲁棒性视角

   研究证明，即便在仅含两个 ReLU 神经元和两个训练样本的极简二分类设定下，梯度下降（GD）虽能收敛到最优鲁棒性边界，但收敛速度极慢，严格为 Θ(1/ln(t))。这是首个针对非线性模型鲁棒性边界收敛速度的显式下界，实证模拟显示该失效模式在多种自然网络初始化下普遍存在且速率一致。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。