学习率：一次参数更新，到底应该改多少

学习率决定每次参数更新的幅度，方向合适不代表任意大的改动都合适。以单参数平方损失 L(w)=(w-3)² 为例，学习率取 0.1 时参数从 0 经 0.6、1.08 逐步接近 3；取 0.8 时左右交替但收敛；取 1 时在 0 与 6 之间往返；取 1.1 时发散。 该例的收敛条件是 0<η<1。若损失整体乘 10，收敛范围随之变为 0<η<0.1。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。