学习率：一次参数更新，到底应该改多少

学习率负责缩放梯度给出的更新幅度，方向合适不代表任意大的改动都合适。以单参数平方损失 L(w)=(w-3)² 为例，学习率 0.1 时参数从 0 经 0.6、1.08 逐步接近 3；0.8 时左右交替但收敛，1 时在 0 与 6 之间往返，1.1 时发散。该例收敛条件为 0<η<1，若损失整体乘 10，收敛范围变为 0<η<0.1。