为什么要用学习率bb

😀

📝

notion image
为什么会出现这种情况
某点的梯度方向是变化最快的方向，大小呢？
但是某点的梯度大小并不能说明，当按照梯度方向走梯度大小的长度，一直在梯度最大的方向
原因在于：在A点沿着梯度方向走动的时候，一旦有任何移动，就不在A点了，此时梯度就变了
但是我的问题来了
梯度就是最大的方向导数
导数就是变化率，这里应该隐含着极限，为了会一步跨大了呢，应该是跨得非常小，要用学习率也应该大于0呀

📎 Reference

    💡
    欢迎补充