赵康康 个人站点-主NLP
欧洲史
开发工具
Linux
计算机软件
DL-训练
历史-欧洲史
历史-中国史
中国史
DL-公式推导
DL-算法原理
DL-工程化
DL-数据
计算机硬件
可解释性
LLM-基础
LLM-Tokenizer
传统NLP
社会运转
训练框架
生活记录
技术报告
强化学习
导数与梯度
太长不看
- 导数：对于一元函数，导数就是某点的切线，沿切线方向就是变化率最快的方向
- 偏导数：对于多元函数，对于每个变量（坐标方向），固定其他变量时，都有该变量的切线，这就是偏导数
- 方向导数：想象一个多元函数（山坡），轴三个偏导（切线）可以组合出无数个切线，也就是方向导数
这么多切线，变化率最快的切线（方向导数）就是梯度
- 梯度：是一个矢量，其方向上的方向导数最大，其大小正好是此最大方向导数。（梯度是向量）
导数
导数是一元函数的变化率（斜率） 。导数也是函数，是函数的变化率与位置的关系。
如果是多元函数呢？则为 偏导数 。
偏导数
偏导数是多元函数“退化”成一元函数时的导数 ，这里“退化”的意思是 固定其他变量的值，只保留一个变量 ，依次保留每个变量，则𝑁N元函数有𝑁N个偏导数。
方向导数
方向导数为函数在某一个方向上的导数，任意方向的 方向导数为偏导数的线性组合，系数为该方向的单位向量 。当该方向与坐标轴正方向一致时，方向导数即偏导数，换句话说， 偏导数为坐标轴方向上的方向导数，其他方向的方向导数为偏导数的合成 。
梯度
- 当前位置的 梯度方向 ，为函数在该位置处 方向导数最大的方向 ，也是函数值 上升最快的方向 ，反方向为下降最快的方向；
- 当前位置的 梯度长度（模） ，为最大方向导数的值
方向导数其实是梯度向量和方向向量做内积得到的
Loading...