02-02-梯度下降法

梯度下降法 gradient descent

梯度：对一个多元函数求偏导,会得到多个偏导函数.这些导函数组成的向量，一元函数的梯度可以理解为就是它的导数。

当图像为严格的凸函数，可求解全局最优解。

当图像为非严格意义的凸函数时，会因初始值的不同找到不同的局部最优解。

梯度下降给出的办法是:先随便蒙一个点出来,然后根据这个点每次下降一点点，什么时候下降得到的值(点带入偏导函数得到的)和上一次的值基本基本一样也就是相差特别特别小的时候,我们认为就到了最低点.

其实求解多元函数和一元函数的道理是一样的,只不过函数是一元的时候,梯度中只有一个导函数,函数时多元的时候,梯度中有多个导函数.当我们把梯度中的所有偏导函数都变为0的时候,就可以找到每个未知数的对应解