1.3_梯度下降法

梯度下降法

当为非严格凸函数时，初始点位置的不同可能得到不一样的局部最优解

当梯度小于某一σ时，停止迭代，求此时函数的极值即为局部最优解，当为严格的凸函数时，为全局最优解

延申到多元函数，此时梯度是偏导数组成的一个向量，当各个偏导数迭代到小于某一值的时候，停止迭代，反求此时的函数极值