第一次懂了梯度下降算法

2023-08-13 15:44 作者:阳光-积极成长版 0人读过 | 我要投稿

下面以例子为例来解释：

一元线性回归

$h_%7B%5Ctheta%7D(x)%3D%5Ctheta_0%2B%5Ctheta_1x%2C%20J(%5Ctheta)%3D%5Cfrac%7B1%7D%7B2n%7D%5Csum_%7Bi%3D1%7D%5En(%5Ctheta_0%2B%5Ctheta_1x-y)%5E2$

其中 $J(%5Ctheta)$ 是目标函数，梯度下降更新 $%5Ctheta$ 即：

$%5Ctheta_j%3A%3D%5Ctheta_j-%5Calpha%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20%5Ctheta_j%7DJ(%5Ctheta)$

其中 $%5Calpha$ 为学习率，对于一元线性回归模型就是求参数 $%5Ctheta_0%2C%5Ctheta_1$ ，即：

$%5Ctheta_0%3D%5Ctheta_0-%5Calpha%5Cfrac%7B1%7D%7Bn%7D%5Csum_%7Bi%3D1%7D%5En%20(%5Ctheta_0%2B%5Ctheta_1x-y)%5C%5C%0A%5Ctheta_1%3D%5Ctheta_1-%5Calpha%5Cfrac%7B1%7D%7Bn%7D%5Csum_%7Bi%3D1%7D%5En(%5Ctheta_0%2B%5Ctheta_1x-y)x$

代码表示就是：

Logistic模型

$h_%7B%5Ctheta%7D(x)%3D%5Cfrac%7B1%7D%7B1%2Be%5E%7B-%5Ctheta%5ETx%7D%7D%3Dsigmoid(z)%5C%5C%0ALoss(h_%7B%5Ctheta%7D(x)%2Cy)%3D-%5Csum_%7Bi%3D1%7D%5En%5Bylog(h_%7B%5Ctheta%7D(x))%2B(1-y)log(1-h_%7B%5Ctheta%7D(x))%5D$