2 Basics of Neural Network programming

2.4 Gradient Descent

Gradient Descent 梯度下降

对于逻辑回归几乎所有的初始化方法都有效，通常用0来进行初始化，随机初始化也有效

梯度下降法最终是收敛到全局最优解或接近全局最优解

使用 := 表示进行迭代

dw表示w的导数   dJ(w)表示J(w)的导数   dJ(w)/dw表示J(w)对w求导

α表示 learning rate 学习率 即步长

当dJ(w)/dw < 0时，即导数为负数，w会迭代增长；当dJ(w)/dw > 0时，即导数为正数，w会迭代减小

在微积分中，偏微分符号∂读作round，其实就是d的花式写法

在微积分中，当J中有两个以上的变量J(w,b)，就是用偏导数符号∂，当J中只有一个变量时使用d

2.5 Derivatives

导数(derivative)=斜率(slope) 计算方法就是y轴偏移量比上x轴偏移量 即Δy/Δx = dy/dx = df(x)/dx = f'(x)

导数的理解可以是在x轴偏移之后，整个f(x)的偏移与x偏移的比值

2.6 More derivatives example

在这里log(a)的底是e，也可以写作ln(a)，lg(a)则表示以10为底

导数就是图像的斜率，导数在函数不同的点有可能取值不同