【机器学习笔记】Week5

反向传播：按照从输出层到输入层的顺序，计算神经网络各参数的梯度，从而优化参数。

通过链式法则来计算梯度：对损失函数求参数的偏导，探究一个参数w的变化如何影响最终的损失。通过C--A(i)--Z(I)--A(i-1）链式法则计算，包括了三个项的乘积

• 损失函数的导数

• 激活函数（z）的导数

• 线性函数的导数

将所有样本相加求平均，就是这个参数的梯度。

如果是一层含有不止一个神经元，其实就是有不同的路径影响最后的一个输出，对各路径计算最后求和即可。