神经网络的训练

在构建了这个模型之后，就可以基于损失函数对参数进行优化了，采用的方法就是梯度下降法。但是我们注意到当神经网络叠的层次比较多的时候，参数的数目是爆炸性增长的，比如现在的语音识别网络简单一点的也有七八层，每一层有上千个神经元，参数量就达到上百万个。如果直接采用梯度下降法，每迭代一步都对所有参数进行微分计算，计算量将时巨大的！为了使梯度下降法更有效率，一种叫做后向传播(backpropagation)的算法被提出。后向传播本质上也是一