1.2 卷积神经网络基础补充

卷积神经网络基础补充

误差的计算

例子

经过softmax处理后所有输出节点概率和为1

交叉熵损失

实例

默认log以e为底

损失公式

误差反向传播

权重的更新

在实际应用中往往不可能一次性将所有数据载入内存（算力也不够），所以只能分批次（batch）训练。

ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库。超过1400万的图像被ImageNet手动注释，以指示图片中的对象

若使用整个样本集进行求解损失梯度指向全局最优方向

若使用分批次样本进行求解，损失梯度指向当前批次最优方向，训练过程更不平稳

优化器（optimazer）

使网络得到更快的收敛

SDG优化器（Stochastic Gradient Descent）

缺点：易受样本噪声影响，可能陷入局部最优解

2.SGD+Momentum优化器

Adagrad优化器（自适应学习率）

RMSProp优化器（自适应学习率）

Adam优化器（自适应学习率）

几个优化器的比较