【五分钟机器学习】卷积神经网络III：发展历史 (音频已修复)

CNN的问题：深度深--训练慢 反向传播--训练难

视频目录：00:54

alexnet：引用ReLu激活函数代替sigmod，解决了梯度消失和梯度爆炸的问题；局部归一化、dropout解决过拟合

VGG net：提出了使用3x3卷积核代替大卷积核的效果更好，提出16-19层深度比较好

谷歌net：稀疏矩阵叠加、使用1x1卷积核

res net：网络越深，反向传播的困难越大，整体性能反而可能变低。此时res net利用残差传递，Y=X等方法，认为加入恒等映射层不会损失反向传播的精度导致整体性能变差

densenet：特征复用，减少了参数。避免了重复特征

最后有一个性能表格 12:15