cs231n第7课：卷积神经网络

作业2：https://cs231n.github.io/assignments2016/assignment2/

灵感：赶紧让这个过程中建模一个公式让同时活跃更多的神经元更多的连结到下一层的同一个神经元吧！

灵感：最后一层神经元具有平移不变性吗？如果有，用什么结构的更新方式能塑造它？（同时激活？）还是说梯度下降本来就会让这个平移不变性的塑造达到max平移不变性？

卷积 layer 的4个参数：filter个数，卷积核尺寸，步长，padding

参数共享：避免过拟合（比如一个filter对一张图都只提取竖直边缘）

局部连接：避免w参数太庞大，以便拓宽网络深度

灵感：

反向传播网络中间要用多少层，怎么架构，都是手工盲估，而没有‘抽象’‘连接’。靠抽象，连接抽象即架构，这才是正常人大脑。盲估，而不利用抽象连接架构，而是用盲估架构+反向传播来决定准确率，这样，失却了抽象，也许抽象超出了这些layer和激活函数所能表达，也许没有（这些层有能力容纳建模完整的抽象--sota的模型在分类手写数字和imgnet上超过人类抽象，分不清的那1%都是人眼抽象也不好归类的模糊区间）。

盲估：无法保证中间label的正确性，可能能形成的中间label容纳了train（从而容纳 test、部分现实），但一部分正确现实（生成的攻击图片，人眼看起来还是熊猫但是网络认不出来）没被容纳，一部分错误现实被容纳（可能是train中没能泛化包含的特征）。

抽象连接：需要最终label（高层抽象）以外的中间label 抽象对象。需要实际的抽象关系。

2012 Alex Net

2013 ZF Net

2014 VGG Net

        Google Net

2015 Res Net

其中 lr = 0.1，而AlexNet的 lr =0.01，因为有BN，BN通常允许你 lr 大一点

没用dropout，因为BN的论文说用了BN就没那么需要dropout了。andewj没有第一手经验，但是2015这个ResNet case 他们就是没用dropout。

总结

VGG跑的有多快，推理的时候（还是训练的时候？记不清）：大概10~几百毫秒

AlexNet在手机上实时跑（预测），大概10Hz（100ms）

（都是基于2016的gpu和手机）