ImageNet 冠军模型 SE-Net 详解（作者报告，搬运油管，中文）
SE-Net
从卷积操作的基本原理来进行考虑
- wi 是一个卷积核，在一个小的空间范围内去组合上一层feature map中的一些特性，通道上也做了一些组合，将加权之后的值组合到一起，组合到下一层特征图上的值
怎样提高卷积操作的可学习性、可表达性
- 左侧是一个 inception 的结构，主要作用是对卷积进行拆分，拆分成多尺度的1*1、3*3、5*5的卷积，分别对上一层输出的feature map 进行卷积，卷积之后将他们得出的feature map进行concat
- 如果优化算法或者卷积能力足够强的话，理论上用一个5*5的卷积就能够达到上述效果，但是实际情况中很难提取到想到的属性和特性（多尺度信息）
- 在神经网络结构的建造过程中，如果想要某种属性，直接将这种属性建模在神经网络中还是很有必要的
- 右图中所要表达的是在空间中做了不同方向的东西
- 卷积的两个特性：空间上的和通道上的
- 显式地将通道之间的相互关系建模到神经网络的module中，这样比起用标准的module能够得到性能上的增益
- 通道之间的相互关系：可以对不同的通道做不同的加权，这样有用的特征会被放大，没有用的特征就会被抑制
- 上图是SE module的主要框架
- Sqeeze操作：将spatial上的信息直接压缩成为一个数，相当于将每一个通道直接压缩成一个标量
- Excitation操作：通过输入算出不同通道的权值，有了不同通道的权值，就能够将它乘到之前的feature map中，从而得到一个被重新加权后的feature map，直接将其作为整个block的输出
- Scale操作：
- Sqeeze和Excitation的选择很多
- 左侧是一个inception的例子07:59
- Sqeeze操作采用average pooling操作将c*h*w变为c*1*1,用以保持原有特征的能量
- c / 16 ：对模型的通道数进行降维
- 右侧是针对有残差网络的情况13:27
- 只对残差的部分进行了SE模块的修改，跟左侧没有太大的区别
网络结构图
14:30
模型和计算的复杂度
16:19
训练
20:34
23:57
27:18
和其他网络结构结合
27:53
关于降维的系数“16”
29:38
和其他算法的比较
31:18
32:23
38:14
场景分类上的结果
38:53
----end----
