有三深度学习计算机视觉核心方法与实践

6. 权重稀疏化(weight sparsification)：通过对网络权重引入稀疏性约束，可以大幅度降低网络权重中的非零元素个数;压缩后模型的网络权重可以以稀疏矩阵的形式进行存储和传输，从而实现模型压缩。

7. 权重量化(weight quantization)：通过对网络权重引入量化约束，可以降低用于表示每个网络权重所需的比特数;我们同时提供了对于均匀和非均匀两大类量化算法的支持，可以充分利用ARM和FPGA等设备的硬件优化，以提升移动端的计算效率，并为未来的神经网络芯片设计提供软件支持。

8. 网络蒸馏(network distillation)：对于上述各种模型压缩组件，通过将未压缩的原始模型的输出作为额外的监督信息，指导压缩后模型的训练，在压缩/加速倍数不变的前提下均可以获得0.5%-2.0%不等的精度提升。