有三AI-CV项目实战组(2023年)
1. 线性或非线性量化:1/2bits, int8 和 fp16等;
2. Op-level的快速算法:FFT Conv2d (7x7, 9x9), Winograd Conv2d (3x3, 5x5) 等;
3. Layer-level的快速算法:Sparse-block net [1] 等;
4. 优化工具与库:TensorRT (Nvidia), Tensor Comprehension (Facebook) 和 Distiller (Intel) 等;
5. 通道剪枝(channel pruning):结构或非结构剪枝:deep compression, channel pruning 和 network slimming等; 在CNN网络中,通过对特征图中的通道维度进行剪枝,可以同时降低模型大小和计算复杂度,并且压缩后的模型可以直接基于现有的深度学习框架进行部署。