来源：原创

作者：学姐

编辑：学姐

大家可能会说学姐为啥正写着NLP的论文，怎么又来写计算机视觉的论文推荐，因为刚好整理出来了，就发了吧！要不然学姐后面就又忘记了。万一你们正需要，我发的晚，错过就不好了！

网络结构设计

MobileNets（Google 移动计算法宝）

期刊日期

CVPR 2017

论文名称

《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision  Applications》

描述

MobileNets 基于流线型架构，该架构使用深度可分离卷积来构建轻量级深度神经网络。我们引入了两个简单的全局超参数，可以有效地在延迟和准确性之间进行权衡。这些超参数允许模型构建者根据问题的约束为其应用程序选择合适大小的模型。

我们在资源和准确性权衡方面进行了广泛的实验，并与 ImageNet 分类上的其他流行模型相比表现出强大的性能。然后，我们展示了 MobileNets 在广泛的应用和用例中的有效性，包括对象检测、细粒度分类、人脸属性和大规模地理定位。

论文链接

https://arxiv.org/abs/1704.04861

代码：

https://github.com/Z0m6ie/CIFAR-10_PyTorch

关注【学姐带你玩AI】后台回复“我爱学习”，领取论文及讲解课件

ShuffleNet（计算效率极高的CNN架构）

期刊日期

CVPR 2017

论文名称

《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices》

描述

我们引入了一种计算效率极高的 CNN 架构，名为 ShuffleNet，它专为计算能力非常有限（例如，10-150 MFLOPs）的移动设备而设计。新架构利用两个新操作，逐点组卷积和通道混洗，在保持准确性的同时大大降低了计算成本。

ImageNet 分类和 MS COCO 对象检测的实验证明了 ShuffleNet 优于其他结构的性能，例如在 40 MFLOP 的计算预算下，在 ImageNet 分类任务上的 top-1 误差（绝对 7.8%）低于最近的 MobileNet。在基于 ARM 的移动设备上，ShuffleNet 比 AlexNet 实现了约 13 倍的实际加速，同时保持了相当的准确性。

论文链接

https://arxiv.org/abs/1707.01083

代码

https://github.com/jaxony/ShuffleNet

SqueezeNet（又小又快的网络模型）

期刊日期

ICLR 2017

论文名称

《SqueezeNet ：AlexNet-level accuracy with 50x fewer parameters and <0.5MB》

描述

最近对深度神经网络的研究主要集中在提高准确性上。对于给定的准确度级别，通常可以识别达到该准确度级别的多个 DNN 架构。在同等准确度的情况下，较小的 DNN 架构至少具有三个优势：

（1）较小的 DNN 在分布式训练期间需要较少的服务器间通信。

(2) 较小的 DNN 需要较少的带宽来将新模型从云端导出到自动驾驶汽车。

(3) 更小的 DNN 更适合部署在 FPGA 和其他内存有限的硬件上。

为了提供所有这些优势，我们提出了一种称为 SqueezeNet 的小型 DNN 架构。

论文链接

 https://arxiv.org/abs/1602.07360

代码

https://github.com/gsp-27/pytorch_Squeezenet

https://github.com/ejlb/squeezenet-chainer

SqueezeNet架构：

https://github.com/DeepScale/SqueezeNet

https://github.com/DT42/squeezenet_demo

https://github.com/Element-Research/dpnn

https://github.com/haria/SqueezeNet

Xception（Inception网络的增强版）

期刊日期

CVPR 2017

论文名称

《Xception: Deep Learning with Depthwise Separable Convolutions》

描述

这篇文章主要在 Inception V3 的基础上提出了 Xception（Extreme Inception），基本思想就是设计了通道分离式卷积 depthwise separable convolution operation

论文链接

 https://arxiv.org/abs/1610.02357

代码

https://github.com/weiaicunzai/pytorch-cifar100

模型压缩

知识蒸馏开山之作

期刊日期

NIPS 2014

论文名称

《Distilling the Knowledge in a Neural Network》

描述

提高几乎所有机器学习算法性能的一种非常简单的方法是在相同数据上训练许多不同的模型，然后对它们的预测进行平均。不幸的是，使用整个模型集合进行预测很麻烦，并且可能计算量太大而无法部署到大量用户，尤其是在单个模型是大型神经网络的情况下。

Caruana 和他的合作者已经证明，可以将集成中的知识压缩到一个更容易部署的模型中，我们使用不同的压缩技术进一步开发了这种方法。我们在 MNIST 上取得了一些令人惊讶的结果，并且我们表明，我们可以通过将模型集合中的知识提取到单个模型中来显着改进大量使用的商业系统的声学模型。

我们还介绍了一种由一个或多个完整模型和许多专业模型组成的新型集成，这些模型学习区分完整模型混淆的细粒度类。与专家的混合不同，这些专家模型可以快速并行地训练。

论文链接

https://arxiv.org/abs/1503.02531

代码暂无

注意力转移

期刊日期

ICLR 2017

论文名称

《improving the performance of convolutional neural networks via attention transfer》

描述

注意力在人类视觉体验中起着至关重要的作用。此外，最近已经证明，在将人工神经网络应用于计算机视觉和 NLP 等领域的各种任务的背景下，注意力也可以发挥重要作用。

在这项工作中，我们表明，通过正确定义卷积神经网络的注意力，我们实际上可以使用这种类型的信息，通过强制它模仿强大的教师网络的注意力图来显着提高学生CNN网络的性能。

为此，我们提出了几种转移注意力的新方法，显示出在各种数据集和卷积神经网络架构上的持续改进。

论文链接

https://arxiv.org/abs/1612.03928

代码

https://github.com/szagoruyko/attention-transfer

三步法进行剪枝

期刊日期

NIPS 2015

论文名称

《Learning both Weights and Connections for Efficient Neural Networks》

描述

神经网络是计算密集型和内存密集型的，因此难以在嵌入式系统上部署。此外，传统网络在训练开始之前就修复了架构；因此，培训无法改善架构。为了解决这些限制，我们描述了一种通过仅学习重要连接来将神经网络所需的存储和计算减少一个数量级而不影响其准确性的方法。我们的方法使用三步法修剪冗余连接。首先，我们训练网络以了解哪些连接是重要的。接下来，我们修剪不重要的连接。最后，我们重新训练网络以微调剩余连接的权重。在 ImageNet 数据集上，我们的方法将 AlexNet 的参数数量减少了 9 倍，从 6100 万到 670 万，而不会导致准确性损失。与 VGG-16 的类似实验发现，参数数量可以减少 13 倍，从 1.38 亿减少到 1030 万，同样没有损失准确性。

论文链接

https://arxiv.org/abs/1506.02626

代码

https://github.com/jack-willturner/deep-compression

利用剪枝进行网络瘦身

期刊日期

ICCV 2017

论文名称

《Learning Efficient Convolutional Networks through Network Slimming》

描述

深度卷积神经网络 (CNN) 在许多实际应用中的部署在很大程度上受到其高计算成本的阻碍。在本文中，我们提出了一种新颖的 CNN 学习方案，以同时 

1）减小模型大小；

2) 减少运行时内存占用；

3) 在不影响准确性的情况下减少计算操作的数量。

这是通过以简单但有效的方式在网络中强制执行通道级稀疏性来实现的。

与许多现有方法不同，所提出的方法直接适用于现代 CNN 架构，为训练过程引入了最小的开销，并且不需要特殊的软件/硬件加速器来生成模型。

论文链接

https://openaccess.thecvf.com/content_ICCV_2017/papers/Liu_Learning_Efficient_Convolutional_ICCV_2017_paper.pdf

代码

https://github.com/liuzhuang13/slimming

英伟达迭代式剪枝策略

期刊日期

ICLR 2017

论文名称

《Pruning Convolutional Neural Networks for Resource Efficient Inference》

描述

这篇论文来自NVIDIA，论文中提出了一种用于修剪神经网络中的卷积核的新公式，以实现有效的推理。论文中提出了一个基于泰勒展开的新准则，用它去近似由于修剪网络参数引起的损失函数的变化。

论文链接

https://arxiv.org/abs/1611.06440

代码

https://github.com/jacobgil/pytorch-pruning

—— 正文完 ——

关注学姐带你玩AI

获得更多论文汇总资料

在这里等着你学习