目前最快精度最高的目标检测框架

计算机视觉研究院专栏

作者：Edison_G

疫情以来，各种大型国际会议有如火如荼的开展起来。目前，已经被研究出很多高效高精度的框架，在深度学习领域，模型效率也是越来越重的一个研究课题。不仅仅停留在训练的提速，现在推理应用的速度更加关键。因此，现在很多研究趋势朝着更高效更小型化发展！

1.摘要模型效率在计算机视觉领域中越来越重要。作者研究了神经网络结构在目标检测中的设计选择，并提出了提高检测效率的几个关键优化方案。首先提出了一种加权双向特征金字塔网络(BiFPN)，该网络能够方便、快速的进行多尺度特征融合；其次，提出了一种混合缩放方法，可以同时对所有主干网络、特征网络以及最后的预测网络（boxes/classes）的分辨率、深度和宽度进行均匀缩放。特别地，是在单模型和单比例尺的情况下，EfficientDet-D7在52M参数和325B FLOPs的情况下，实现了map在 COCO数据集的最高水平(52.2)，比之前最好的检测器更小，使用更少的FLOPs(325B)，但仍然更准确(+0.2% mAP)。

2.背景

近年来，在更精确的目标检测方面取得了巨大的进展；同时，最先进的物体探测器也变得越来越昂贵（消耗）。例如，最新的基于AmoebaNet-based NAS-FPN检测器[Barret Zoph, Ekin D. Cubuk, Golnaz Ghiasi, Tsung-Yi Lin, Jonathon Shlens, and Quoc V. Le. Learning data aug- mentation strategies for object detection. arXiv preprint arXiv:1804.02767, 2019]需要167M参数和3045B FLOPs(比RetinaNet多30倍)才能达到最先进的精度。大型的模型尺寸和昂贵的计算成本阻止了他们在许多现实世界的应用，如机器人和自动驾驶，其中模型大小和延迟受到高度限制。鉴于这些现实世界的资源约束，模型效率对于目标检测变得越来越重要。

一个自然的问题是：是否有可能在广泛的资源约束(例如从3B到300B FLOP)中建立一个具有更高精度和更高效率的可伸缩检测体系结构？ 作者旨在通过系统研究检测器结构的各种设计选择来解决这一问题。基于one- stage detector paradigm，研究了主干网络、特征融合和类/box网络的设计选择，并确定了两个主要挑战：

挑战1：高效的多尺度特征融合    自[Tsung-Yi Lin, Piotr Dolla ́r, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie. Feature pyramid networks for object detection. CVPR, 2017]引入以来，FPN已被广泛应用于多尺度特征融合。最近，PANET、NAS-FPN和其他研究开发了更多的跨尺度特征融合网络结构。在融合不同的输入特征的同时，大多数以前的工作只是不加区分地总结它们；然而，由于这些不同的输入特征具有不同的分辨率，我们观察到它们通常对融合的输出特征作出不平等的贡献。为了解决这一问题，作者提出了一个简单而高效的加权双向特征金字塔网络(BiFPN)，它引入可学习的权重来学习不同输入特征的重要性，同时反复应用自顶向下和自底向上的多尺度特征融合。

挑战2：模型缩放   虽然以前的工作主要依靠更大的主干网络[如：Joseph Redmon and Ali Farhadi. Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767, 2018；Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. NIPS, 2015]或更大的输入图像大小[Kaiming He, Georgia Gkioxari, Piotr Dolla ́r, and Ross Girshick. Mask r-cnn. ICCV, pages 2980–2988, 2017]来获得更高的精度，但我们观察到，在考虑精度和效率时，扩展特征网络和框/类预测网络也是至关重要的。 在最近的工作[Mingxing Tan and Quoc V. Le. Efficientnet: Rethinking model scaling for convolutional neural networks. ICML, 2019]的启发下，作者提出了一种目标检测器的复合缩放方法，它联合缩放所有主干网络、特征网络、框/类预测网络的分辨率/深度/宽度。

3.BiFPN

CVPR 2017的FPN指出了不同层之间特征融合的重要性，并且以一种比较简单，Heuristic的方法把底层的特征乘两倍和浅层相加来融合。之后人们也试了各种别的融合方法，比如PANet先从底向上连，再自顶向下连回l去；NAS-FPN通过搜索找到一种不规则的连接结构。总之上述都是一些人工各种连接的设计，包含Conv，Sum，Concatenate，Resize，Skip Connection等候选操作。很明显使用哪些操作、操作之间的顺序是可以用NAS搜的。进入Auto ML时代之后，NAS-FPN在前，搜到了一个更好的 neck部分的结构。

• PANet效果好于FPN和NAS-FPN,计算代价也更高；
• 如果一个结点本身没有融合的特征,那么对以特征融合为目标的结构贡献就不大，所以PANet中移除了P3,P7的中间结点；

• 同一尺度的输入和输出又加了一个连接,因为计算量不大，得到上图(d)；
• 上图(d)中虚线框内作为一层，会重复多次以得到high-level feature fusion。

加权融合

当融合具有不同分辨率的特征时，一种常见的方法是首先将它们调整到相同的分辨率，然后对它们进行融合。金字塔注意网络[Hanchao Li, Pengfei Xiong, Jie An, and Lingxue Wang. Pyramid attention networks. BMVC, 2018]引入全局自注意上采样来恢复像素定位，在[Golnaz Ghiasi, Tsung-Yi Lin, Ruoming Pang, and Quoc V. Le. Nas-fpn: Learning scalable feature pyramid architecture for object detection. CVPR, 2019]中进一步研究。以前的所有方法都一视同仁地对待所有输入特性。 然而，我们观察到，由于不同的输入特征具有不同的分辨率，它们通常对输出特征的贡献是不平等的。 为了解决这个问题，作者建议为每个输入增加一个额外的权重，并让网络学习每个输入特性的重要性。 基于这一思想，考虑了三种加权融合方法。

同样，每个归一化权重的值也在0到1之间，但由于这里没有Softmax操作，所以效率要高得多。ablation研究表明，这种快速融合方法与基于Softmax的融合具有非常相似的学习行为和准确性，但在GPU上运行速度高达30%（如下表6）。