亲爱的小伙伴们，好久不见，我又来了。在上一期我介绍了关于无人机探测与反制的背景和现状（微小型无人机，一把双刃剑？）。

这一次我们来聚焦其中的一个关键问题，即如何使用视觉信息来探测无人机？

随着深度学习算法在近些年得到了快速的发展，使用深度学习来探测无人机应该是蹦到我们脑子里的第一个想法。那是不是我们采集一些数据，然后训练一下就解决问题了呢？用深度学习来探测无人机究竟靠谱吗？有哪些困难和挑战呢？这次我结合我们最新在IEEE Robotics and Automation Letters上发表的一篇论文[1]谈一谈我的看法，抛砖引玉。

一．现有的无人机数据集和检测算法有哪些？

实际上现在已经有一些公开的数据集了，但是，这些数据都或多或少的存在一些问题，没有办法直接用来做研究。如图1所示，FL-Drones中的无人机图片都是灰度图，缺少颜色信息；USCdrone中的图片都是通过人站在地面上手持相机拍摄的，图片中无人机的视角太过单一，另外，这个数据集中还存在着大量没有标注的图片，没办法直接使用；MIDGARD中的无人机尺寸都比较大，无人机的外观、轮廓都很清晰，显然拍摄的相机和无人机离得非常近，但是这样就没办法研究远距离时的探测问题了。

由于这些公开的数据集都存在一些问题，于是我们决定自己制作一个无人机数据集。我们先购买了两架无人机（DJI M210和DJI Mavic2，见图2）和一个相机（禅思XT2），然后将禅思XT2安装到DJI M210上，在多种环境、姿态和光照强度下拍摄DJI Mavic2来制作无人机数据集，拍摄的方式见图3。这个数据集里面的图片一部分是从视频中截取出来的，一部分是手动拍摄而来的。我们把这个数据集命名为Det-Fly，它的数据总量超过13000张图片，并且每张图片都是4K分辨率。

与那些公开的无人机数据集相比，Det-Fly拥有更大的数据规模、更丰富的环境信息、更多的视角以及光照强度，见图4。这些特征使Det-Fly更加贴近实际的无人机探测场景，如果用它来评估无人机检测算法，那么可以更加真实的反映出算法的性能。

查阅了大量文献后，我们发现目前专门针对无人机检测的深度学习算法几乎没有，于是就选择了通用的基于深度学习的目标检测算法来研究无人机检测这个问题，并挑选了8种性能比较好的基于深度学习的目标检测算法。这些算法分别是Cascade R-CNN，Faster R-CNN，FPN，Grid R-CNN，RefineDet，RetinaNet，SSD512和YOLOv3。

二．深度学习算法检测无人机的效果

有了数据和算法后，接下来就可以开展基于视觉信息的无人机检测的研究了。首先，Det-Fly被分成了训练集和测试集，然后分别对这8种算法做了训练和测试。从测试的结果来看，基于视觉信息的无人机检测确实是一个非常具有挑战性的任务，目前这些主流算法的检测成功率都在70%∼80%之间。各算法在一些测试视频上的表现见下面的视频。

那么，影响无人机检测的因素有哪些呢？其中的难点是什么呢？我们把目光聚焦在了观测距离、观测视角、背景环境以及挑战性因素，并且在实验中有了一些发现: 1）随着观测距离的增大，无人机检测的成功率呈现迅速下降的趋势，见图6; 2）在仰视、平视和俯视三个视角中，平视的检测难度最大，仰视的检测成功率最高，见图7; 3）天空背景最容易检测到无人机，而城市环境最困难，见图8；4）在强/弱光、运动模糊和部分遮挡这三个挑战性因素的测试中，部分遮挡对无人机检测的影响最大，运动模糊的影响较小，见图9。

三.小结

基于视觉信息的无人机检测是一个富有挑战性的问题，即便是目前性能最好的一些深度学习算法仍然无法有效解决这个问题。主要原因在于无人机的尺寸非常小（尤其是远距离时）缺乏足够的判别特征，另外，复杂的背景也会对无人机检测造成较大的干扰。

万里长征只迈出了第一步，路漫漫其修远兮，我们的研究还将继续。

参考资料

[1] Y. Zheng, Z. Chen, D. Lv, Z. Li, Z. Lan and S. Zhao, "Air-to-Air Visual Detection of Micro-UAVs: An Experimental Evaluation of Deep Learning," in IEEE Robotics and Automation Letters, vol. 6, no. 2, pp. 1020-1027, April 2021.

本文由西湖大学智能无人系统实验室博士生郑业原创，

申请文章授权请联系后台相关运营人员。 

▌微信公众号：空中机器人前沿

▌知乎：空中机器人前沿（本文链接：https://zhuanlan.zhihu.com/p/445099183）

▌Youtube：Aerial robotics @ Westlake University

▌实验室网站：https://shiyuzhao.westlake.edu.cn/