如何跨越从仿真到现实的鸿沟？

随着三维建模等技术的发展，许多基于深度学习的研究者们将自己的目光转向了仿真数据，期望利用仿真平台节省大量人工收集以及标注现实数据的时间和费用。但是仿真数据和现实数据之间无论从外观还是噪声上仍然有较大的差距，如果不进行后续处理的话将无法发挥仿真数据的优势。那么在现实数据不能获得的前提条件下，我们如何才能充分利用仿真数据呢？本期文章将为大家介绍其中的一种解决方法——域随机化（Domain Radomization）。

首先为大家介绍域随机化的基本概念。域随机化是指通过在仿真环境中随机地改变各种参数，以期望获得多种状态下的仿真数据，进而训练出更加具有鲁棒性的模型，使其能够直接应用在各种现实环境中。

在采用域随机化技术时，通常情况下包含的技术有：

(1) 纹理随机化：通过改变环境中各个物件的贴图，随机赋予其不同的纹理状态，以模拟现实环境中丰富的纹理和颜色变化。如在图1中，第一行为Virtual Kitti数据集[1]所包含的普通仿真环境，第二行为经过纹理随机化之后所生成的仿真数据，其中汽车和背景的纹理均发生了明显的变化。

(2) 光照随机化：通过改变仿真环境中光源的位置、姿态、强度以及颜色等实现光照随机化；

(3) 改变天气：在仿真平台中包含大量控制天气如风、雨、雪、雾等插件，因此可以通过仿真环境模拟日常环境中天气的变化，进而达到拟合现实环境的目的。

(4) 改变目标和环境的各种物理参数：控制目标的运动状态，如位置、速度、轨迹等；改变摄像机的各种姿态等等。

那么域随机化可以在哪些应用场景下发挥较大的优势呢？

(1) 计算机视觉领域；由于深度学习需要大量的训练数据，而仿真环境恰好可以提供丰富的视觉信息，因此域随机化在计算机视觉领域有着广泛的应用，如目标检测、语义分割、位姿估计等等。在[3]的研究中，域随机化被应用于改变环境中的颜色，进而提供更多的用于文字识别任务的数据，如图2所示。

在[4]中，作者利用域随机化生成了大量的目标姿态数据，如在图中桌子和被抓取物体的纹理均发生改变，同时环境光照也发生了变化。

(2) 机器人领域；如果直接在现实环境中直接进行一些基于视觉的控制算法的研究会给机器人带来严重的损耗，同时单一的仿真环境也会使控制器无法较为全面地训练和学习，无法适用到现实环境中。因此可以利用域随机化生成丰富的训练数据，使在仿真环境中训练的控制器能够直接应用到真实世界里。例如在基于强化学习和端到端的主动跟踪算法的研究中[5]，作者通过改变仿真环境中纹理（如图4所示）、光照、目标位置和轨迹等参数，得到了一个能够直接应用于现实环境的主动跟踪器，使得相机能够直接调整自身姿态跟上运动目标，而省去先得到目标位置再控制自身运动的中间过程。

在无人机竞速比赛中，由于无人机需要高速穿越多个障碍如门、圈等，因此在[6]中研究了基于视觉的无人机控制和轨迹规划算法，以保证无人机能够高速平稳地穿越各种障碍。其中，其通过域随机化的方式生成了大量的环境和障碍物，如图5所示。

当直接将控制器应用于现实环境中（如图6所示），无人机也能够适应其中，不需要重新对控制器进行微调。

也欢迎大家关注实验室在域随机化方面上的研究工作。

参考文献：

[1] A. Gaidon, Q. Wang, Y. Cabon, et al. Virtual worlds as proxy for multi-object tracking Analysis. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2016 (pp. 4340-4349).

[2] J. Tremblay, A. Prakash, D. Acuna, et al. Training deep networks with synthetic data: Bridging the reality gap by domain randomization. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops 2018 (pp. 969-977).

[3] S. Long, C. Yao. Unrealtext: Synthesizing realistic scene text images from the unreal world. arXiv preprint arXiv:2003.10608. Mar 2020.

[4] X. Ren, J. Luo, E. Solowjow, et al. Domain randomization for active pose estimation. In 2019 International Conference on Robotics and Automation (ICRA) May 2019 (pp. 7228-7234).

[5] W. Luo, P. Sun, F. Zhong, et al. End-to-end active object tracking and its real-world deployment via reinforcement learning. IEEE Transactions on Pattern Analysis and Machine Intelligence. Feb 2019;42(6):1317-32.

[6] A. Loquercio, E Kaufmann, R. Ranftl, et al. Deep drone racing: From simulation to reality with domain randomization. IEEE Transactions on Robotics. Oct 2019;36(1):1-4.

封面图片：W. Luo, P. Sun, F. Zhong, et al. End-to-end active object tracking and its real-world deployment via reinforcement learning. IEEE Transactions on Pattern Analysis and Machine Intelligence. Feb 2019;42(6):1317-32.

本文共1560字

由西湖大学智能无人系统实验室博士生张尹原创

申请文章授权请联系后台相关运营人员

▌微信公众号：空中机器人前沿

▌知乎：空中机器人前沿（本文链接：https://zhuanlan.zhihu.com/p/530006197）

▌Youtube：Aerial robotics @ Westlake University

▌实验室网站：https://shiyuzhao.westlake.edu.cn/