自动驾驶-多传感器融合跟踪全栈教程
空间域融合技术直接对输入图像的像素值进行处理,以达到所需的融合结果。空间域融合技术包括基于灰度加权的图像融合、基于PCA的图像融合和基于IHS的图像融合。变换域融合技术包括基于多尺度变换图像融合和基于稀疏表示的图像融合方法。
除空间域和变换域两种融合方式以外，还有许多基于深度学习的融合方法[3]。在过去的几年里，出现了许多基于深度学习的图像融合方法。深度学习可以帮助解决图像融合中的几个重要问题。例如，与手工制作的方法相比，深度学习可以提供更好的功能。此外，深度学习可以在图像融合中学习自适应权重，这在许多融合规则中都是至关重要的。在方法上，卷积神经网络(CNN)，生成对抗网络(GAN)， Siamese网络，自编码器已经被应用于图像融合工作中。可以预见，图像融合技术将朝着机器学习的方向发展，未来几年将出现越来越多的研究成果。刘羽于2017年第一次将CNN引入图像融合领域,采用孪生网络对多聚焦图像进行融合。受聚焦与离焦分类思想的影响,通过孪生网络对图像像素点进行分类,其网络模型如图所示。
