自动驾驶之心多传感器融合:毫米波雷达和视觉融合感知全栈教程(深度学习+传统方式)
多传感器融合的意义
多源数据融合技术能够将多个不同数据源收集的不完整信息整合在一起,并进行相应的处理和融合加工,使不同数据之间的优势互相补足最终得到一条有决策意义的数据结果,以此削弱数据源中存在的不确定成份,帮助使用者获得有效的融合判断和准确的综合衡量,从而更轻易做出合理的判断和决策。数据融合技术现己应用于目标识别、自动化、态势评估以及地球科学等领域,并逐步扩大应用范围,如社会安全、遥感图像、污染检测、气候分析等领域。
2、多传感器融合的层次结构
数据级融合
数据层融合结构如图1所示。首先将全部传感器的观测数据融合,然后从融合的数据中提取特征向量,并进行判断识别。这便要求传感器是同质的(传感器观测的是同一物理现象),如果多个传感器是异质的(观测的不是同一个物理现象),那么数据只能在特征层或决策层进行融合。数据层融合是直接在采集到的原始数据层上进行的融合,在各种传感器的原始测量未经处理之前就进行数据的综合和分析,这是最低层次的融合,如成像传感器对包含若干像素的模糊图像进行处理和模式识别来确认目标属性的过程就属于数据层的融合。这种融合的优点是能保持尽可能多的现场数据,提供其他融合层次所不能提供的细微信息。但它所要处理的传感器数据量太大,故处理代价高,处理时间长,实时性差。这种融合是在信息的最低层进行的,传感器原始信息的不确定性、不完全性和不稳定性要求在融合时有较高的纠错能力。