最全技术栈！视觉/激光/多传感器融合SLAM+三维重建+相机标定！

2021-10-04 09:46 作者:计算机视觉life 0人读过 | 我要投稿

原文链接：最全技术栈！视觉/激光/多传感器融合SLAM+三维重建+相机标定！

https://mp.weixin.qq.com/s/FhYbQib6zsBcRnO_0mjsUg

背景介绍

今年自动驾驶领域非常火热，发生了一轮又一轮的融资，图森未来在美股上市，被称为“全球自动驾驶第一股”。大疆创新正式推出旗下智能驾驶业务品牌“大疆车载”，向汽车企业提供自动驾驶解决方案。华为和北汽合作极狐汽车实现上海城区通勤无干预自动驾驶。。。

在增强现实（AR）领域，Facebook表示要从社交网络公司转变成元宇宙公司，字节跳动重金收购AR/VR头显公司Pico，腾讯、阿里也纷纷入场，AR领域即将迎来新的春天。。。

在机器人领域，扫地机器人公司石头科技上市，物流机器人极智嘉在筹备IPO，清洁机器人公司高仙完成B+轮1亿美元融资。。。

在自动驾驶、无人机、增强现实、机器人导航等领域的技术栈中，即时定位和建图（SLAM）是其中的核心技术之一。SLAM中所涉及到的传感器有相机、激光雷达、IMU、GPS、轮速计等，面对不同的平台和传感器配置，如何选择适合自己的技术方案呢？

相机标定技术框架

相机标定系统教程：单目/鱼眼/双目/阵列相机标定：原理与实战

相机标定是指借助专用的标志物（如棋盘格）来估计相机的图像传感器参数（内参、外参）和镜头参数（畸变系数）。
它是一种计算相机二维图像和三维世界相对映射关系的一种方法。标定相机过程涉及相机成像模型、多视图几何、非线性优化等知识。
相机标定是三维视觉的基础。

毫不夸张的说，相机标定是一切三维视觉的基础。它广泛应用于双目视觉、手眼机械臂、机器人定位建图、图像拼接、三维重建等场景。

大纲如下所示：

视觉SLAM基础

ORB-SLAM2是视觉SLAM中特征点法的开源代表作，是学习SLAM必学的第一个开源算法。同时支持单目、双目、RGBD相机，涵盖视觉SLAM领域核心算法，包括地图初始化、实时跟踪、局部建图、回环检测、BA优化，工程技巧等。

ORB-SLAM2 在汽车上应用

ORB-SLAM2 用于室内三维重建

ORB-SLAM2详细注释的代码持续更新，网址：

https://github.com/electech6/ORB_SLAM2_detailed_comments

ORB-SLAM2系统学习教程：视觉SLAM必学基础：ORB-SLAM2源码详解

大纲

（扫描进详情页看高清图）

视觉惯性SLAM技术

ORB-SLAM3是在ORB-SLAM2的基础上开发的视觉惯性SLAM技术，于2020年7月发布。它在定位精度和效果上几乎碾压了同类的开源算法，受到极大关注。

它有如下特点：

1、第一个可以运行视觉、视觉惯性和多地图，支持单目、双目和RGB-D相机，且支持针孔和鱼眼镜头模型的SLAM系统。

2、该算法可以在不同大小，室内和室外环境中鲁棒、实时的运行，精度上相比于以前的方法提升了2~5倍。

3、多地图系统可以让系统在视觉信息缺乏的场景下长时间运行。比如当跟踪丢失的时候，它会重新建立新的地图，并在重新访问之前的地图时，无缝地与之前的地图合并。

4、实验结果证明，双目惯性模式下，该算法在无人机数据集EuRoC上可以达到平均3.6cm的定位精度，在手持设备快速移动的室内数据集TUM-VI上达到了9mm的定位精度。

非常鲁棒！滑滑梯从黑管子中穿过！

从室内到室外，丝滑闭环

全网最详细ORB-SLAM3代码注释地址：

https://github.com/electech6/ORB_SLAM3_detailed_comments

ORB-SLAM3系统教程：VIO灭霸：ORB-SLAM3超全解析！

基于LiDAR的多传感器融合技术

多传感器融合SLAM是自动驾驶、智能机器人中的核心技术。目前工业界用的主流多传感器融合SLAM框架包括LOAM/A-LOAM、LeGO-LOAM、LIO-SAM等。

LOAM是Ji Zhang早期开源的多线LiDAR SLAM算法。该代码可读性很差，作者后来将其闭源。
A-LOAM是港科大秦通博士（VINS-Mono一作）在LOAM原有代码基础上，使用Ceres-solver和Eigen库对其进行重构和优化，在保持原有算法原理的基础上，使其可读性大大增加，作为入门多线激光slam最好选择。
LeGO-LOAM 是Tixiao Shan在原有LOAM基础上，做了一些改进包括:1、对前端里程计的前量化改造，提取地面点更适配水平安装的LiDAR; 2、使用SLAM中的Keyframe概念以及回环检测位姿图优化的方式对后端进行重构。

LIO-SAM 是Tixiao Shan在LeGO-LOAM的扩展，添加了IMU预积分因子和GPS因子：前端使用紧耦合的IMU融合方式，替代原有的帧间里程计，使得前端更轻量；后端沿用LeGO-LOAM，在此基础上融入了GPS观测。同时前端后端相互耦合，提高系统精度。

多传感器融合SLAM系统教程：重磅来袭！基于LiDAR的多传感器融合SLAM 系列教程：LOAM、LeGO-LOAM、LIO-SAM

视觉几何三维重建技术

几何三维重建系统教程：视觉几何三维重建教程（第2期）：稠密重建，曲面重建，点云融合，纹理贴图

三维重建是指用相机拍摄真实世界的物体、场景，并通过计算机视觉技术进行处理，从而得到物体的三维模型。英文术语：3D Reconstruction。
涉及的主要技术有：多视图立体几何、深度图估计、点云处理、网格重建和优化、纹理贴图、马尔科夫随机场、图割等。
是增强现实（AR）、混合现实（MR）、机器人导航、自动驾驶等领域的核心技术之一。

三维重建结果

本文列举几个典型的应用场景：

1、影像娱乐。可以重建物体，得到三维模型，可以用来3D打印或用人体来驱动做一些有趣的应用（见开头视频）。

2、虚拟试衣。对人体重建后才能根据不同人体的胖瘦高矮自动适配不同尺码的衣服。

3、智能家居。宜家的APP，可以用来放置虚拟家具看看和自己家里的调性是否匹配，还有实际尺寸，可以看看能不能放得下，这个很实用。

4、文物重建、 AR旅游。目前大家去很多博物馆或旅游景点其实都已经有了类似的产品。比如AR游西湖之类的。很有趣的应用！

5、自动驾驶。构建高精地图，高精地图对于自动驾驶来说太重要了，没有的话相当于蒙着眼睛开车，你仔细品品。

6、大场景三维重建。下面是克罗地亚古城的三维点云地图。当然可以做成稠密的贴图的话可以虚拟遨游了。

全网最详细的代码注释地址：https://github.com/electech6/openMVS_comments

深度学习三维重建技术框架

系统学习教程：基于深度学习的三维重建学习路线

传统的重建方法是使用光度一致性等来计算稠密的三维信息。虽然这些方法在理想的Lambertian场景下，精度已经很高。但也有一些常见的局限性，例如弱纹理，高反光和重复纹理等，使得重建困难或重建的结果不完整。因此，传统三维重建方法在重建的完整性等方面仍有很大的改进空间。

近年来深度学习在三维重建上取得了很大的成功。基于学习的方法可以引入比如镜面先验和反射先验等全局语义信息，使匹配更加鲁棒，从而解决传统方法无法克服的难题。因此掌握基于深度学习的三维重建前沿算法非常重要。另外，在这个大数据时代，深度学习已经是大家必须掌握的技能，传统视觉算法已经很难有新的突破，各个领域都在朝深度学习方向研究，近几年各大视觉会议论文都是基于深度学习来实现三维重建，各个大厂招聘也越来越看重深度学习三维重建方法。