CVPR2023,Back to Tradition?几何三维点云配准方法的新探索
作者:PCIPG-kk | 来源:3D视觉工坊
在公众号「3D视觉工坊」后台,回复「原论文」即可获取论文pdf。
添加微信:dddvisiona,备注:3D点云,拉你入群。文末附行业细分群。
本文介绍了一种基于极大团(Maximal Cliques/ MAC)的三维配准方法。其核心思想是放宽先前的最大团(Maximum Clique)约束,并在图中挖掘更多的局部一致性信息以生成准确的姿态假设:1)构建可比图以展示初始对应关系之间的亲邻关系。2)在图中搜索极大团,每个极大团代表一个一致性集合。然后进行节点引导的团选择,其中每个节点对应于具有极大团权重的极大团。3)使用SVD算法计算所选团对应的变换假设,并选择最佳假设进行配准。在U3M、3DMatch、3DLoMatch和KITTI上进行了大量实验证明,MAC有效提高了配准精度,优于各种最新方法,并提升了深度学习方法的性能。MAC与深度学习方法相结合,在3DMatch / 3DLoMatch上实现了95.7%/ 78.9%的配准召回率,达到了最先进的水平。
点云配准(PCR)是三维计算机视觉中的重要问题,用于将两个点云精确对齐。关注点:基于匹配的(correspondence)三维点云配准方法目前有两类主流的方法:
深度学习的方法 -需要大量的训练数据,需要GPU资源,泛化性不足
传统几何的方法 -精度不足,鲁棒性不足,灵活性不足
本文面向无标签,少标签,学习难的任务重新研究几何方法再三维配准的潜力
在本文中,我们提出了一种基于极大团(MAC)的纯几何 3D 配准方法。关键点在是放松之前的最大团约束,并在图中挖掘更多局部共识信息以生成准确的姿势假设。本文的主要贡献如下:
引入了一种名为MAC的假设生成方法。相比先前的最大团约束,论文的MAC方法能够在图中挖掘更多的局部信息。论文证明了即使在存在大量离群值的情况下,MAC生成的假设也具有很高的准确性。这里也推荐「3D视觉工坊」新课程《三维点云处理:算法与实战汇总》
基于MAC,论文提出了一种新颖的PCR方法,在U3M、3DMatch、3DLoMatch和KITTI数据集上实现了最先进的性能。值得注意的是,论文提出的基于几何方法的MAC方法在性能上优于一些最先进的深度学习方法。MAC还可以作为模块插入多个深度学习框架中,以提升它们的性能。MAC与GeoTransformer相结合,在3DMatch和3DLoMatch数据集上实现了95.7% / 78.9%的最先进的配准召回率。
总结的来说本文的优势就是方法简单而且效果好。
总的算法流程主要采用类似Ransac的配准方法:
使用几何或学习到的局部描述子提取它们的局部特征
匹配局部特征生成初始对应集合
从对应集合中找到正确的对应
使用SVD等方法计算位置变换矩阵并测试得到最优的配准结果
本文的改进主要针对于第三个部分,从众多对应己喝中找到正确的对应
算法流程/pipeline
通过使用传统的关键点提取方法和描述子或者基于深度学习的关键点检测和描述子,匹配得到两个点云的初始对应关系,得到对应关系的集合。
首先,我们要注意,该方法将每一个对应关系看作图的节点(圆),将边(连线)看作两个节点的相似度。一条边上的两个节点相似程度高表示两个点对的对应关系高度一致,这条边即获得更大的权重。图空间能够更准确地描述对应关系之间的亲和性关系,优于欧氏空间。初始对应集合,其中。构建图采用之间的刚性距离约束来构建。
一阶图First Order Graph(FOG)一阶图的构建通过一下方式构建,经过高斯函数提高相近对应的权重
SOG具有更严格的边缘构造条件,与相邻节点的可比性更高;
SOG更稀疏,便于更快速的搜索团。
给定一个无向图,团,V′ ⊆ V, E′ ⊆ E 是 G 的子集,其中任意两个节点通过边连接。极大团是不能通过添加任何节点来扩展的团。具有最多节点的极大团是图的最大团。Searching for Maximal cliques搜索极大团:以前的工作侧重于在图中搜索最大团,只关注图中的全局共识信息。我们放宽了约束并利用极大团来挖掘更多局部图信息。通过使用 igraph C++ 库中的 igraph maximal cliques 函数,它使用了修改后的 BronKerbosch算法,最大cliques 的搜索可以非常有效。每个极大团代表一个一致性集合,即具有高度一致性的点对集合。为减少极大团的数量,在所有包含同一个节点的极大团中只选取总权重最大的极大团,重复的极大团也被删除。如果这些还不够,还可以进一步通过等法向量一致性检测和只保留权重前 K 的极大团等方法继续筛选极大团。
Node-guided Clique Selection在执行极大团搜索过程后,获得了极大团集合。实际上,集合通常包含数万个极大团,如果考虑所有极大团,将会非常耗时。在这里,我们提出了几种技术来进一步过滤极大团。
Normal consistency
在极大团中,我们发现每个对应关系之间都满足一致性。给定两个对应关系 和四个点处的法向量,角度差。如果 ci 和 cj 一致,则以下不等式应该成立:
Clique ranking
我们使用团的权重按降序组织 。前 K 个应该更有可能产生正确的假设。这使得可以灵活地控制假设的数量。
MAC 的最终目标是估计最大化目标函数的最佳 6-DoF 刚性变换(由旋转姿势 R* ∈ SO(3) 和平移姿势 t* ∈ R3 组成),如下所示:
可以得出以下结论:1)无论使用哪种描述符,MAC在3DMatch和3DLoMatch数据集上都优于所有比较方法,表明其配准室内场景点云的能力很强;2)即使与深度学习方法相比,MAC在没有任何数据训练的情况下仍然取得了更好的性能;3)除了注册召回(RR)指标之外,MAC还实现了最佳的RE和TE指标。这表明 MAC 的配准非常准确,并且 MAC 能够对齐低重叠数据。
在本文中,我们提出了 MAC 来解决 PCR,通过使用极大团约束从对应关系生成精确的姿态假设。我们的方法在所有测试的数据集上实现了最先进的性能,并且可以适应深度学习的方法来提高其性能。
https://zhuanlan.zhihu.com/p/634646444
目前工坊已经建立了3D视觉方向多个社群,包括SLAM、工业3D视觉、自动驾驶方向。
细分群包括:
[工业方向]三维点云、结构光、机械臂、缺陷检测、三维测量、TOF、相机标定、综合群;
[SLAM方向]多传感器融合、ORB-SLAM、激光SLAM、机器人导航、RTK|GPS|UWB等传感器交流群、SLAM综合讨论群;
[自动驾驶方向]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器讨论群、多传感器标定、自动驾驶综合群等。
[三维重建方向]NeRF、colmap、OpenMVS等。除了这些,还有求职、硬件选型、视觉产品落地等交流群。
大家可以添加小助理微信: dddvisiona,备注:加群+方向+学校|公司, 小助理会拉你入群。