欢迎光临散文网 会员登陆 & 注册

CVPR2023,Back to Tradition?几何三维点云配准方法的新探索

2023-08-14 11:17 作者:3D视觉工坊  | 我要投稿

作者:PCIPG-kk  | 来源:3D视觉工坊

在公众号「3D视觉工坊」后台,回复「原论文」即可获取论文pdf。

添加微信:dddvisiona,备注:3D点云,拉你入群。文末附行业细分群。


本文介绍了一种基于极大团(Maximal Cliques/ MAC)的三维配准方法。其核心思想是放宽先前的最大团(Maximum Clique)约束,并在图中挖掘更多的局部一致性信息以生成准确的姿态假设:1)构建可比图以展示初始对应关系之间的亲邻关系。2)在图中搜索极大团,每个极大团代表一个一致性集合。然后进行节点引导的团选择,其中每个节点对应于具有极大团权重的极大团。3)使用SVD算法计算所选团对应的变换假设,并选择最佳假设进行配准。在U3M、3DMatch、3DLoMatch和KITTI上进行了大量实验证明,MAC有效提高了配准精度,优于各种最新方法,并提升了深度学习方法的性能。MAC与深度学习方法相结合,在3DMatch / 3DLoMatch上实现了95.7%/ 78.9%的配准召回率,达到了最先进的水平。

点云配准(PCR)是三维计算机视觉中的重要问题,用于将两个点云精确对齐。关注点:基于匹配的(correspondence)三维点云配准方法目前有两类主流的方法:

  • 深度学习的方法 -需要大量的训练数据,需要GPU资源,泛化性不足

  • 传统几何的方法 -精度不足,鲁棒性不足,灵活性不足

本文面向无标签,少标签,学习难的任务重新研究几何方法再三维配准的潜力

在本文中,我们提出了一种基于极大团(MAC)的纯几何 3D 配准方法。关键点在是放松之前的最大团约束,并在图中挖掘更多局部共识信息以生成准确的姿势假设。本文的主要贡献如下:

  • 引入了一种名为MAC的假设生成方法。相比先前的最大团约束,论文的MAC方法能够在图中挖掘更多的局部信息。论文证明了即使在存在大量离群值的情况下,MAC生成的假设也具有很高的准确性。这里也推荐「3D视觉工坊」新课程《三维点云处理:算法与实战汇总》

  • 基于MAC,论文提出了一种新颖的PCR方法,在U3M、3DMatch、3DLoMatch和KITTI数据集上实现了最先进的性能。值得注意的是,论文提出的基于几何方法的MAC方法在性能上优于一些最先进的深度学习方法。MAC还可以作为模块插入多个深度学习框架中,以提升它们的性能。MAC与GeoTransformer相结合,在3DMatch和3DLoMatch数据集上实现了95.7% / 78.9%的最先进的配准召回率。

总结的来说本文的优势就是方法简单而且效果好。

总的算法流程主要采用类似Ransac的配准方法:

  1. 使用几何或学习到的局部描述子提取它们的局部特征

  2. 匹配局部特征生成初始对应集合

  3. 从对应集合中找到正确的对应

  4. 使用SVD等方法计算位置变换矩阵并测试得到最优的配准结果

本文的改进主要针对于第三个部分,从众多对应己喝中找到正确的对应

算法流程/pipeline

通过使用传统的关键点提取方法和描述子或者基于深度学习的关键点检测和描述子,匹配得到两个点云的初始对应关系,得到对应关系的集合。

首先,我们要注意,该方法将每一个对应关系看作图的节点(圆),将边(连线)看作两个节点的相似度。一条边上的两个节点相似程度高表示两个点对的对应关系高度一致,这条边即获得更大的权重。图空间能够更准确地描述对应关系之间的亲和性关系,优于欧氏空间。初始对应集合,其中。构建图采用之间的刚性距离约束来构建。

一阶图First Order Graph(FOG)一阶图的构建通过一下方式构建,经过高斯函数提高相近对应的权重

是一个距离参数。二阶图Second Order Graph(SOG)为了进一步拉大权重的区分度,提出了二阶图
文章表示,两种构造方式都可以适用于本文框架。与FOG相比:

  • SOG具有更严格的边缘构造条件,与相邻节点的可比性更高;

  • SOG更稀疏,便于更快速的搜索团。

给定一个无向图,团,V′ ⊆ V, E′ ⊆ E 是 G 的子集,其中任意两个节点通过边连接。极大团是不能通过添加任何节点来扩展的团。具有最多节点的极大团是图的最大团。Searching for Maximal cliques搜索极大团:以前的工作侧重于在图中搜索最大团,只关注图中的全局共识信息。我们放宽了约束并利用极大团来挖掘更多局部图信息。通过使用 igraph C++ 库中的 igraph maximal cliques 函数,它使用了修改后的 BronKerbosch算法,最大cliques 的搜索可以非常有效。每个极大团代表一个一致性集合,即具有高度一致性的点对集合。为减少极大团的数量,在所有包含同一个节点的极大团中只选取总权重最大的极大团,重复的极大团也被删除。如果这些还不够,还可以进一步通过等法向量一致性检测和只保留权重前 K 的极大团等方法继续筛选极大团。

Node-guided Clique Selection在执行极大团搜索过程后,获得了极大团集合。实际上,集合通常包含数万个极大团,如果考虑所有极大团,将会非常耗时。在这里,我们提出了几种技术来进一步过滤极大团。

  • Normal consistency

在极大团中,我们发现每个对应关系之间都满足一致性。给定两个对应关系 和四个点处的法向量,角度差。如果 ci 和 cj 一致,则以下不等式应该成立:

  • Clique ranking

我们使用团的权重按降序组织 。前 K 个应该更有可能产生正确的假设。这使得可以灵活地控制假设的数量。

MAC 的最终目标是估计最大化目标函数的最佳 6-DoF 刚性变换(由旋转姿势 R* ∈ SO(3) 和平移姿势 t* ∈ R3 组成),如下所示:

其中 ci ∈ Cinitial,N = |Cinitial|,s(ci) 表示 ci 的得分。利用被选中的极大团,使用奇异值分解(SVD)或加权奇异值分解(W-SVD)算法计算变换假设,以估计点云之间的姿态假设。实验表明加权奇异值分解并没有显著的影响。使用平均绝对误差(MAE)或均方误差 (MSE) 在初始对应关系集合上对得到姿态的评分,选取最佳姿态对点云进行配准,将它们对齐到最佳位置。补充知识:团:表示N 个点的集合,这N个点彼此两两连接,既有N(N-1)/2条边。极大团:无法是其他团的子团。极大团:点最多的极大团.

测试了以下方法,包括SAC-COT、OSAC、SAC-IA、RANSAC、SC2-PCR、 FGR、GO-ICP 和 PPF,其中前四种是基于 RANSAC 的方法。结果表明,MAC 表现最佳,并且显着优于所有测试的 RANSAC的方法,例如 SAC-COT、OSAC、SAC-IA 和 RANSAC。基于MAE评估指标的MAC注册性能在U3M上是最好的。

可以得出以下结论:1)无论使用哪种描述符,MAC在3DMatch和3DLoMatch数据集上都优于所有比较方法,表明其配准室内场景点云的能力很强;2)即使与深度学习方法相比,MAC在没有任何数据训练的情况下仍然取得了更好的性能;3)除了注册召回(RR)指标之外,MAC还实现了最佳的RE和TE指标。这表明 MAC 的配准非常准确,并且 MAC 能够对齐低重叠数据。

值得注意的是,在 3DMatch 和 3DLoMatch 数据集上的所有测试方法下,MAC 显着提高了配准召回率。MAC 与 GeoTransformer 配合使用,在 3DMatch / 3DLoMatch 上实现了 95.7% / 78.9% 的最先进注册召回率。结果表明:1)MAC 可以极大地提升现有的深度学习方法;2)MAC对样本数量不敏感。

如表所示,就配准召回性能而言,MAC 表现最好,并且分别与 FPFH 和 FCGF 描述符设置的最佳结果并列。MAC 还具有比最先进的纯几何方法 SC2-PCR 更低的 TE。请注意,室外点云非常稀疏且分布不均匀。在物体、室内场景和室外场景数据集上的配准实验一致验证了MAC在不同的应用环境中具有良好的泛化能力

总结了针对 MAC 提出的不同模块进行消融实验的结果。值得注意的是最大团(MC) 相较于极大团 (MAC) 配准准确率大大下降;常用的性能提升方法利用几何一致性删除对应异常值(GC)同样会降低配准准确性;W-SVD 相较于 SVD 并没有显著提升,说明极大团搜素已经将权重问题考虑在内而无需额外的加权奇异值分解;仅保留前100极大团已经可以实现很好的配准性能。
与RANSAC随机选择对应关系并从没有几何约束的对应关系集中生成假设相比,MAC有效地从可比图(compatibility graph)中的极大团生成更有说服力的假设,充分利用了图中的共识信息。
给定理想的假设评估指标,只要可以生成正确的假设,就可以对齐点云对。这可以测试MAC的性能上限。我们改变生成的正确假设数量的判断阈值。令人印象深刻的是,MAC-1 在 3DMatch / 3DLoMatch 上实现了 98.46% / 91.24% 的注册召回率。这表明即使在低重叠数据集上,MAC 也能够为大多数点云对产生正确的假设。此外,我们可以推断,通过更好的假设评估指标,MAC 的性能可以进一步提高。这里也推荐「3D视觉工坊」新课程《三维点云处理:算法与实战汇总
展出了 MAC 及其各个步骤在 CPU 上的时间(单位为毫秒) 可以进行以下观察。1)一般情况下,当对应数小于1000个时,MAC仅需几十毫秒即可完成3D配准。即使输入2500个对应,耗时约为0.29秒。请注意,MAC 仅在 CPU 上实现。2)随着对应数量从250增加到2500,由于WSOG计算花费更多时间,图构建的时间成本增加。3)当通信数量达到5000个时,MAC注册的时间成本大幅上升。输入大小的显着增加使得搜索极大团耗时。

在本文中,我们提出了 MAC 来解决 PCR,通过使用极大团约束从对应关系生成精确的姿态假设。我们的方法在所有测试的数据集上实现了最先进的性能,并且可以适应深度学习的方法来提高其性能。

https://zhuanlan.zhihu.com/p/634646444

目前工坊已经建立了3D视觉方向多个社群,包括SLAM、工业3D视觉、自动驾驶方向。

细分群包括:

[工业方向]三维点云、结构光、机械臂、缺陷检测、三维测量、TOF、相机标定、综合群;

[SLAM方向]多传感器融合、ORB-SLAM、激光SLAM、机器人导航、RTK|GPS|UWB等传感器交流群、SLAM综合讨论群;

[自动驾驶方向]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器讨论群、多传感器标定、自动驾驶综合群等。

[三维重建方向]NeRF、colmap、OpenMVS等。除了这些,还有求职、硬件选型、视觉产品落地等交流群。

大家可以添加小助理微信: dddvisiona,备注:加群+方向+学校|公司, 小助理会拉你入群。


CVPR2023,Back to Tradition?几何三维点云配准方法的新探索的评论 (共 条)

分享到微博请遵守国家法律