ACL-SPC：用自监督学习完成点云补全，更适用于真实场景的点云补全方法
作者： PCIPG-JH | 来源：3D视觉工坊
在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf。
添加微信：dddvisiona，备注：3D点云，拉你入群。文末附行业细分群。
随着自动驾驶汽车和机器人技术的发展，深度传感器如激光雷达（LiDAR）的使用逐渐增多。这些传感器可以在三维空间中收集大量点数据，这些点的组合形成了被称为点云的三维表示。点云表示在许多应用中被广泛使用，因为它可以轻松转换为其他三维数据表示形式，如体素（voxel）和网格（mesh），并可用于从现实世界中获取信息。然而，从现实世界传感器获取的点云通常存在不完整和稀疏的问题，原因包括遮挡、传感器分辨率限制和视角限制等，导致了一些几何信息的丢失，同时也增加了进一步应用的难度。因此，点云补全成为一个至关重要的任务，它通过使用这些不完整的点云观测来推断并完成几何三维形状的重建。这里也推荐「3D视觉工坊」新课程《彻底搞懂基于Open3D的点云处理教程》。
以往的深度学习方法已经能够使用完整的点云真值数据来解决这个任务，尽管这些方法取得了不错的性能，但它们在真实场景中并不适用，因为真实场景中的真值点云很难获取。基于这些原因，人们尝试通过使用点云的多个视图以无监督和弱监督的方式来克服缺乏高质量和大规模配对训练数据的问题，然而，结合多视图一致性可以重建完整的3D点云，这可能被视为弱监督。此外，在真实世界的场景中收集物体的多个部分视图与获取真值点云一样困难。因此，多视图一致性的必要性阻止了这种方法完全自监督。其他方法利用不配对的部分和完整点云或在合成数据上预训练的模型来克服收集真值数据的难题，对不配对数据的需求限制了该方法仅对少部分类别适用。为了克服上述提到的挑战，作者提出了一种新颖的自监督学习方法ACL-SPC，用于点云补全，该方法仅需要输入单个部分点云，尝试从一个未知视点捕获的单个部分输入生成完整的点云，而不需要任何先验信息或一致的多视图，并且可以从重建的点云中模拟部分点云。在实验中，作者测试了ACL-SPC在点云补全任务上的性能，以及其设计的损失函数对保留细节和提高定量性能的影响。并且采用各种数据集对ACL-SPC进行了评估，验证了该方法在实际应用中的可行性。本文的主要贡献可以总结如下：
开发了自适应控制循环框架ACL，提出了ACL-SPC，以自监督的方式解决点云补全问题。
设计了一种有效的自监督损失函数，用于训练ACL-SPC，无需任何其他信息，仅使用从未知视点捕获的单个部分点云。
在真实世界的场景中，与在合成数据集上训练的方法相比，该方法取得了卓越的性能，并且在其他无监督方法进行了性能对比。
传统几何方法： 一些传统的基于几何的方法尝试使用部分点云的几何信息来完成形状，而无需依赖外部数据。还有一些方法利用对象的对称性质来完成不完整的点云。深度学习方法： 随着深度学习的发展，一些学习驱动的方法出现，它们使用大量数据实现点云补全。一些方法将点云转换为体素，以应用卷积神经网络（CNNs），PCN作为第一个点云数据驱动方法，直接用点云训练补全网络，而不是将其转换为其他表示形式。后续的工作提出了各种架构和技术改进，包括根树结构、3D网格表示、feedback refinement module和Transformer等，以提高点云完成任务的性能。尽管这些方法取得了进展，但它们离真实场景的应用还有一段距离，因为获取真值点云数据成本高昂且不切实际。
由于真值数据获取困难，研究人员开始采用无监督学习方法来解决点云补全问题，同时，弱监督方法尝试使用多个局部视图来预测完整的点云，这在现实场景中并不总是可用，PointPnCNet引入了一个修补框架，具备几何一致性，以克服上述问题。还有一些方法尝试利用来自合成数据集的不配对完整点云来解决无法获得真值数据的问题。由于不配对的完整点云和部分点云之间存在领域差距，这些方法设计了可以在两个领域之间进行转换的架构，最终解决了这个问题。然而，这些方法只适用于合成数据集中提供的类别。
自监督学习因其实用性和避免了需要昂贵的注释数据集的需求而在计算机视觉领域引起了越来越多的关注。随着卷积神经网络的进步，最近的自监督学习方法已经融合了生成式和对比式方法，以从未标记的数据中学习特征，其中输入本身提供了监督信号。此外，研究人员已经开始将自监督方法应用于点云数据，以克服繁琐的注释任务。这些工作已经成功地在特征学习方面表现出很高的性能，可以处理诸如分类、分割或上采样等任务。
自适应闭环（ACL）系统是一种各个领域中都有许多应用的控制系统，在ACL中，控制器会自动提供经过补偿的信号，以应对系统变化，以确保整体输出结果的稳定。对于点云补全任务来说，获得一个不受捕获部分点云视图影响的完整点云生成器是至关重要的。作者认为ACL系统的上述属性可以用于这项任务，因为它适合构建相同的完整点云，无论部分对象点云以何种方式输入。因此作者提出了一种新颖的自监督部分点云补全框架(ACL-SPC)。
本文的网络框架如上图所示，由编码器-解码器风格的网络组成，框架中所有的编码器-解码器结构之间参数共享。该网络采用PolyNet作为编码器，三个全连接层作为解码器。数据处理过程：网络首先获取输入的部分点云并生成估计的完整点云。在的基础上，采用部分点云生成器合成新的部分点云；然后，将多个合成的部分点云作为新的输入，输出估计的完整点云，网络的处理流程可简化为以下公式表示：其中代表网络中的编码器-解码器结构网络，是用于生成不同的完整点云数据的随机参数。
为了训练ACL-SPC中的网络 ，作者使用两个自监督损失函数。首先，为了优化ACL-SPC并保证生成相同的预测完整点云，本文设计预测完整点云和之间的一致性损失函数如下：其中，分别为网络输出点云的点数和网络总共输出的预测完整点云个数，L2范数用于计算预测点云之间的差异。文中进一步利用了带权重的Chamfer距离损失，用于衡量预测的完整点云与输入的部分点云之间的距离。带权重的Chamfer距离具有对点的顺序排列不变性，由两部分组成，其中包含相应的权重，如下所示：第一项测量源点云中每个点到目标点云中最近点的平均距离，而第二项测量目标点云中每个点到源点云中最近点的平均距离。因此，第二项导致预测点云覆盖目标点云中的点，而第一项充当正则化项。在这里，设置了α = 0.1和β = 0.9，以强制点覆盖点云中非缺失部分，并允许其余点具有灵活性来填补缺失的部分。总损失是前述两个损失函数的加权求和：
实验分别测试了网络在合成数据集和真实数据集上的性能。合成数据集：ShapeNet（飞机、汽车和椅子）；真实数据集：ScanNet（椅子，桌子）、MatterPort3D （椅子，桌子），KITTI （汽车）。度量标准：作者采用单向Chamfer距离（UCD）和单向Hausdorff距离（UHD）作为衡量性能的标准，这两个度量标准在没有真值数据的情况下提供了公平度量标准。
消融实验分别测试了Loss函数、预测点云个数、分类类别和输入视角个数对ACL-SPC性能的影响，实验结果如下图：
在本文中，作者提出了ACL-SPC，这是第一个自监督的点云补全方法，仅使用单一输入的部分点云。该方法通过在闭环系统中自适应控制输出来学习补全部分点云。作者还引入了一种一致性损失，以生成相同的完整点云并学习对象的几何特征。通过实验验证，与其他方法相比，该方法在真实世界的场景中更加实用，性能不会下降。在大多数情况下，覆盖度方面表现更好，展示了在填补缺失部分方面的出色性能。不足之处：ACL-SPC没有约束生成多余的点；未来工作：该方法在其他点云恢复任务中是否能发挥出卓越的性能，例如去噪和上采样。
https://zhuanlan.zhihu.com/p/625456198
