ICCV 2023 I AutoSynth：自动生成 3D 训练数据
作者： 小张Tt | 来源：3D视觉工坊
在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf。
添加微信：dddvisiona，备注：3D点云，拉你入群。文末附行业细分群。
本文介绍了一种名为 AutoSynth 的自动生成 3D 训练数据的方法，用于点云配准。该方法通过探索包含数百万个不同 3D 形状的数据集搜索空间，在低成本的情况下自动筛选出一个最佳数据集。为了实现这一目标，该方法通过组装形状基元生成合成的 3D 数据集，并采用元学习策略来搜索适用于实际点云的最佳训练数据。为了提高搜索的效率，点云配准网络被一个规模更小的替代网络代替，速度提高了 4056.43 倍。实验结果表明，使用作者搜索的数据集进行训练的神经网络相比于使用常用的 ModelNet40 数据集进行训练的网络，在 TUDL、LINEMOD 和 Occluded-LINEMOD 数据集上具有更好的性能。
读者理解：
这篇文章提出了一个称为AutoSynth的新方法,可以自动生成大量3D训练数据,并从数百万种可能的选项中整理出最佳训练数据集,用于点云配准任务。作者的主要贡献为：
提出了AutoSynth，一种基于元学习的新方法，可以自动生成大量的3D训练数据并筛选出一个最佳数据集，用于点云配准。
展示了通过利用比点云配准更高效的代理网络，可以使搜索过程变得可行，速度提高了4056.43倍。
证明，在搜索过程中使用单个扫描的真实物体作为目标数据集可以得到一个具有良好泛化能力的训练集。
整体而言,该方法自动搜索生成的训练数据,可以让点云配准网络在真实场景中取得更好的泛化性能。对使用元学习策略自动搜索生成最佳3D训练数据进行了有益的探索,为生成合成训练数据提供了新的思路,也为缩小合成数据与真实数据的domain gap指明了未来的研究方向。这里也推荐「3D视觉工坊」新课程《彻底搞懂基于Open3D的点云处理教程》。
本文介绍了一种名为AutoSynth的方法，它通过元学习策略自动生成大量的3D训练数据并筛选出最佳数据集，用于点云配准。为了使搜索过程可行，本方法通过使用一个代理网络来替代配准网络，大幅提高了搜索速度。实验结果表明，使用我们搜索得到的数据集训练的神经网络在TUDL、LINEMOD和Occluded-LINEMOD数据集上具有优异的性能。这项研究的主要贡献包括：引入了AutoSynth方法，提出了可行的搜索策略，并证明了使用单个扫描的真实物体作为目标数据集的有效性。
本文介绍了传统的点云配准方法和基于深度学习的物体点云配准方法。传统的方法主要依赖于迭代最近点（ICP）算法，而基于深度学习的方法利用深度网络对非结构化点集进行处理。然而，现有的方法仍然存在一些问题，如对噪声和离群点的鲁棒性差、无法处理部分到部分配准场景等。为了解决这些问题，本文提出了学习生成合成训练数据的方法，并采用轻量级替代网络来降低计算成本。这一方法可以提高点云配准的性能和泛化能力。
本文阐述了自动生成合成三维数据集的问题，以及通过训练主要任务模型来提高在测试集上的准确性。采用了进化算法来搜索最佳策略，该策略通过生成三维数据集的超参数来优化模型的性能。最终目标是找到一组合成数据集Dsyn使得模型在测试集上达到最佳性能。
本节阐述了搜索空间的定义及其包含的基元操作。通过组合简单基元和一系列变换操作，作者可以生成复杂的三维形状。利用逻辑运算符和截断操作，作者可以将变换后的基元组合成多样的形状。在这个框架中，策略P由11个操作对应的参数组成，使用离散搜索算法在包含31,381,059,609种可能性的空间中寻找最佳策略。虽然上述操作方式有效，但并不是定义这样一个空间的唯一方式。希望作者的工作能够激发其他人设计新的搜索空间。
本文介绍了一种通过演化算法来搜索最优策略的方法。该方法使用元学习器生成策略并生成数据集，然后在生成的数据集上训练深度网络并评估其效果。通过不断生成新的策略，并根据反馈评估结果进行筛选和变异，最终得到最优策略。该方法可以帮助缩小领域差距，并在搜索空间中寻找到最优策略。
在点云配准问题中，作者的搜索算法要求在每个进化试验中将目标任务模型训练到收敛。然而，现有的配准网络非常复杂且计算代价高昂，使得用作者的搜索过程寻找最佳训练数据变得极其昂贵。为了解决这个问题，作者提出了使用一个代理任务模型来代替目标任务模型。代理任务模型应满足一些条件：与目标模型相同的输入数据类型（即点云）、不需要任何额外的注释、具备比任务模型更快的训练速度以及与目标模型在训练数据变化时行为相似的评估损失。因此，作者选择使用点云重构网络作为代理任务模型。重构网络是一个自编码器，与配准网络共享同样的DGCNN块，但不包含变压器层。为了防止直接复制输入点云到输出中，作者将DGCNN的输出投影到低维潜在空间，并通过对称的Chamfer距离来计算重构误差。作者通过训练代理网络参数来最小化重构误差，并在搜索阶段使用对称的Chamfer距离作为适应度评分。实验证明，代理任务模型只需15分钟收敛，仅需1.42GB的GPU内存。相比于使用原始配准网络，进行1000次试验的实验仅需0.462个GPU天，提高了4056.43倍的效率。
本节主要评估了AutoSynth训练集搜索策略的有效性，并提供了实现细节以及真实场景下的结果。实验结果表明，我们的搜索策略能够生成更多样化和复杂的对象，从而提升了点云配准模型的性能。与传统方法相比，我们的搜索数据集在未见过的对象设置下表现出更好的性能。然而，在真实场景深度图与合成深度图之间仍存在领域差距，进一步缩小这一差距是未来研究的方向。同时，我们进行了消融研究来分析主任务网络和辅助任务网络的行为相似性、目标数据集的影响、辅助网络的指导效果以及搜索数据的预训练对性能的影响。实验结果表明，我们的搜索数据集和辅助任务网络具有很好的性能和效果。这里也推荐「3D视觉工坊」新课程《彻底搞懂基于Open3D的点云处理教程》。
本文介绍了一种新颖的算法，能够自动生成大量的三维训练数据集，并从数百万个选项中挑选出最佳的一个。为了达到这个目标，作者提出了使用代理重建网络来搜索数据生成策略，从而将搜索加快了4056.43倍。作者通过使用两种不同的点云配准方法（BPNet和IDAM）对本文的方法进行评估，证明了其普适性。作者在真实场景数据集上进行的实验证明，在搜索数据集上训练的网络始终优于在广泛使用的ModelNet40数据集上训练的相同模型。然而，正如作者的结果所示，作者的搜索数据集与真实扫描之间仍存在差距。今后，作者将研究如何通过提高合成数据的逼真程度进一步弥合这一差距。
