多伦多大学最新发布Oyster：利用LiDAR点云进行无监督物体检测
作者：小柠檬 | 来源：「3D视觉从入门到精通」知识星球
在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接。
添加微信：dddvisiona，备注：三维点云，拉你入群。文末附行业细分群
为了研究自动驾驶场景中三维点云的无监督目标检测问题。我们提出了一种简单而有效的方法，利用：
点云密集的近距离区域的点聚类
时间一致性来过滤掉噪声的无监督检测
cnn的翻译等方差来扩展自动标签到长距离
自我监督来改进自己
我们的方法，OYSTER (Object Discovery via Spatio-Temporal Refinement)，没有对数据收集施加限制(如重复遍历相同的位置)，能够以零镜头的方式检测对象，而无需监督微调(即使在稀疏、遥远的区域)，并在更多的迭代自我训练中继续自我提高。为了更好地衡量模型在自动驾驶场景下的性能，我们提出了一种新的以规划为中心的基于碰撞距离的感知指标。在PandaSet和Argoverse 2 Sensor数据集上，我们证明了我们的无监督对象检测器显著优于无监督基线，表明了自我监督结合对象先验可以在野外发现对象的前景。
方法
OYSTER的意思是通过时空优化发现对象。它有两个阶段的训练:最初的引导阶段，和自我完善阶段。
初始引导阶段利用了近距离点云往往比较密集并且具有清晰的对象簇的事实，因此我们可以通过点聚类获得合理的近距离边界框种子伪标签。由于卷积网络的平移等方差特性，我们发现在近距标签上训练的CNN检测器可以借助数据增强（例如随机稀疏输入的光线丢弃）以零样本方式泛化到更远距离。
自我改进阶段利用对象轨迹的时间一致性作为自我监督信号。我们提出了一个 Track、Refine、Retrain、Repeat框架：
考虑到随时间的噪声检测，我们采用无监督的离线跟踪器来查找不同长度的物体轨迹；
我们丢弃短轨迹，细化长轨迹，为下一轮自训练准备伪标签；
对象轨迹在不同时间上应该具有相同的物理对象大小，因此我们的细化过程使用轨迹级信息来更新长轨迹中的伪标签；
我们在更新的伪标签上训练一个新的检测器，将其输出转储为新的伪标签，进行跟踪、细化、重新训练和重复。
与点聚类的比较
以下是我们的无监督目标检测器(OYSTER) 的鸟瞰图(BEV)输出，该检测器在没有任何标签的情况下进行训练。我们还可视化用于初始引导的点聚类输出，以启动我们的自我训练过程。请注意，模型输出和真实标签是与类无关的边界框。
与最先进的比较
将我们的检测器与之前的无监督检测方法MODEST的SOTA进行比较：
自训练伪标签的演变
我们通过鸟瞰图（BEV）可视化自训练伪标签的演变，从最初的点聚类步骤到后来的自训练迭代。
结论
我们提出了一种新方法 OYSTER，用于从LiDAR点云进行无监督目标检测。使用弱对象先验（近距离点聚类）作为引导步骤，我们的方法可以训练没有人工注释的对象检测器，首先利用 CNN 的平移等方差生成远程伪标签，然后导出自来自对象轨迹的时间一致性的监督信号。我们提出的自我训练循环对于教导无监督检测器进行自我改进非常有效。我们在两个真实世界数据集Pandaset和Argoverse 2 Sensor上验证了我们的结果，我们的模型明显优于之前的无监督方法。对现实世界的机器人感知进行自我监督学习对人工智能来说是一个令人兴奋的挑战，我们的工作朝着允许机器人在没有人类监督的情况下理解视觉世界迈出了一步。
