Slamcore Ltd等开源:基于潜在先验网络和 Quasi-Planar准平面分割的实时语义地图

以下内容来自小六的机器人SLAM学习圈知识星球每日更新内容

点击领取学习资料 → 机器人SLAM学习资料大礼包

#论文##开源# RA-L 2023|Slamcore Ltd和伦敦国王学院开源SeMLaPS:基于潜在先验网络和 Quasi-Planar准平面分割的实时语义地图

【SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and Quasi-Planar Segmentation】

开源代码和数据集: SeMLaPSReal-timeSemanticMappingwithLatentPriorNetw...

实时语义的可用性极大地提升了SLAM系统的核心几何功能，使大量机器人和AR / VR应用得以实现。我们提出了一种从RGBD序列中进行实时语义建图的新方法，该方法结合了2D神经网络和3D网络，基于具有3D占用地图的SLAM系统。当分割一个新的帧时，我们基于可微的渲染从以前的帧中执行潜在的特征重投影。与独立处理图像的基线相比，将前一帧的重投影特征图与当前帧的特征进行融合大大提高了图像分割质量。对于3D地图处理，我们提出了一种新颖的几何准平面过分割方法，通过表面法线将可能属于相同语义类的3D地图元素分组。

我们还描述了一种新颖的用于轻量级语义地图后处理的神经网络设计。我们的系统在基于2D - 3D网络的系统中实现了最先进的语义地图质量，并在三个真实的室内数据集上匹配了3D卷积网络的性能，同时能够实时工作。此外，与3D CNN相比，它表现出更好的跨传感器泛化能力，可以使用不同的深度传感器进行训练和推理。

以上内容来自小六的机器人SLAM学习圈知识星球每日更新内容