增强融合模块的透明目标跟踪

#论文##开源#IROS 2023| 增强融合模块的透明目标跟踪 【Transparent Object Tracking with Enhanced Fusion Module】 作者单位：石溪大学、空军科研办公室、纽约城市学院 开源代码：GitHub - kalyan0510/TOTEM: Transparent Object Trac... 对透明物体(如眼镜)的准确跟踪在机器人辅助生活等许多机器人任务中起着至关重要的作用。由于这类物体的自适应和经常反射的纹理，传统的依赖于通用学习特征的跟踪算法性能降低。最近的研究提出通过融合目的构建特征向现有的通用目标跟踪器中灌输透明性感知。 然而，在现有的融合技术中，新特征的加入引起了潜在空间的变化，使得在具有固定潜在空间的跟踪器上无法融入透明度感知。例如，目前许多基于Transformer的跟踪器都是完全预训练的，并且对任何潜在的空间扰动都很敏感。在本文中，我们提出了一种新的特征融合技术，将透明度信息集成到一个固定的特征空间中，使其能够在更广泛的跟踪器中使用。我们提出的融合模块由一个Transformer编码器和一个MLP模块组成，利用基于查询的关键变换将透明度信息嵌入到跟踪管道中。 我们还为我们的融合模块提出了一种新的两步训练策略，以有效地融合透明度特征。我们提出了一种新的跟踪器架构，使用我们的融合技术来实现透明目标跟踪的卓越结果。我们提出的方法在最近发布的最大的透明目标跟踪基准TOTB上取得了与最先进的跟踪器相媲美的结果。