北京大学开源SODFormer：使用事件和帧的Transformer流式目标检测

#论文##开源# TPAMI |北京大学开源SODFormer：使用事件和帧的Transformer流式目标检测 【SODFormer: Streaming Object Detection with Transformer Using Events and Frames】 代码链接：GitHub - dianzl/SODFormer 文章链接：[2308.04047] SODFormer: Streaming Object Detection... DAVIS相机，流式异步事件和帧两种互补的感知模式，逐渐被用于解决主要的目标检测挑战(例如,快速运动模糊和低照度)。然而，如何有效地利用丰富的时间线索并融合两个异构的视觉流仍然是一项具有挑战性的工作。为了解决这个问题，我们提出了一种新的基于Transformer的流式目标检测器SODFormer，它首先集成事件和帧，以异步的方式连续检测目标。在技术上，我们首先构建了一个超过1080.1 k人工标签的大规模多模态神经形态目标检测数据集(即PKU - DAVIS - SOD)。然后，我们设计了一个时空Transformer架构，通过一个端到端的序列预测问题来检测目标，其中新颖的时序Transformer模块利用来自两个视觉流的丰富时间线索来提高检测性能。 最后，提出了一种基于异步注意力的融合模块，整合两种异构感知模态，从各端取长补短，可随时查询定位对象，突破了基于同步帧的融合策略输出频率受限的问题。结果表明，提出的SODFormer比四种最先进的方法和我们的八个基线有显著的优势。我们还表明，即使在传统的基于框架的相机失败的情况下，我们的统一框架也能很好地工作，例如高速运动和低光照条件。