超低延迟光流估计：EVA-Flow的开源实现

2023-09-12 09:24 作者:计算机视觉life 0人读过 | 我要投稿

#论文# #开源# arxiv速递|浙江大学湖南大学开源面向事件相机的任意时刻光流估计

【Towards Anytime Optical Flow Estimation with Event Cameras】

文章链接：[2307.05033] Towards Anytime Optical Flow Estimati...

开源代码：GitHub - Yaozhuwa/EVA-Flow: The official implement...

摘要—事件相机能够在微秒级别对亮度变化作出响应。它只对变化区域产生响应的特性特别适用于光流估计。然而，与事件相机超低延迟响应速度相比，现有的通过事件相机收集的数据集只提供有限为了应对这一挑战，我们提出了一种高帧率、低延迟的事件表示方法——统一体素网格（Unified Voxel Grid），逐个体素输入到网络中。然后，我们提出了一种名为EVA-Flow的基于事件的任意时间光流估计网络，仅利用低帧率光流地面实况进行监督，生成高帧率的事件光流。我们的EVA-Flow的关键组成部分是堆叠的时空运动细化（Spatiotemporal Motion Refinement，SMR）模块，它通过预测时间密集的光流并通过空间-时间运动细化来提高准确性。SMR模块中利用的时间密集特征扭曲为中间光流提供了隐式的监督。

此外，我们引入了修正的流场扭曲损失（Rectified Flow Warp Loss，RFWL），用于在没有实况地面实况的情况下对中间光流进行无监督评估。据我们所知，这是第一篇专注于通过事件相机进行任意时间光流估计的工作。对MVSEC、DESC和我们的EVA-FlowSet进行了大量实验，结果表明EVA-Flow在性能上达到了竞争水平，具有超低延迟（5毫秒）、最快的推断速度（9.2毫秒）、时间密集的运动估计（200赫兹）和强大的泛化能力。