港科大VLIS LAB自监督学习：滚动快门帧视频插值算法

arxiv|港科大(广州)VLIS LAB发布事件引导视频帧插值算法在滚动快门帧中的自监督学习

【Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames】 

文章链接：http://arxiv.org/abs/2306.15507   

本文首次尝试在新的事件相机数据引导下，从两个连续的滚动快门( RS )帧中恢复任意帧率的潜在全局快门( GS )帧。虽然事件具有较高的时间分辨率，有利于视频帧插值( VFI )，但在处理该任务时遇到的一个障碍是缺乏成对的GS帧。另一个挑战是当捕捉移动物体时，RS帧容易出现失真。为此，我们提出了一个新颖的自监督框架，在一个统一的框架中利用事件来指导RS帧校正和VFI。 我们的核心思想是估计位移场（DF）——在曝光时间内所有像素的非线性稠密3D时空信息，从而实现RS和GS帧之间的相互重建以及任意帧率的视频帧插值（VFI）。。    

具体来说，提出了位移场估计( DFE )模块来估计来自事件的时空运动，以校正RS失真，并一步插值GS帧。然后，我们将输入的RS帧和DF结合起来学习一个用于RS到GS帧插值的映射。然而，由于该映射是高度欠约束的，我们将其与一个逆映射(即GS - to - RS)和RS帧变形(即RS - to - RS)耦合进行自监督。由于缺乏用于评估的标记数据集，我们生成了两个合成数据集，并收集了一个真实的数据集来训练和测试我们的方法。实验结果表明，我们的方法在性能上与之前的有监督方法相当或更好。