极市直播丨ECCV2022 Oral-吴俊峰:视频实例分割新SOTA:SeqFormer&IDOL
| 极市线上分享 第100期 |
一直以来,为让大家更好地了解学界业界优秀的论文和工作,极市已邀请了超过100位技术大咖嘉宾,并完成了99期极市线上直播分享。往期分享请前往bbs.cvmart.net/topics/149或直接阅读原文,也欢迎各位小伙伴自荐或推荐更多优秀的技术嘉宾到极市进行技术分享,与大家一起交流学习~~
视频实例分割是一个近几年兴起并逐渐引起广泛关注的领域,它要求算法同时完成视频中的物体的检测、分割、分类、以及跟踪。目前主流的视频实例分割算法可以被分为Online和Offline两种范式,Online模型通过逐帧分割并添加后处理进行跟踪,将图像实例分割算法扩展到视频实例分割任务上。Offline 模型通过将整段视频输入以同时获得分割和跟踪的结果。这两种范式各有其特色以及特殊的应用场景。
在这次分享中,我们邀请到了华中科技大学博士生吴俊峰,为我们介绍他们两篇中稿 ECCV 2022 Oral 的工作:
SeqFormer: Sequential Transformer for Video Instance Segmentation, ECCV, 2022 (Oral)
In Defense of Online Models for Video Instance Segmentation, ECCV, 2022 (Oral)
“这两个模型分别在 Offline 和 Online 范式下的视频实例分割任务上取得了最高的性能。我们深入分析了此前Offline和Online模型性能相差巨大的原因,并且补齐了这个差距,让这两种范式回到相同的起跑线上。此外IDOL在第四届大规模视频物体分割挑战赛( 4th Large-scale Video Object Segmentation Challenge,CVPR2022)的视频实例分割赛道上取得第一名。”
01 直播信息
时间:2022年8月8日(周一):20:00-21:00
主题:ECCV 2022 Oral | 视频实例分割新SOTA: SeqFormer&IDOL
02 嘉宾介绍

吴俊峰
华中科技大学博士生,指导老师为白翔教授。研究方向为计算机视觉,包括视频实例分割、目标跟踪等。目前以第一作者身份在计算机视觉顶级会议上发表多篇论文,并取得第四届YouTube-VIS Challenge的冠军。
个人主页:https://wjf5203.github.io
03 关于分享
➤分享大纲
1.视频实例分割发展回顾
2.SeqFormer模型结构
3.SeqFormer的注意力机制
4.SeqFormer性能和效果展示
5.VIS Offline、Online模型分析
6.IDOL 的提出和结构
7.IDOL 模型性能和效果展示
8.CVPR2022 Workshop 冠军解决方案
9.总结和展望
➤论文
SeqFormer: Sequential Transformer for Video Instance Segmentation, ECCV, 2022 (Oral).
arxiv:https://arxiv.org/abs/2112.08275
code:https://github.com/wjf5203/SeqFormer
In Defense of Online Models for Video Instance Segmentation, ECCV, 2022 (Oral)
arxiv:https://arxiv.org/abs/2207.10661
code:https://github.com/wjf5203/VNext
04
参与方式
关注“极市平台”公众号,回复“100”可获取免费直播链接。
