来源：投稿 作者：xin
编辑：学姐

Motivation:

当前存在的多模态预训练方法都是将文本和图像分开训练的，忽略了图像和文本间的对应信息交互。CLIP的提出打通了这一分别训练的界限，但是CLIP实现的是图像级别与文本级别的对齐，而在指示分割任务中CLIP并不是最优的选择。「故本文基于指示分割任务，对像素级别与文本级别的对齐进行了探究。」（下图所示为CLIP与本文提出的CRIS方法对比）

Method

本文的idea如下，有效利用预训练好的CLIP的知识（即文本特征与图像特征），接着设计了visual-language decoder从文本特征到像素级的图像特征传递细粒度的分割信息。最后将像素级图像特征和全局文本特征使用对比学习策略拉近文本和与之相关像素的距离，推远与之不相关像素的距离。

本文提出CRIS框架图如下，可以分为3个部分，分别为「图像、文本特征提取；视觉语言解码器以及文本像素对比损失」。

P、N表示正负例。

最后，为了获取最终的分割结果，将变到，再上采样到原图大小。

Result

在三个主流数据机上验证了提出方法的有效性

cvpr 论文学姐之前整理了大概500+篇

包含图像分割等55个细分方向

关注【学姐带你玩AI】公众号，后台回复“CVPR”免费获取嗷