深度学习金融分析论文科研小班

一般的目标检测，图片分类等CV任务，都会预设有哪些类别，要识别哪些种类。实际图片信息是很丰富的，除了这些预设的类别，其他的视觉信息没有被充分利用，如果还要识别图上其他类别，就需要再加标签。

本文提出CLIP，Contrastive Language–Image Pre-training，用4亿对来自网络的图文数据集，将文本作为图像标签，进行训练。进行下游任务时，只需要提供和图上的concepts对应的文本描述，就可以进行zero-shot transfer。