MoCo 论文逐段精读【论文精读】

对比学习的灵活性：可以自由定义正样本和负样本，从而应用到自己的任务中，而之后的流程都是相似的

比如：

1. 在视频领域，同一个视频的任意两帧被认为是正样本，而其它视频的所有帧都任务是负样本
2. 一个句子的不同embedding（不同dropout）作为正样本，不同句子作为负样本
3. 一个物体的不同view（不同视角，正面和背面，RGB图和深度图等等）为正样本，不同物体为负样本

无监督学习与有监督学习相比缺少了标签，因此需要通过代理任务来生成自监督的标签，还需要设计对应的目标函数来衡量学习结果的好坏。

pretext代理任务：指的是那些大家不太感兴趣的任务，非分类、检测、分割等有实际应用场景的任务，这些代理任务的提出主要是为了学习一个好的特征。

目标函数的选择：

1. 生成式任务，原图和重建图的差异，L1或L2
2. 判别式任务，交叉熵Loss等
3. 对比学习，目标不是固定的，是随着网络更新不断改变的
4. 对抗性任务，衡量两个概率分布之间的差异，主要用于无监督数据生成，也可以用于表征学习

代理任务的选择：

1. 给图片上色
2. 生成伪标签
3. 预测顺序等等