对比学习论文综述【论文精读】
2022-01-06 15:48 作者:孟秋十五Sakura | 我要投稿
48:38
SwAV本身聚类的方法结果应该跟MOCOv2差不多，更重要的是它的一个Trick
Trick：Multi-crop，多个正样本。提点明显。
57:07
BYOL和MOCO相比，代理任务不同，BYOL是预测任务，MOCO是匹配任务
59:21
SimCLR、MOCOv2、BYOL的projection head中BN层不同
BYOL不用负样本的原因分析。
01:14:34
动量编码器很重要，BYOL结果到后面还是会更好，SimSiam训得快但是结果稍差
下游任务MOCOv2和SimSiam更好
01:20:20
MOCOv3，vit的自监督学习。
大的batchsize时会出现训练不稳定，查看回传梯度发现是vit的patch projection层问题，把图片分成patch然后经过的全连接层是可训练的，冻住之后就解决了这一问题
DINO
01:26:18
