模型概况

ALBEF

1. 双流模型；

2. 在预训练和下游任务时，使用momentum distillation，缓解图文数据集中的噪声问题；

3. 从Mutual Information的视角看图文对信息对齐。