深度学习多模态情感识别13

NIMO

1. 目的：之眼集成单模态和多模态结果的预训练模型，在多模态任务上表现不错，在单模态任务上，效果也不会下降太多；

2. 数据增强：通过text rewriting，text/image retrieval 增强正负样本。

UNITER

1. 目的：构建一个统一的图文学习框架，适用于各种图文任务；

2. 分别对图文做embedding，经过Layer Normalization进入transformer；

3. 提出conditional masking和OT-based WRA预训练任务。