深度学习VIT论文小班

这是一个新的学习概念吗？不是，但它是迄今为止最有“野心的”的。OpenAI收集了一个包含 4 亿个图像+文本对的数据集来训练这个模型：对于文本编码使用修改后的 Transformer 架构，对于图像编码使用 ResNet-50、ResNet-101、EfficientNet 和 Vision Transformers（均已修改）。通过对比测试表现最好的是 Vision Transformer ViT-L/14。