什么是迁移学习(Transfer Learning)?【知多少】

利用已有的经验解决相似任务是人类与生俱来的能力
在机器中有不少任务是相似的
how to learn

卷积神经网络的前几层是在提取图像特征,直到最后的全连接层才进行分类。

提取特征的过程很是相似
所以可以讲训练好的猫狗分类网络的前几层拿出来直接使用,再用苹果与梨的数据,训练性的全连接层完成分类。

利用数据,任务,模型间的相似性,讲训练好的内容应用到新的任务上被称为迁移学习

由于这一过程发生在两个领域间,已有的知识和数据,也就是被迁移的对象被称为源域,被赋予“经验”的领域被称为目标域。

迁移学习不是具体的模型,更像是解题思路,我们使用迁移学习的原因有很多,
比如目标领域的数据太少,需要标注数据更多的源域的帮助,
有时是为了节约训练时间,有时是为了实现个性化应用
语聊匮乏之间的小语种之间的翻译,
缺乏标注的医疗影像数据识别
面向不同领域快速部署对话系统都是迁移学习擅长的应用


之前见过的transformerBert这类预训练语言模型微调后可以完成不同的任务。正是迁移学习在NLB领域的应用


