欢迎光临散文网 会员登陆 & 注册

小象学院预训练模型

2023-08-04 14:39 作者:bili_34189062872  | 我要投稿

什么是微调(Fine-tuning)?

根据给定的预训练模型,改变它的部分参数或者为其新增部分输出结构后,通过在小部分数据集上训练,来使整个模型更好的适应特定任务.

什么是微调脚本(Fine-tuning script)?

实现微调过程的代码文件。这些脚本文件中,应包括对预训练模型的调用,对微调参数的选定以及对微调结构的更改等,同时,因为微调是一个训练过程,它同样需要一些超参数的设定,以及损失函数和优化器的选取等, 因此微调脚本往往也包含了整个迁移学习的过程.

说一说常见的两种迁移方式?

直接使用预训练模型,进行相同任务的处理,不需要调整参数或模型结构,这些模型开箱即用。但是这种情况一般只适用于普适任务, 如:fasttest工具包中预训练的词向量模型。另外,很多预训练模型开发者为了达到开箱即用的效果,将模型结构分各个部分保存为不同的预训练模型,提供对应的加载方法来完成特定目标.


小象学院预训练模型的评论 (共 条)

分享到微博请遵守国家法律