LoRA训练 ——打标签（tag）

之后会出视频，这个是文案，大家可以先看看

训练lora的时候很多人会头疼不知道怎么打标签，怎么修改。

其实并不一定要打标签，

很多视频都再强调打标签的重要性，但实际上，打标签对于一个LoRA模型训练的好不好并没有影响，只是再使用这模型的时候是否方便。

打标签的目的就是让AI明白

某个词语=某个（些）特征

比如我们输入提示词girl，会出来一张女孩的图片，就是因为模型中girl对应的就是女孩的各种特征。

如果我们想要让girl对应一个具体的角色，我们就需要再加入其他的提示词，比如艾米利亚。

这个时候图片中的特征就变成了girl和emilia的交集，

女生应该有长头发，艾米利亚是银色头发，因此girl，emilia这两个提示词对应的头发特征应该是银色长发。

这些事大模型中提示词对应的特征，我们使用LoRA模型的目的就是讲某些提示词对应到训练集中的特征。

这些提示词可以是大模型中原本就有的，

门派成员=原本有的提示词

傀儡=自创提示词

施术者=训练集

几层功力=模型权重

把大模型比作一个门派，提示词是这个门派中的成员，使用原本的提示词相当于夺舍，把这个提示词原本指向的特征变成训练集中的特征。

使用自创的提示词，相当于在门派中安插了一个傀儡，然后再附身再那个傀儡上。

用我的配音员喂喂做个例子，我就用下面这一张图去训练一个lora

提示词我只打一个weiwei

然后weiwei这个提示词，对应的就是喂喂的这张图片中的所有特征，白色长发狐狸娘，蓝眼睛，粉色裙子。。。。

打1girl同样也会出现呆狐狸的形象，因为这张图片的特征中包含了1girl，原本1girl的特征被指向了喂喂的特征

那区别在哪呢？我们把lora的权重降低到0.6

weiwei提示词的依旧很明显地还原了训练集的特征，而1girl则出现了其他特征。

LoRA的权重就如同施术者的功力。

夺舍的功力下降了，宿主的意识就开始掌控身体，和外来意识发生了抵抗。

但对于傀儡来说，它本身旧没有太强的意识，不用全力附身也可以控制。

如果要夺舍，除了施术者自身的功力外，夺舍对象的选择也很重要，要选择特性和施术者比较契合的，就容易夺舍成功。

如果那个提示词本身和训练集的特征足够相似，也可以呈现出来，但如果和训练集一点关系没有，那就很难还原训练集的特征。

比如使用红头发这个提示词，但是喂喂是白头发，特征不吻合，因此出来的图片还原度极差。

需要使用十层功力才能还原

但如果使用的是长发这个提示词，和训练集的特征相符，权重低一些也可以还原大部分特征。

我们继续看下一个测试

这一次我们把训练的提示词weiwei换成fox

fox原本的特征

fox的特征再LoRA的影响下，变成了喂喂的特征

lora的权重减少，fox的特征就比较明显（耳朵），喂喂的特征减少

我们要让图片呈现出训练集没有的特征是非常困难的，比如闭嘴的特征

这时候我们准备两张图片，一张张嘴，一张闭嘴的

然后分别给他们打上对应的标签

可以很好的还原，由此可见训练集的重要，打标签只是辅助使用。但是打标签和训练集配合可以让我们控制这些细微的特征。

当然前提是训练集要够好，如果训练集不好，训练出来的模型一定不好。

下面的例子，我把张嘴的图片加了个cry的特征，闭嘴的加了个smile的特征

结合张嘴和哭的特征，就可以呈现出张嘴大哭的表情

结合闭嘴和笑的特征，呈现出抿嘴笑的表情

实际使用的时候特征很多，如果找不到适合的训练集，要训练一个还原度高有不会过度拟合的模型并不简单。

就比如以上的图片都是站姿，因此要呈现出其他姿势的话，就只能降低还原度。除非添加其他动作的训练集图片。

以上就是本期的全部内容，之后会在视频中细讲，还有很多关于lora的知识，之后也会慢慢说，制作不易，对各位有帮助的话点个赞吧。