手动正则法（角色lora训练新流程）

先传一个文字版教程，看看好不好过审

======================================================================

Hello,大家好

今天给大家带来的是一套全新的用极少数据集训练角色lora的方法

经过测试下来，用这套方法练出来的角色lora在特征的拟合程度上以及泛化能力上都是很不错的，和用十几张图作为数据集练出来的lora差不多，在泛化能力上甚至表现的更好

而且操作十分简便，只需要2-4张图，

很适合训练冷门角色，或者你的OC

又或者你想省事，也可以用这种方法去练一个quick lora。

在教程开始之前，首先要感谢reo老师，l4t老师以及五月老师提供的灵感

这种训练方法暂时没有人命名，那么我就先起个名字，叫“手动正则法”好了。

那么话不多说，在弹幕上扣个1，开始今天的教程吧

咱这个训练流程，很多地方都和传统训练角色lora一样啊，都是找好数据集然后打标

就像这样，这里娱乐是用了四张图作为数据集，当然这个角色不可能只有这四张图，这里是故意减少数据集来模拟一下数据集缺失的情况，方便后面我们进行对比。

角色lora的打标是一个老生常谈的话题，有人建议删除所有和角色描述有关的标签，也有人建议保留一部分，也有人喜欢打全标然后什么都不动，主打一个原汤化原食。

但是在我们这个训练流程里，娱乐建议的打标方法略有些特殊，具体为什么这么打标等下再讲

1.首先描写发色瞳色的标签全部删除，这是为了我们以后触发方便

2.接着是描写衣服的标签，娱乐建议的是，为角色的头部，上半身，下半身，足部这四个部分分别设置一到两个个触发词，添加到所有图片的标签中，而其他描述服装的tag删除

比如这个角色，就保留了以下触发词:”cowboy hat(头部)”，”fur_trim,dress”(上半身)，“brown thighhighs”（下半身）,”boots”（足部）

3.再然后，就是一些描写细微特征的部分，比如头饰，或者脸上的纹身，这里娱乐的建议还是全部保留。

处理好这几张图片之后，我们把这几张图片放在一个文件夹中，设置repeat数为10，也就是命名为10_body

4张图，10repeat，20个epoch，这样的数据量已经足够lora在服饰上进行拟合了。

如果你训练的是自己的oc，连四张图都找不到的话，那么娱乐这里建议的是一张侧身，一张正面，两张图开一个镜像翻转凑成四张去训练，一样可以达到较好的效果

就像这样

接着，我们再建立第二个文件夹，设置repeat数为6，命名为6_face,我们打开ps或者其他的图片处理软件，新开一个512×512的画布，截取我们body文件夹中图像的脸部，将两到三张脸部的特写放入这个文件夹中，使用和我们body文件夹同样的打标方式。

我们用这个文件夹是希望进行一个脸部的拟合

最后，就是我们整个流程最妙的一步了，我们再新建一个最后的文件夹，设置repeat为4，命名为4_reg，去进行一个手动的正则化处理

先讲一下为什么要做一个手动的正则而不是使用lora训练自带的正则吧，因为这个训练程序自带的正则文件夹权重过高而且不容易控制，很容易造成污染，

所以我们这里就干脆用一个低repeat的文件夹去做一个正则化的训练，去减轻动作以及画风的过拟

这是因为正则文件夹中包含的各种动作，虽然权重较小，但还是存在，我们在跑图过程中可以通过tag去调取，这样就保证了动作不会过拟

而正则文件夹中的画风，也是会影响到这个lora的画风，从而防止画风过拟的出现。

那么我们这个正则文件夹里面具体要放什么图片呢，

实不相瞒，我们需要的是4-5张各种姿势的，可以展现出人类身体美与精神美的，充满自由与自然的图片，说人话就是果图。这里面可以用其他角色的，只要身材和这个角色相差不大就行，要求打全标。

真没给各位开玩笑啊，咱们这是正经教学，干的一切事都是为了正经用途，我给大家详细讲一下为什么要这么干啊。

有一个说法叫拔了毛的凤凰不如鸡，那说明不管是凤凰还是鸡，这拔了毛之后看起来应该是大差不差的，对于人来说也是一样，所以我们使用这样的图片，再加上文件夹的低repeat，可以很轻松的防止我们要训练的那个角色服饰被污染。

还记得我们body文件夹里面的打标方式吗，之所以用那样的打标方式，就是为了提高prompt和图像的一致度，进一步的去减轻正则文件夹的污染。

然后有人就要问了，你这文件夹里放别的角色的图，把脸给污染怎么办啊？
这个问题，也有解决办法，而且相当简单粗暴，我们只要把这个角色的脸给涂黑，然后在标签里打上faceless就可以了。

举个例子，这里应该用无衣的，为了过审用了其他图片进行演示

这里给大家讲一下原理，就是这个lora训练，最重要的是数据集，第二重要的是打标处理，

我们把正则文件夹里面的所有图脸部都给遮起来，再打上faceless，那么所有的这些黑块都和faceless这一个tag联系起来了，只要不输入faceless，就不会出现这样的大黑块，

而我们所有数据集里面能和1girl关联的脸型，就只有body和face中的脸部特征了，这样自然可以进行脸部的拟合。

至此，我们用这种方法训练出来的lora，解决了拟合度的问题，解决了污染的问题，解决了画风和动作过拟的问题，自然可以训练出一个优质的lora。

最后提醒一下，这个reg文件夹做好之后，是可以重复利用的，这也就意味着你想做quick lora所需要的数据量大幅度减少，处理数据集和训练时间都会加快。

还有就是reg，face，body这三个文件夹的repeat数不是固定的，各位可以根据自己的数据集进行改变，只需要注意body的图片数×repeat应该大于reg的两倍左右就ok了

明天出视频教程，准备好三连把娱乐gg灌满吧