两个新的lora训练思路（一图练角色，三图练画风）

先写个文字版，过两天出视频

希望各位到时候能三连捧个场

一,改良版“手动正则法”（一图流角色训练）

在讲这个方法之前，请先看原先的“手动正则法”视频，理解大致的训练原理和思路

【倾囊相授】手动正则法解决冷门角色及OC训练难题_哔哩哔哩_bilibili

回来之后，现在我来说明一下改良之后的方法

改良之后的优点是：1.只需要一到两张图片作为训练数据集

                  2.可以很轻松的训练出一个角色的多套衣服（也就是多合一lora）

                  3.操作比原版更加简单

那么新的方法怎么操作呢

首先是reg文件夹，改良方法中reg文件夹仍和原来方法中使用一样的图片和处理方式

但是在新方法中reg文件夹的图片不再限定数量，姿势越多样，泛化性能越好

在新方法中，我们不再建立face文件夹，只留一个body文件夹，在里面放入我们要训练的角色的图片

一到两张即可，如果仅有一张图片，可以开镜像翻转变成两张

最好是全身（当然像我这样用半身也问题不大），要求脸部特征一定要清楚，如果你还追求气质相似的话，最好使用官方立绘（前提是足够清晰）

Body文件夹的打标仍然是使用tagger进行打标之后删除一切重复标签（有重复语义的标签，比如标签中同时出现blue dress和dress时，选择这两个标签之一进行删除）

删除标签之后，在这个角色的所有标签的开头打上一个无意义的词汇作为触发词

就像这里的jin

这样做的目的是将角色的总体特征与reg文件夹区分开防止污染

然后设置两个文件的repeat

Reg文件夹repeat建议为2，保证reg文件夹中的图片数×repeat等于或略微大于body文件夹中的图片数×repeat

之后开始训练就行了

如果想要训练多合一的lora

可以多建立一个或几个body文件夹，分别设置触发词和打标

最后保证eg文件夹中的图片数×repeat等于或略微大于各个body文件夹中的图片数×repeat

即可

注意这里两套衣服要设置不同的触发词，比如这个例子中怪盗服是zhen1，校服是zhen2

之后照着默认训练参数训练即可

二,差异阈值法训练画风lora(少图练画风)

提醒：这个方法目前不够稳定，确实能够训练出来画风，但是有时候会出现过拟的情况，需要配合lora分层插件使用（不过有时候训练出来的lora效果很好）

很多时候我们喜欢某个画师的风格，但是这个画师又没有足够的图片，又或者这个画师的风格比较多变，某个特定风格的作品较少

导致我们在训练的时候难度很大

所以我研究出了这个训练方法，可以在较少图的情况下达到训练画风的目的

此方法目前有些瑕疵，后续还会进行改善

首先我们还是需要准备一个reg文件夹，这个文件夹中，需要放各种风格的作品，风格种类越多越杂，效果越好（建议爬取p站或者danbooru排行榜作为reg文件夹）

比如这样

接着我们用tagger对这个文件夹中的图片进行打标处理

值得一提的是，这里tagger的阈值参数应该调低，使得打标尽可能细碎和重复（比如我设置的就是0.1）

然后我们再创建一个新文件夹，里面放入我们要训练的画师的作品，命名为body，

这个文件夹中的图片可多可少，比如娱乐这里就用过三张图片开镜像翻转变成6张来训练画风，最后效果还不错

仍然是在tagger中进行打标

但是这里的阈值应该为0.5以上或者更高（娱乐这里用了0.6）

然后对body文件夹中的标签进行批处理，给所有标签加上一个无意义的词作为触发词

比如个lora里面的触发词就是Mcolor

（PS.这里其实有效果更好的方法，就是用人力对body文件夹里面的图片进行打标，只是有点累和反人类）

最后设置repeat，这里推荐reg文件夹的repeat为1-2，接着保证两个文件夹的repeat×图片数大致相同即可。

至于这么做的原理

其中一点和上面提到的“手动正则法”相同，就是同时使用reg文件夹中的杂图，对于lora中数据进行一定程度的泛化

而打标时候的差异阈值，则是为了降低reg文件夹的污染，阈值越低，打标越碎，那么reg文件夹图片与tag的关联性就会变差，同理body文件夹中图片与tag关联性会升高，也就不会出现图片越多，lora效果越不明显的问题了

不过还是叠个甲，这个方法谨慎使用，目前有待优化，仅是一种思路参考

那么就是这样

视频教程大概后天出，希望各位老爷们能三连支持一下