【AI绘画喜灰画风_V1】SD1.5 Lora炼丹笔记

本文以专栏的形式对我的喜灰背景画风Lora训练过程做一个记录、整理。
这是我第一次训练画风Lora。实际上,《喜羊羊与灰太狼》的背景和人物的画风是不同的。理论上我应该把两者全都训练进去,但是我在训练集里只放了无人物的图片,所以只炼出了画背景板的Lora。

训练集:
“二创动力”赞助了我397张《喜羊羊与灰太狼》的背景图片,由于授权原因,我就不把图放出来了。图片的数量太多了,有可能只训练了1-2个epoch就过拟合了。所以,我对图片进行了筛选。我先给图片打标,然后通过代码删去了标签数小于10个的图片,以此保证每张用于训练的图都能表达足够多的信息。


筛选之后,还剩下284张图,分辨率调为896*512.
后来我觉得这种筛选方式也不恰当,因为有的图可能表达的内容很少,但是这个内容很重要。所以最好还是等我有空了之后手动筛选。这,将是一个漫长而无聊的过程~。
我还在标签中加入了几个特有概念,希望也能被学习到。

训练参数:
repeat=6,其他如下:


模型测试:















画风Lora与角色Lora结合试验:



最终选择第4个,权重推荐0.5-0.9,可按需调整。
感觉已经能算一个合格的画风Lora了。目前看下来,这个模型只能用来画背景板,不能与人物角色Lora结合使用,否则会将人物也画成背景的风格。另外,我加入的几个概念,训练效果参差不齐,这跟我训练集里相应图片数量不同有关。
效果图:(均为模型直出,未经修图)












这个模型还能用来制作很多有意思的图。


参考资料:
主流程:BV1Aa4y1M76n
打标与概念分类:BV12k4y1e7Eo,BV1ZM411c7aj