欢迎光临散文网 会员登陆 & 注册

【AI绘画喜灰画风_V1】SD1.5 Lora炼丹笔记

2023-10-01 23:35 作者:澄清万里  | 我要投稿

本文以专栏的形式对我的喜灰背景画风Lora训练过程做一个记录、整理。

这是我第一次训练画风Lora。实际上,《喜羊羊与灰太狼》的背景和人物的画风是不同的。理论上我应该把两者全都训练进去,但是我在训练集里只放了无人物的图片,所以只炼出了画背景板的Lora。

训练集:

“二创动力”赞助了我397张《喜羊羊与灰太狼》的背景图片,由于授权原因,我就不把图放出来了。图片的数量太多了,有可能只训练了1-2个epoch就过拟合了。所以,我对图片进行了筛选。我先给图片打标,然后通过代码删去了标签数小于10个的图片,以此保证每张用于训练的图都能表达足够多的信息。

打标
一小段筛选图片的代码

筛选之后,还剩下284张图,分辨率调为896*512.

后来我觉得这种筛选方式也不恰当,因为有的图可能表达的内容很少,但是这个内容很重要。所以最好还是等我有空了之后手动筛选。这,将是一个漫长而无聊的过程~。

我还在标签中加入了几个特有概念,希望也能被学习到。

改标签


训练参数:

repeat=6,其他如下:

loss曲线


模型测试:

“狼堡”概念测试
“羊村 学校”概念测试
“羊村”概念测试
“羊村 大门”概念测试

'Sunset Shimmer'环境测试
'Starlight Glimmer'环境测试
Counterfeit大模型测试
Counterfeit大模型测试
Counterfeit大模型测试
AbyssOrange大模型测试

画风Lora与角色Lora结合试验:

最终选择第4个,权重推荐0.5-0.9,可按需调整。

感觉已经能算一个合格的画风Lora了。目前看下来,这个模型只能用来画背景板,不能与人物角色Lora结合使用,否则会将人物也画成背景的风格。另外,我加入的几个概念,训练效果参差不齐,这跟我训练集里相应图片数量不同有关。


效果图:(均为模型直出,未经修图)

这个模型还能用来制作很多有意思的图。

参考资料:

主流程:BV1Aa4y1M76n

打标与概念分类:BV12k4y1e7EoBV1ZM411c7aj

【AI绘画喜灰画风_V1】SD1.5 Lora炼丹笔记的评论 (共 条)

分享到微博请遵守国家法律