【AI画画训练】头像框生成

数据
某宝买了很多头像框的数据。挑选出了一些比较符合自己需求的圆形头像框。并且都做了底色填充、缩放和padding的操作。最后数据大概这样:

丢入tagger对其进行打标(同时加上触发词)
在第一个版本中,打标后的tag我并没有再经过二次处理。直接就训练了。
训练
首先用lora做测试,如果可用,就不会再尝试dreambooth。
基础模型选择了AbssOrangeMix3a3的模型。其他参数基本默认。
因为本身数据对于训练lora来说,已经不算少了(800张左右)担心过拟合,所以最初只训练了10个epoch。但第一波训练完毕后,发现第10个epoch最对味,所以调整到了20个。
调试
x/y对比一些prompt,选出觉得效果最好的一个epoch

应用
给一些prompt生成圆形头像框的参考。
随便给一些关键字

或者搭配一些风格。(因为很多时候游戏内创造是有对应的主题和参考的)
根据参考图片颜色
使用赛博朋克德图提供controlnet风格。
网上随便找了个赛博朋克的图

使用controlnet的色彩模型

除此之外应该还有很多其他应用场景。如果大家有什么好的想法欢迎一起交流哦~
Lora下载地址:https://civitai.com/models/27700/avatar-frame-generator