Stable diffusion 人物Lora训练记录-20230304
2023-03-04 15:42 作者:Jianghao_L | 我要投稿

记录一下第一次比较成功的Lora训练。
此Lora目标是能生成 Emma Myers(Wednesday中Enid Sinclair的扮演者) 的完善图像,以及可以和大部分模型进行混用。
Lora Gui版本本地部署教程(老外的,很详细,据介绍了基本原理):

Lora简介:
https://replicate.com/blog/lora-faster-fine-tuning-of-stable-diffusion

训练流程:
扒图:大小尺寸不用太讲究,Lora不需要正方形,但是听说训练集尺寸超过1024训练效果没有明显提升。
预处理:最折磨的步骤也是最重要的步骤,给训练集图像打tag, 推荐此视频教程:
【AI绘画】较详细!正则化!从泛化性角度谈Lora模型训练心得
抛开参数,打tag如果要让Lora模型泛化程度更高需要把画面所有元素都给标注出来,不然可能会出现几种情况:角色衣服很难换、只能生成特定的背景、只能生成上半身等和训练集过于相似的图片(这种情况称为泛化性不够高)。
调参:没训练过多少次,目前还是不太清楚具体参数作用,调参数的目标是为了让模型和想要的训练的人脸拟合度更高,详细参数解释可看此专栏:
训练:基于chilloutmix模型,使用4090显卡训练,30张图像+50张正则化图像共训练时常一个半小时。

训练集和生成图对比:


可以看到面部特征基本一致,并且能随意改变发型发色服饰,如果prompt中加入短发,棕发,卷发等关键词就能基本还原训练集。

其他生成图:







