欢迎光临散文网 会员登陆 & 注册

Stable diffusion 人物Lora训练记录-20230304

2023-03-04 15:42 作者:Jianghao_L  | 我要投稿

    记录一下第一次比较成功的Lora训练。

    此Lora目标是能生成 Emma Myers(Wednesday中Enid Sinclair的扮演者) 的完善图像,以及可以和大部分模型进行混用。

    Lora Gui版本本地部署教程(老外的,很详细,据介绍了基本原理):

    Lora简介:

https://replicate.com/blog/lora-faster-fine-tuning-of-stable-diffusion



训练流程:

  1. 扒图:大小尺寸不用太讲究,Lora不需要正方形,但是听说训练集尺寸超过1024训练效果没有明显提升。

  2. 预处理:最折磨的步骤也是最重要的步骤,给训练集图像打tag, 推荐此视频教程:

    【AI绘画】较详细!正则化!从泛化性角度谈Lora模型训练心得

    抛开参数,打tag如果要让Lora模型泛化程度更高需要把画面所有元素都给标注出来,不然可能会出现几种情况:角色衣服很难换、只能生成特定的背景、只能生成上半身等和训练集过于相似的图片(这种情况称为泛化性不够高)。

  3. 调参:没训练过多少次,目前还是不太清楚具体参数作用,调参数的目标是为了让模型和想要的训练的人脸拟合度更高,详细参数解释可看此专栏:

    【AI绘画】LoRA训练全参数讲解

  4. 训练:基于chilloutmix模型,使用4090显卡训练,30张图像+50张正则化图像共训练时常一个半小时。



训练集和生成图对比:

所用训练集之一
混合FashionGirlLora生成的偏写实图像

可以看到面部特征基本一致,并且能随意改变发型发色服饰,如果prompt中加入短发,棕发,卷发等关键词就能基本还原训练集。



其他生成图:


Stable diffusion 人物Lora训练记录-20230304的评论 (共 条)

分享到微博请遵守国家法律