欢迎光临散文网 会员登陆 & 注册

[AI绘画]stable diffusion个人使用简单记录2.19-lora模型训练1

2023-02-20 09:49 作者:14681217866_bili  | 我要投稿

        去年下半年NovelAI火出圈的时候尝试了一下,模型主要还是二次元为主,用的傻瓜版只知道输提示词随机抽奖。最近看到SD各种插件进化,直接真实向绘图,2.5D效果还可以,又捡起来重新耍耍。

昨天照着站内秋葉aaaki做的教学视频跑了一组Lora训练,然后尝试了一下新添加的两种拓展插件的功能,Additional Networks和ControlNet。

1.Lora人物训练之原神雷电将军

        从P站搜索雷电将军,随便扒了前两页几十张图出来做训练的底素材,从扒的图片信息来看,虽然ai绘图时间还不算特别长,但是用的人确实还是蛮多的,我这都属于用ai出的同人图做二次训练了,也不知道效果怎们样,可能全用官方素材更好。。。

        训练完得到一个lora模型,我这边取名是叫Raiden Shogun.safetensors,将其放到sd目录下extensions拓展中的,additional-network里的模型文件夹里,即里面也有一个lora模型文件夹。

2.炼丹模型放置目录

        然后就可以开始用自己炼制的模型开始绘图做测试了,这里对比还下载了C站一份别人跑的雷电将军的lora模型

3.C站下载的另一份对比模型

2.开始出图

        首先是提示词,只打了一个女孩和紫色头发两个,因为单纯想看练的模型效果怎么样。

1girl, purple hair, 

        然后是negative prompt,负面提示词随便从别人图源里扒的如下:

paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans, nsfw, nipples, (((necklace))), (worst quality, low quality:1.2), watermark, username, signature, text, multiple breasts, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, bad feet, single color, ((((ugly)))), (((duplicate))), ((morbid)), ((mutilated)), (((tranny))), (((trans))), (((trannsexual))), (hermaphrodite), extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), (((disfigured))), (bad anatomy), gross proportions, (malformed limbs), ((missing arms)), (missing legs), (((extra arms))), (((extra legs))), mutated hands,(fused fingers), (too many fingers), (((long neck))), (bad body perspect:1.1)

        其他的设置都随意调整的,差不多就行了,因为这次是主要看模型效果。。。

        像采样方法、steps还有CFG Scale之类的:

4.其他设置

        为了对比使用webui下的脚本-xyz图表功能,一共做了两组对比。

2.1对比一:自己炼制lora模型权重0和1.2,在不同模型风格下的表现

        lora模型权重分别设置0和1.2,在不同checkpoint底模型下的表现。我在c站下了一大堆模型,像anything3.0改、orangeMix2、以及2.5d真实向的chilloutmix、sd1.4、sd1.5等:

5.下载的各种基础模型

    用的是图生图,给了张姿势限制吧可能相当于,可能是这张

6.uid:105186335-18
7.自制lora权重对比测试图1

        以我个人浅显的理解,(接触第一天,不能说完全不懂,只能说勉强会跑的基础上),确实应该是权重越大,画的越像吧。。。

        还跑了几张权重分别是0,0.3,0.6,0.9,1.2,1.5的:

8.自制lora权重对比测试图2
9.自己炼制和别人的lora对比

         这里两个模型权重应该都给的1。

         怎么说呢,下载的那个为何前两个正常的二次元模型下出的图有点奇怪,到下两个hentai风格的二次元模型下出的图效果居然更好一点,,,,,

        我这边怎么越往下走眼神眼线,面目表情越来越凶狠了。。。只能说anything模型还是给力的,stable-diffusion模型也不用下太多,同类的有的看介绍好像就是两个融合出来的,或者小改。

3.尝试ControlNet,生产特定动作的图片

        出图速度好像会慢一些,参考图选的是真人动作图,效果还可以。

记录完毕。

[AI绘画]stable diffusion个人使用简单记录2.19-lora模型训练1的评论 (共 条)

分享到微博请遵守国家法律