欢迎光临散文网 会员登陆 & 注册

【AI 绘画】多lora融合权重的选择

2023-02-20 01:11 作者:LdlAmethyst  | 我要投稿

本文探究在chilloutmix + koreanDollLikeness\Japan Doll Likeness\Girls' Frontline-OTs-14"lightning"\St. Louis (Luxurious Wheels) (Azur Lane)

等多lora融合使用时,如何搭配各lora的权重能获得最好的效果。


小弟水平不佳,本次测试仅供娱乐,选取样本少,tag 描述低,理解不到位。若有错误和建议可在评论区讨论。


1 参数

prompt: 

8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.37),1girl,(Kpop idol), (aegyo sal:1),hair ornament, portrait, (long loose silver revealing dress:1.1), necklace, blue nails,cute,cityscape, night, rain, wet, professional lighting, photon mapping, radiosity, physically-based rendering,(indoors),st.louis,azur lane,luxurious wheels,

Negative prompt: 

EasyNegative, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans,extra fingers,fewer fingers,

Steps: 28, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 839442842, Size: 512x768, Model hash: fc2511737a, Denoising strength: 0.5, Clip skip: 2, ENSD: 31337, Hires upscale: 1.75, Hires steps: 20, Hires upscaler: Latent (antialiased), 


AddNet Enabled: True, 

AddNet Module 1: LoRA, AddNet Model 1: stLouisLuxuriousWheels_v1(034b97419349), AddNet Weight A 1: 【】, AddNet Weight B 1: 【】

AddNet Module 2: LoRA, AddNet Model 2: koreanDollLikeness_v10(e2e472c06607), 

AddNet Weight A 2: 【】, AddNet Weight B 2: 【】


【】中代表权重0-1.2,每0.1为一步


同时本文所有照片均使用Hires.fix进行放大,参数为Denoising strength: 0.5,  Hires upscale: 1.75, Hires steps: 20, Hires upscaler: Latent (antialiased), 


tag出处

https://civitai.com/gallery/104288?reviewId=14018&infinite=false&returnUrl=%2Fgallery%2F104288%3FreviewId%3D14018%26infinite%3Dfalse%26returnUrl%3D%252Fmodels%252F6669%252Fst-louis-luxurious-wheels-azur-lane,略有改进。

原tag出处


以下默认lora1为St.Louis (Luxurious Wheels) (Azur Lane),lora2为koreanDollLikeness

在双lora的场景下,lora1为St.Louis (Luxurious Wheels) (Azur Lane),lora2为koreanDollLikeness。

为保证出图带有明显的St.Louis元素,请使lora1权重为0.8-1(也可以超过1),lora2权重为0.3-0.7(甚至可以为负数)

在更多的lora当中,请确保遵循中心原则,确保中心lora为高权重,其余的lora权重可层阶梯递减,也可都是相同的小权重。

如(lora1:1,lora2:0.6,lora3:0.5)(lora1:1,lora2:0.4,lora3:0.4)

如面部细节不好,可开启面部修复或使用Hires.fix。或拉高其他的lora并在prompt中填写中心角色特征相对应的tag。


同时,该规律可推广到其他不同训练的lora模型中。


示例:

lora1 Weight: 1.2             lora2  Weight: 0.6

lora1 Weight: 1.1           lora2 Weight: 0.4
lora1 Weight: 1.0                    lora2 Weight: 0.5

lora1 Weight: 0.8    lora2 Weight: 0.5‍   可以看出lora1为0.8时,蓝发细节减少
lora1 Weight: 0.2       lora2 Weight: 0.4

lora1 Weight: 0.2         lora2 Weight: 0.5‍ 


lora1 Weight: 0.2      lora2 Weight: 0.8
 注意此时的衣服已经不是St. Louis的了,同时 也不能正确识别该prompt(long loose silver revealing dress:1.1)

lora1 Weight: 0.6            lora2 Weight: 1.2
 与上文lora1 Weight: 1.2       lora2 Weight: 0.6 对比崩坏明显
lora1St.Louis Weight: 1.2    lora2koreanDollLikeness Weight: 0.8

即使是lora1的权重达到了1.2也无法压过lora2 0.8,可以明显的看出头发变白了。

在prompt列表中加上long blue hair的词条,头发逐渐变蓝。



lora1 Weight: 1.2     lora2  Weight: 0.8 + prompt long blue hair

由于这次图片较大,PIL合并失败了,我也是跑完才看到报错,连忙去改了参数。故没有合并的图。


下载:

链接:https://pan.baidu.com/s/1ShSbqnpX2MSXHSxkSXqB-Q?pwd=q7ww 

提取码:q7ww 

秒传:0e8c11e739e98b8d7465a53f0739ecf3#3363034157#dir.zip




小弟水平不佳,本次测试仅供娱乐,选取样本少,tag 描述低,理解不到位。若有错误和建议可在评论区讨论。

【AI 绘画】多lora融合权重的选择的评论 (共 条)

分享到微博请遵守国家法律