【AI 绘画】多lora融合权重的选择
本文探究在chilloutmix + koreanDollLikeness\Japan Doll Likeness\Girls' Frontline-OTs-14"lightning"\St. Louis (Luxurious Wheels) (Azur Lane)
等多lora融合使用时,如何搭配各lora的权重能获得最好的效果。
小弟水平不佳,本次测试仅供娱乐,选取样本少,tag 描述低,理解不到位。若有错误和建议可在评论区讨论。
1 参数
prompt:
8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.37),1girl,(Kpop idol), (aegyo sal:1),hair ornament, portrait, (long loose silver revealing dress:1.1), necklace, blue nails,cute,cityscape, night, rain, wet, professional lighting, photon mapping, radiosity, physically-based rendering,(indoors),st.louis,azur lane,luxurious wheels,
Negative prompt:
EasyNegative, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans,extra fingers,fewer fingers,
Steps: 28, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 839442842, Size: 512x768, Model hash: fc2511737a, Denoising strength: 0.5, Clip skip: 2, ENSD: 31337, Hires upscale: 1.75, Hires steps: 20, Hires upscaler: Latent (antialiased),
AddNet Enabled: True,
AddNet Module 1: LoRA, AddNet Model 1: stLouisLuxuriousWheels_v1(034b97419349), AddNet Weight A 1: 【】, AddNet Weight B 1: 【】
AddNet Module 2: LoRA, AddNet Model 2: koreanDollLikeness_v10(e2e472c06607),
AddNet Weight A 2: 【】, AddNet Weight B 2: 【】
【】中代表权重0-1.2,每0.1为一步
同时本文所有照片均使用Hires.fix进行放大,参数为Denoising strength: 0.5, Hires upscale: 1.75, Hires steps: 20, Hires upscaler: Latent (antialiased),
tag出处
https://civitai.com/gallery/104288?reviewId=14018&infinite=false&returnUrl=%2Fgallery%2F104288%3FreviewId%3D14018%26infinite%3Dfalse%26returnUrl%3D%252Fmodels%252F6669%252Fst-louis-luxurious-wheels-azur-lane,略有改进。

以下默认lora1为St.Louis (Luxurious Wheels) (Azur Lane),lora2为koreanDollLikeness
在双lora的场景下,lora1为St.Louis (Luxurious Wheels) (Azur Lane),lora2为koreanDollLikeness。
为保证出图带有明显的St.Louis元素,请使lora1权重为0.8-1(也可以超过1),lora2权重为0.3-0.7(甚至可以为负数)
在更多的lora当中,请确保遵循中心原则,确保中心lora为高权重,其余的lora权重可层阶梯递减,也可都是相同的小权重。
如(lora1:1,lora2:0.6,lora3:0.5)(lora1:1,lora2:0.4,lora3:0.4)
如面部细节不好,可开启面部修复或使用Hires.fix。或拉高其他的lora并在prompt中填写中心角色特征相对应的tag。
同时,该规律可推广到其他不同训练的lora模型中。
示例:


lora1 Weight: 1.1 lora2 Weight: 0.4




lora1 Weight: 0.2 lora2 Weight: 0.5

lora1 Weight: 0.2 lora2 Weight: 0.8
注意此时的衣服已经不是St. Louis的了,同时 也不能正确识别该prompt(long loose silver revealing dress:1.1)

lora1 Weight: 0.6 lora2 Weight: 1.2
与上文lora1 Weight: 1.2 lora2 Weight: 0.6 对比崩坏明显

即使是lora1的权重达到了1.2也无法压过lora2 0.8,可以明显的看出头发变白了。
在prompt列表中加上long blue hair的词条,头发逐渐变蓝。

lora1 Weight: 1.2 lora2 Weight: 0.8 + prompt long blue hair
由于这次图片较大,PIL合并失败了,我也是跑完才看到报错,连忙去改了参数。故没有合并的图。
下载:
链接:https://pan.baidu.com/s/1ShSbqnpX2MSXHSxkSXqB-Q?pwd=q7ww
提取码:q7ww
秒传:0e8c11e739e98b8d7465a53f0739ecf3#3363034157#dir.zip
小弟水平不佳,本次测试仅供娱乐,选取样本少,tag 描述低,理解不到位。若有错误和建议可在评论区讨论。