【AI绘画】利用LoRA分层控制高效且有目的地融合画风

Lora融合画风
1. 确定画风起点:画风基础模型,可以是现成画风lora模型或从大模型中提取lora,调试lora模型融合比大模型方便得多
2. 模型a选择需要的画风大模型,模型b选择之后准备调试的基础模型,维度可默认128,再点击提取lora
3. 对lora降维:选择需要的lora模型与目标维度,合并lora即可,也可对lora整体或部分层的权重进行编辑:{lora名称}:{lora整体强度}:{lora分层强度},<第二个lora>....
4. lora融合:
(1)维度越小的lora对目标还原能力越差,但也可使崩坏降低
(2) 部分lora对构图影响较大,可以分层控制权重,例如只保留对面部的权重,再调整不同强度
(3) 融合完成后,检查肢体崩坏情况,若崩坏严重,可使用hipoly3D lora进行修复(强度偏低,作用于脸部之外的区域)
(4) Lora偏多后,为避免运算缓慢,可先将lora合并进大模型。将目前所有lora连同参数复制到supermerger输入栏内,再只保留lora名称与强度/各层强度,各个lora之间只用一个半角逗号隔开,例:<lora:chilloutmix_32:0.8>,<lora:beautifulDetailedEyes_v10:0.5:face>→chilloutmix_32:0.8,beautifulDetailedEyes_v10:0.5:face
然后选择刚刚调试时使用的大模型,点击merge loras即可。并入后在左上角刷新模型即可选择并入的模型
(5)若想将多个lora合并成一个lora,并已经调试完毕,则不要使用supermerge的合并功能,应先将lora合并进大模型,再减去基本模型提取lora才可使效果一致