赞,Controlnet 1.1.222添加了一个新的修复预处理器:inpaint_only+lama 更强
文章来源 https://github.com/Mikubill/sd-webui-controlnet/discussions/1597
翻译整理:大华说AI
controlNet 1.1.222添加了一个新的修复预处理器:inpaint_only+lama
LaMa:使用傅立叶卷积(Apache-2.0 许可证)
进行分辨率稳健的大掩膜修复 Roman Suvorov、Elizaveta Logacheva、Anton Mashikhin、Anastasia Remizova、Arsenii Ashukha、Aleksei Silvestrov、Naejin Kong、Harshith Goka、Kiwoong Park、Victor Lempitsky(三星研究院和洛桑联邦理工学院)
“inpaint_only+lama”的基本思路是受到Automaic1111的upscaler设计的启发:使用一些其他的神经网络(比如超分辨率GANs)来处理图像,然后使用Stable Diffusion来细化和生成最终图像。
我们将类似的想法带到了 inpaint 中。当您使用新的inpaint_only+lama预处理器时,您的图像将首先使用模型LAMA进行处理,然后 lama 图像将由您的 vae 编码并混合到 Stable Diffusion 的初始噪声以指导生成。
inpaint_only+lama的结果通常看起来与inpaint_only相似,但更“干净”一点:不那么复杂,更一致,随机对象更少。这使得inpaint_only+lama适用于图像重绘或对象移除。
比较

配置



(调整模式“调整大小和填充”启用涂色)
结果:
inpaint_only

(9 个非精心挑选的原始输出)
inpaint_only+lama

(9 个非 cherry-picked 原始输出)
你可以看到inpaint_only+lama比inpaint_only更“干净”一点(也更健壮一点)。
您至少需要1.1.222才能使用此功能。