欢迎光临散文网 会员登陆 & 注册

赞,Controlnet 1.1.222添加了一个新的修复预处理器:inpaint_only+lama 更强

2023-06-11 11:53 作者:大华说AI  | 我要投稿

文章来源 https://github.com/Mikubill/sd-webui-controlnet/discussions/1597

翻译整理:大华说AI

controlNet 1.1.222添加了一个新的修复预处理器:inpaint_only+lama

LaMa:使用傅立叶卷积(Apache-2.0 许可证)
进行分辨率稳健的大掩膜修复 Roman Suvorov、Elizaveta Logacheva、Anton Mashikhin、Anastasia Remizova、Arsenii Ashukha、Aleksei Silvestrov、Naejin Kong、Harshith Goka、Kiwoong Park、Victor Lempitsky(三星研究院和洛桑联邦理工学院)

“inpaint_only+lama”的基本思路是受到Automaic1111的upscaler设计的启发:使用一些其他的神经网络(比如超分辨率GANs)来处理图像,然后使用Stable Diffusion来细化和生成最终图像。

我们将类似的想法带到了 inpaint 中。当您使用新的inpaint_only+lama预处理器时,您的图像将首先使用模型LAMA进行处理,然后 lama 图像将由您的 vae 编码并混合到 Stable Diffusion 的初始噪声以指导生成。

inpaint_only+lama的结果通常看起来与inpaint_only相似,但更“干净”一点不那么复杂,更一致,随机对象更少。这使得inpaint_only+lama适用于图像重绘或对象移除。

比较

配置

(调整模式“调整大小和填充”启用涂色)
结果:
inpaint_only

(9 个非精心挑选的原始输出)

inpaint_only+lama

(9 个非 cherry-picked 原始输出)

你可以看到inpaint_only+lama比inpaint_only更“干净”一点(也更健壮一点)。

您至少需要1.1.222才能使用此功能。


赞,Controlnet 1.1.222添加了一个新的修复预处理器:inpaint_only+lama 更强的评论 (共 条)

分享到微博请遵守国家法律