【专业向节点AI】SD ComfyUI大冒险-基础篇 02推演变体 图生图

专业向节点AI:SD ComfyUI大冒险-基础篇 02推演变体 图生图
嗨,冒险者。在上一个视频中,我们了解了最基础的文生图框架。简单概括一下,就是将我们当前的模型数据输入到采样器中,并为它添加我们的正向和反向的限制条件,计算到我们当前一个空的画布上,最终产生我们当前的图像。然后对于这样一个逻辑,同样适用于今天我们所研究的图生图。
图生图节点的加载和画布的定义
在这里,我们可以先载入当前的图生图的一个节点。其中最大的区别在于我们当前对于画布这个概念的定义。在我们之前的文生图框架中,为了保证当前语言文字对于生成结果的主导性,所以我们的计算结果是从一个空的画布上进行计算的。
然而,从空画布开始并不能解决我们所有对于AI计算的需求。所以在这个时候,我们除了可以使用空画布,也可以将我们的图像转换成一个画布的latent数据,输入到一个采样器中去。
图像到latent数据的转换和采样器计算
具体方式就是首先我们要将图像输入进来,在这里使用我们为布兰德专门开发的一个更好的输入图像节点。然后,我们的输入图像节点所输出的是图像数据。这个东西连接我们的latent肯定是数据不匹配的。我们需要将图像数据转换成前空间的latent数据。在这儿直接找到我们一个前空间,可以看到其中有个东西叫做VAE编码。
VAE编码的一个作用就是将像素信息转换成latent数据,然后给到我们的采样器。当然了,在这儿需要注意,我们需要为它连接我们的变分模型。将像素和变分模型进行处理之后,转换成latent的。这个时候,我们的采样器就可以像我们之前连接空画布一样,将我们现有的一个数据进行计算。
然后,我们可以给到一张图像。对于这张图像来说,可以看到它通过我们的节点转换成了我们的一个画布。然后这个时候我们的采样器就会在它的基础上进行计算。

生成图像的变化和造波强度的影响
点击执行节点,计算结束之后,在没有任何其他处理的情况下,我们默认会获得一个和我们输入图像同尺寸的生成图像。对于生成的AI图像,因为是在一个具有一定像素排列的基础上进行生成的,所以它们会保持一定的相似度。
然后这个时候有人可能会想,如何让它的相似性更高一些呢?在这儿,我们可以看到其中有个参数叫做降噪。首先对降噪这个参数,如果我将这个数值从默认值一调到一个较小的数值,比如说给到一个0.5,那么此时我们再进行AI计算。在这里我们可以看一下最终的输出结果,它就会更加趋近于我们当前的原始输入图像。
采样器的处理操作和造波的概念
在这里,对于我们这个AI图像生成一个很重要的概念,就是我们能够产生多大的改变,取决于我们当前造波的一个状态。如果你希望它有较大的一个改变的话,那么这个时候可以来到一个较大的值。那么此时我们就可以来点# 专业向节点AI:SD ComfyUI大冒险-基础篇 02推演变体 图生图
嗨,冒险者。在上一个视频中,我们了解了最基础的文生图框架。简单概括,我们将当前的模型数据输入到采样器中,并为其添加正向和反向的限制条件,然后在一个空的画布上进行计算,最终生成图像。这样的逻辑同样适用于今天我们所研究的图形图。
图生图节点的加载和画布的定义
首先,我们可以载入当前的图生图节点。其主要区别在于我们对画布这个概念的定义。在之前的文生图框架中,为了保证当前语言文字对生成结果的主导性,我们的计算结果是从一个空的画布上进行计算的。
然而,从空画布开始并不能满足所有的AI计算需求。因此,除了使用空画布,我们还可以将图像转换成画布的latent数据,然后输入到采样器中。
图像到latent数据的转换和采样器计算
具体方法是,首先将图像输入,我们在这里使用了为布兰德专门开发的一个优化的输入图像节点。然后,输入图像节点输出的是图像数据。这个数据无法直接连接到我们的latent,因为它们数据不匹配。因此,我们需要将图像数据转换成前空间的latent数据。在这里,我们可以找到一个名为VAE编码的工具。
VAE编码的作用是将像素信息转换成latent数据,然后输入到我们的采样器。此外,我们需要为它连接我们的变分模型。将像素和变分模型处理后,数据会转换成latent。这时,我们的采样器就可以像之前连接空画布一样,进行数据计算。
然后,我们可以输入一张图像。这张图像经过我们的节点转换后,变成了我们的画布。然后采样器会在其基础上进行计算。
生成图像的变化和降噪的影响
点击执行节点,计算结束后,在没有任何其他处理的情况下,我们会默认获得一个与输入图像同尺寸的生成图像。对于这样生成的AI图像,因为它是在具有一定像素排列的基础上生成的,所以会保持一定的相似度。
那么如何提高其相似性呢?在这里,我们可以调整一个叫做降噪的参数。如果我们将这个数值从默认的1调至较小的数值,比如0.5,然后再进行AI计算。最终的输出结果会更加趋近于我们的原始输入图像。
采样器的处理操作和造波的概念
在这里,对于AI图像生成有一个重要的概念,那就是我们能够产生多大的改变取决于我们当前造波的状态。如果你希望有较大的改变,那么这个时候可以设置一个较大的值。然后,我们就可以进行计算。
造波强度的调整和图像的变化
当我们将造波强度调整为较大的值时,我们可以看到,输入图像在经过处理后,生成的图像与原始输入图像的差异会增大。这就是因为我们增大了造波强度,也就是增大了生成图像的变化范围。
采样器的反馈和图像的输出
然后是采样器的反馈。我们可以看到,采样器的反馈结果是一张生成的图像。这张图像是在原始输入图像的基础上,通过我们的变体-采样器进行处理后生成的。
ComfyUI和WEBUI的应用
在实际操作中,我们可以通过ComfyUI和WEBUI进行交互操作,这样可以更直观地看到操作的结果和效果。例如,我们可以通过滑动条来调整参数,看到参数变化对结果的影响。
结论
总的来说,通过这个过程,我们可以看到如何将一个图像通过我们的节点和采样器,转化为我们需要的样式。同时,我们也可以调整参数,控制生成图像的变化范围。希望这个过程可以帮助你更好地理解和使用这些工具。
在接下来的视频中,我们将继续探索更多有趣的内容。希望你能继续和我们一起,探索更多的AI冒险。谢谢你的观看和支持,我们下期再见!