【专业向节点AI】SD ComfyUI大冒险-05ControlNET进阶-概述

亲爱的冒险者,从这个视频开始,我们就要来学习对当前AI生成至关重要的技术,ControlNet(控制网络)。

简单来说,我们使用AI是因为我们想得到一个让自己满意的生成结果。所以我们需要添加控制手段,让AI生成的结果朝着我们想要的方向进行。

除了以上方法之外,在生活中还有更多描述我们想要东西的方式。也就是说,我们最终生成的条件可以来自其他方向。

比如,像我们的姿势,描述一个什么样的姿势;或者一些线稿,我的线这样画,里面你帮我填色;又或者是一些深度、法相之类的信息。

总而言之,在当前的AI处理流程中,我们希望引入更多类型的条件来控制最终的生成结果。

ControlNet 技术就此应运而生,我们可以用它来实现引入更多条件类型,以对整个 AI 流程进行更精确的控制。

ControlNet 的使用非常简单。我们只需找到 ControlNet 的主节点,把它添加到提示词或采样器中即可。

ControlNet 节点处理条件后再传给处理器。很明显,ControlNet 的作用是将更多条件引入整个处理流程。因此我们可以看到它下方有两个接口来输入相关条件内容。

这里我们做一个简单示范。比如我们希望通过一张线稿来控制最终的生成结果。可以先导入图像,找到一张线稿,连接到 ControlNet 应用中;然后根据图像加载配套的 ControlNet 模型。在这里找到加载器,ControlNet 加载器,点击。如果装的是整合包,ControlNet 模型一应俱全。根据情况选择一个加载器,连接到处理节点上。

此时原有结构中介入了线稿条件的影响。对于线稿图像,需要连接能处理线稿的 ControlNet 模型。如果直接生成,可以看到由于外部条件的介入,使用了线稿方式控制,最终生成效果与线稿极为相似。所以,我们实现了通过图像和配套模型输入条件,控制最终输出的方法。

ControlNet 还有一个额外知识点,即 CTR 预处理器。 不同类型的模型对输入图像有不同需求。但我们不总是有处理好的线稿或其他图像。对于普通图像,我们该如何处理成匹配模型的图像呢?所以,需要根据模型选择合适的预处理器。 如果不知道该选哪个,可以查看手册。

比如使用的模型适用于模糊线预处理器,我们就新建一个预处理器,找到边缘线,选择模糊线(后续会详细介绍)。把它连接到图像上,为了预览结果,找到 Blender 中的预览连接上。点击运行节点,我们就能得到处理后的图像。由于选择了匹配的 ControlNet 模型,它可以作用于当前图像,从而实现所需的控制。

以上是 ControlNet 的处理流程介绍,以及对其基本结构的示范,希望对你有帮助。