【专业向节点AI】SD ComfyUI大冒险-基础篇 04数据微调 Lora与超

嗨这里是油酱酱。今天这个视频中我们初步掌握了AI图像的生成技术。无论是所谓的文生图还是我们的图生图，以及相应的提升图像质量的方式。然后随着使用的深入，我们越来越会发现节点式的方式能够让我们很轻松的来到AI处理的一个底层的概念，就是对于我们数据的处理。在当前的框架中，我们知道采样器是我们某一个节点的一个核心，他接受了我们对应的这些数据流。然后这个时候会根据我们提供的大模型以及对应的这样的一个文本信息，或者是我们当前输入的前空间的方式，来产生最终的一个处理结果。在这个视频中之所以又提到之前讲过的内容，是因为我们现在除了去更换我们节点上的这些可换参数。无论是我们的大模型还是我们的文本，也或者是我们当前的前空间数据，我们还可以去加入一些节点，对我们进行传输的数据进行处理。

00:57

然后对于这个处理，我们先从两个比较简单应用的方式入手，分别是我们的Lora以及我们的超网络。

首先让我们最为常用的Lora开始

可以看到，在我们的加载器当中，有一个东西叫做我们的Lora加载器。

载入之后你会发现NOA加载器它的一个主要的处理数据是我们传入的模型数据，以及我们对应的这样的一个语言图像对比预训练的数据。对于处理所产生的结果取决于当前所加载的log模型。这个模型是自带的。如果你有一些其他自己的模型，你可以来到我们对应的设置中找到我们的常用路径。可以看到打开对应的Lora的一个文件夹，将你的模型放入，然后重启blender就可以看到你自己的模型了。

01:40

然后接下来看一下它的节点数的连接方式。首先它需要来接受我们一个模型数据以及对应的预训练数据。然后这个时候处理完成之后，首先模型数据需要直接连接到我们的采样器。然后这个时候我们当前的一个处理过的这样的预训练数据，要直接连到我们的提示词和我们的这个否定词上面。那么在这种情况下，就实现了我们当前一个大模型通过我们的Lora理之后，然后得到的一个最终结果。

02:07

可以看到在在这个时候如果我们启动对应的一个节点的话，可以看到我们这个时候角色类型的的大AR会影响到我们当前的效果，会让它趋近于我们一个这样训练过的一个人物形象。但是很明显的可以看到，我们第一层生成的这个东西，它的强度太大了，导致这个效果有一些过渡了。所以在这的话我们可以降低它的一个强度。比如说给到一个0.6，那么此时再重新的点一下我们的运行节点数，来看一下当前的一个变化。可以看到这个时候我们调整了强度之后，第一层生成的图像就不会出现这样的用力过猛的情况了。

02:41

然后在这个时候，或许我们会发现一个问题，就是对于当前这个节点，它有两组参数。虽然对于这两组参数，它分别是对应的我们当前所输入的两种类型的这样的数据。但是对于他们的控制是否起作用，以及控制产生的结果是否能够最终达到一致，完全取决于你模型本身的一个训练方式。比如说可以看到你最终训练出来的lora作用于当前的一个这样的大模型的一个模型数据，然后以及作用于对应的一个文本的这样的一个数据，他们是不一样的。那么这个时候，你这两个参数调整，它肯定会有一定的差异。但是如果你使用了一些，比如说像传统的dream booth这种方式，他们这两个数值是一样的。所以在这个时候，你无论调哪个，他们其实的效果都是这样，没有特别大的差异的。

03:25

再加上很多时候作者并不会标记自己这样的一个训练的方式，以及最终产生的训练结果。所以通常情况下吧，我们可以看到像外部UI，它会将这个参数进行一个合并？来产生最后一个效果。不过在今天我们既然知道这个事情，就可以来尝试着做一个东西。来分析一下你的Lora是否是采用了对应的这样的一个不同学习力的一个训练方式来产生的。

03:48

在这的话我们可以先将我们的节点数弄短一点？比如说我们就从这儿进行切断，按着control然后划右键直接把它切了。直接把我们的这个图像预览连接到当前这个上面来。然后在这的话我可以先简单跑一下，看一下当前这个效果能否产生。可以看到我们当前就能够产生一个这样的快速预览的节点了。可以把它离得稍微近点。然后接下来我们就需要来做一下对比效果。在这里可以直接shift加D复制一份儿，然后再往上方再复制一份是吧。

04:16

那么对于他们来说，我们可以先简单的连接一下它的模型的一个数据。首先连上我们的模型，再连上我们的这样的一个CRIP，然后上方的这个也是一致，然后连上我们的模型，然后连上我们的这样的一个CRIP，然后连接完成之后，此时我们要做的是什么呢？就是只改动我们当前loa上的数值。第一个我们将两个参数都设置成0，对于我们的第二支，我们可以把它设置成一个一，然后另外一个是零，然后另外一个我们就把这个数值换一下。第一个是我们的陵，然后第二个是我们的一。然后设置完成之后，这个时候我们直接点击一下我们当前的运行节点数。

04:55

然后这个时候通过对比图像就可以看出，当前的一个lora主要能够引起变化的参数就在于我们第一个对于主模型强度的影响。但是就和刚才所讲的一样，它们之间的一个效果取决于模型本身的一个素质。在这块如果我们切换成另外一个小李所提供的这样一个law a的话，我们重新的把它们进行一个这样的节点数运行。然后这个时候你就可以看到当前Lora产生一个主要影响的参数是来自于CRP了。所以在这个时候如果你获得到了一个没有用过的大A你可以使用这种方式来去分辨一下，究竟是哪个参数能够对于当前的一个效果产生较大的影响。当然了，如果你嫌麻烦的话，可以直接同步的控制两个参数，把它们设置成同样的数值，进行一个统一控制，也是一个比较不错的选择。

05:43

然后接下来对于Lora来说，它还允许我们进行一个组合使用。在这的话可以找到我们一个基础的一个文生图框架。然后此时我们来加入我们的一个Lora的节点，将我们的数据进行一个连接。然后将我们当前的Lora的这个数据可以先连到我们当前的一个文本编码器上。在这种情况下，我们就可以看到刚才我们所搭建出的一个基本框架，就是我们的大模型所传递出的这两种数据。然后经过Lora的干涉，最终产生了我们一个最终效果的影响。

06:15

在这个过程中，我们还可以来添加一个Lora，让它进行一个共同影响。在之后我们来创建一下当前的这个Lora，直接到我们当前节点上将对应的数据这样联通？然后注意一下当前的处理顺序，可以看到当前我们这个大模型所传递出的这些数据，经过了两个Lora的影响产生的一个效果。

在这一块我们可以区分一下，增加另外一个Lora。然后此时点击一下我们运行节点数，看一下两个lw共同处理下的模型是一个什么样的样式。然后这个时候如果你觉得效果不够好的话，那么此时可以调整一下对应两个lora参数。比如说我们可以先将疾风之后的效果削弱削成0.6，可以看一下当前的效果。也可以来考虑提升一下另外一个Lora的一个强度是吧？

06:59

刚才我们也测试过了，知道CARP的强度对当前的一个柔软影响较大，我们可以将这个数值，比如说给到一个三，然后这个时候重新计算一下，可以看到在这个时候一个综合效果的影响，然后让我们产生了一个最终样式的一个变化。然后在这如果你想提高图像的一个精细度，可以像我们之前一样，将 我们一个这样的图像的超分修复，然后进行一个追加。追加完成之后，将我们当前的采样一连。那么此时直接点击一下我们的运行节点数，可以看到此时我们就会得到一个具备更加细节，同时尺寸更大的这样的一个图像了。

07:33

看了Lora的方式之后，在这儿话

有一个和它比较相似的方式，就是对应的这样的一个超网络。

对他来说可以看到它的输入数据和输出数据只有一种。所以在这的话，我们只需要这样把它连入，就会产生一个最终的效果。然后在这块为了对比它的一个效果，我们可以先将当前的这样的一个节点数进行一个复制。然后其中这个我们将它进行移除，然后直接性的进行连接。然后这个时候连一下我当前的一个CRIP。然后连接完成之后，相当于是我们下方这个是没有这样的一个超网络，上方是有的。我们点击一下运行节点数，对他们进行一个对比，可以看到在其他参数完全相同的情况下，这个时候我们上方的分支因为添加了这样的一个超网络，所以它就会获取我们当前超网络处理之后的这样的一个效果，作用到最终的一个图像上。

08:25

然后在这的话我们也可以把它开的稍微小一点。比如说给到一个0.3，可以看到当前这样的一个能够产生这样线条的一个超网络能够带来的影响。即使我们将它的强度调小，依旧能够看到它为我们最终图像所带来的一个特征化的改变，让它产生了一个这样更加硬朗的线条。

08:45

然后现在我们知道另外一种可以影响我们模型最终处理的效果的一个方式，就是使用我们的超网络。在这里也就意味着我们现在可以对它进行一个混合使用。比如说在前面我们先加上我们一个这样的lora，然后这个时候我们先将这个数据简单的连接一下，然后这个时候将low的强度还是调低一点。比如说给到一个0.6，这个时候点击一下运行节点数，看一下当前的效果。可以看到此时我们就会获得一个捞大模型所给到的人物特征，以及当前的一个超网络。我们使用到的是一个线条特征的一个效果？它们共同作用下产生了我们当前这样的一个图像。

09:23

然后这个时候，对于这张图像，如果你希望它变得更大的话，可以使用我们之前的一个超分修复，然后对它进行一个节点追加。这个在之前我们讲过，我们只需要将当前的一个前空间连到采样上去，然后直接继续点击我们一个运行节点数。它就会从当前我们已经算过的这个数据往后进行一个中继计算。然后计算完成之后，就会看到我们会获得一个这样的图像。那么对于它，如果你也想对它进行调整的话，在这的话像我们之前一样，可以对它这样的一个数据进行处理。无论是我们的Lora还是我们当前的一个超网络。在这块我们使用超网络，比如说我们希望它的一个效果，比如说给到一个0.58，同时对它进行一个重新性的计算。然后计算完成之后，就可以看到当前这样的一个超网络对于图像的一个影响。

10:08

然后在这的话，如果你不希望嘴是这样张开的，同时露出了牙齿的话，可以改变一下当前的一个提示词。然后在这的话，可以看到我们这里面是有对应的牙齿的，可以把它这样删除。把其中的这个张开嘴，open mouse, 然后改成close mouth，就是把我们的嘴闭上，然后这个时候重新点击一下我们的运行节点数，可以看到此时我们得到的图像，其中的嘴就这样闭上，也不会露出我们的牙齿了。

10:35

然后以上便是我们今天使用Lauren和超网格对于图像最终效果产生影响的一个方法。对，他们不要忘记要灵活使用是吧？在什么位置需要处理的话，就把它填上去，就可以产生这样的一个效果了。然后以上就是今天的主要内容，希望他能够对你有所帮助。