欢迎光临散文网 会员登陆 & 注册

【玩转SD】自制节点介绍SDXLMixSampler LatentByRatio

2023-07-18 17:26 作者:小志Jason  | 我要投稿

大家好,我是小志Jason,一位正在探索AI领域的程序员。


自从SDXL 0.9重新拿起comfyui使用后,比起一开始的模模糊糊学会怎么用,终于有了更多的进步,学会了如何写自制节点,如何保存模板。之前的第一个自制的混合节点还没写专栏,那就在这里一并介绍。


首先是SDXLMixSampler,我称之为多重混合采样器,它的主要作用是可以在一个取样器节点里完成SDXL base+refiner的取样工作,由原来的2个取样器节点简化成一个。这是它名字里面的“混合”的作用。

其次,多重指的是经过base+refiner一轮(loop)的取样后,可以通过总步数(total_steps),来让该节点重复进行base+refiner的多轮取样,每轮取样总步数由混合步数(mix_steps)决定,每轮步数中,基础模型步数由基础步数百分比(base_steps_percentage)决定。

最后输出一个latent_image再进行解码。如下图:

经过多轮采样后,可以产生同一副图的不同变体,有时候能帮助SDXL产出更好的文字效果(也有可能更差)

例图:

text "HYDRA"

左边的是多轮采样的,右边的是普通的base+refiner。

total_steps: 20
total_steps: 40
total_steps: 60
total_steps: 80
total_steps: 200

上面的提示词是克总破坏东京,经过多轮采样后,同样的提示词种子cfg等参数,但是周围的建筑由古代变成了现代,特别有趣。


这就是我第一个自制的节点,多重混合采样器。


第二个节点是LatentByRatio,中文大概可以叫长宽比画布?

这个节点主要的左右是提供一个基于模型基础大小,进行比例拉伸的潜空间。主要是在SD1.5里面就记住了512,768,放到SDXL里面好像不太好用,而且长宽比那么多,脑子不应该用来记这些东西。一开始我还想着选完后输出长和宽,然后连接到EmptyLatentSpace,后来一想,我直接出latent不就完了,为什么还要额外连别的节点,所以最后选完就直接出latent,用更少的节点去做更多的事。

最好把所有的节点都整合起来,节点越少越好。操作如下图:


基于SDXLMixSampler和LatentByRatio,我也试了一下Comfyui图生图(风格偏移)和高清化的流程,把它们都整合起来,大概如下:

第一个部分是文生图,生成一张画,然后把latent作为图生图的输入,通过不同风格的prompt,基于文生图的latent进行高强度降噪,产生一张真实照片风格的图,再把真实风格的latent进行一个高清化。

高清化的图太大了,放不上来,

https://civitai.com/images/1610170?modelVersionId=120216&prioritizedUserIds=2676&period=AllTime&sort=Most+Reactions&limit=20


其实我觉得comfyui真的很不错,特别是分享工作流这一下,搞好了其实比webui更容易上手,就是目前的基础建设不太足,很多时候新手上来就要先把一大堆概念搞懂,才能开始玩。我之后的方向应该会主要放在这方面,让更多的人能更好更容易的使用comfyui。

用更少的节点做更多的事,让更多的人更省心省力。


欢迎各位点赞,投币,关注,转发,我才有动力去做更多的后续。


节点+工作流

链接:https://pan.baidu.com/s/1XG3D9WOfPfHfJphSDYUy2A 

提取码:uozc 


C站链接:

https://civitai.com/models/111435?modelVersionId=120216

C站账号:xiaozhijason

欢迎加群讨论AI相关的话题,遇到问题有能力的我会尽量解答

验证:小志Jason 


【玩转SD】自制节点介绍SDXLMixSampler LatentByRatio的评论 (共 条)

分享到微博请遵守国家法律