欢迎光临散文网 会员登陆 & 注册

SDXLMixSampler 1.1

2023-07-31 01:22 作者:小志Jason  | 我要投稿

大家好,我是小志Jason。一个探索Latent Space的程序员。

之前0.9的时候出了一个SDXLMixSampler,现在更新一下功能。


前文:【玩转SD】自制节点介绍SDXLMixSampler LatentByRatio

https://www.bilibili.com/read/cv25107377


首先解释一下什么是loop,loop就是base+refiner共同跑完一次的结果,为止一次loop,

多重混合节点的目的是让base+refiner跑完一次后,先不输出结果,把第一次的结果作为下一个loop的latent image再跑一次base+refiner,来实现多次base+refiner的图片。


这次主要更新的是把之前的total_steps改成了loop,不用自己算了,背后直接mix_steps*loop=total_steps。

兼容一次输出多个loop的结果,但是由于每个loop的leftover_noise和结算步数都不一样,所以不能简单的输出每次循环的latent image,背后需要每个循环都自己跑一次,所以出图会比较慢。

所以默认的是final_only:yes,只输出最后那个loop的结果,如果final_only:no,那就输出每次循环的结果:

loop 1
loop 2
loop 3
loop 4
loop 5

C站地址:

https://civitai.com/models/108594/sdxlmixsampler-comfyui-jnode-workflow-included


PS碎碎念:

经过询问和交流,感觉现在SDXL的lora还有微调都是不完善的。

SDXL的架构是base+refiner等于完整输出,而目前无论是lora还是微调,都集中在base模型那里,问题在于无论是lora还是微调,使用原来的refiner去添加细节,都会影响到lora和微调的训练出来的特征,让训练的效果减弱。

所以现在的微调和lora不得不减少refiner的作用来保留训练的特征,这种做法我觉得是有违SDXL的架构的,如果想使用SDXL的架构来达到最好的效果,就需要有对应的refiner训练。

比如base+base lora->refiner+refiner lora,fine tune base->fine tune refiner,这样的流程来确保base和refiner都能向训练的特征偏移,才能实现最好的结果。


欢迎点赞投币转发加群

群号:866612947

验证:小志Jason


SDXLMixSampler 1.1的评论 (共 条)

分享到微博请遵守国家法律