【玩转SD】深度讲解SDXL Base+Refiner完整流程(Comfyui)文档

大家好,我是小志Jason。一个探索Latent Space的程序员。
今天来深入讲解一下SDXL的工作流,顺便说一下SDXL和过去的SD流程有什么区别

官方在discord上chatbot测试的数据,文生图觉得SDXL 1.0 Base+Refiner比较好的有26.2占最多,比SDXL 1.0 Base Only 多出4%左右
Comfyui工作流:
Base only
Base + Refiner
Base + lora + Refiner
SD1.x, SD2.x, Base only
Conditioning(Text,Image)->Latent Space(Unet)->VAE Decoder->Pixel Image

Comfyui Base Only Workflow

Sample:

SDXL完整出图流程 Base+refiner
Conditioning(Text,Image)->Latent Space(Base)->Latent Space(Refiner)->VAE Decoder->Pixel Image

Comfyui Base(65%~80%) + Refiner(35%~20%) Workflow

Sample:

SDXL 1.0 Base +offset lora(0.4~0.6) + refiner
Conditioning(Text,Image)->Latent Space(Base+lora)->Latent Space(Refiner)->VAE Decoder->Pixel Image

Sample:

Compare:

演示工作流:
链接:https://pan.baidu.com/s/1nOMTQHIADV6D0ObaqV4grA
提取码:7bo9
SDXL 1.0工具介绍
ComfyUI 官方推荐
优点:更灵活的自定义流程,优化代码架构,占用更少的资源
缺点:上手有一定门槛
https://github.com/comfyanonymous/ComfyUI
StableSwarmUI SD官方webui 目前Alpha版本, comfyui底层
优点:官方维护,支援多显卡出图
缺点:还在测试阶段
https://github.com/Stability-AI/StableSwarmUI
InvokeAI 3.0
优点:支持节点式流程,更简单易用,以使用者体验出发
缺点:新技术迭代较慢
https://github.com/invoke-ai/InvokeAI
SD.Next
优点:和Automatic1111类似的界面,重构了底层逻辑,更好的兼容SDXL
缺点:框架较新,用户不多
https://github.com/vladmandic/automatic
Automatic1111 Web UI
https://github.com/AUTOMATIC1111/stable-diffusion-webui
优点:使用者众多,新技术能比较快的出新插件
缺点:占用资源较多,暂时只支援Base only出图然后使用refiner模型进行img2img 流程
A1111只支援Base模型出图和用Comfyui Base only出图基本一致

Reference:
stable-diffusion-sdxl-1-announcement
https://stability.ai/blog/stable-diffusion-sdxl-1-announcement
SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis
https://arxiv.org/pdf/2307.01952.pdf
High-Resolution Image Synthesis with Latent Diffusion Models
https://arxiv.org/pdf/2112.10752.pdf
欢迎点赞投币转发加群
群号:866612947
验证:小志Jason
