欢迎光临散文网 会员登陆 & 注册

【玩转SD】深度讲解SDXL Base+Refiner完整流程(Comfyui)文档

2023-07-28 23:48 作者:小志Jason  | 我要投稿

大家好,我是小志Jason。一个探索Latent Space的程序员。

今天来深入讲解一下SDXL的工作流,顺便说一下SDXL和过去的SD流程有什么区别

 


官方在discord上chatbot测试的数据,文生图觉得SDXL 1.0 Base+Refiner比较好的有26.2占最多,比SDXL 1.0 Base Only 多出4%左右

 

Comfyui工作流:

Base only

Base + Refiner

Base + lora + Refiner

 

SD1.x, SD2.x, Base only

Conditioning(Text,Image)->Latent Space(Unet)->VAE Decoder->Pixel Image

 

Comfyui Base Only Workflow

 

Sample:

 

SDXL完整出图流程 Base+refiner

Conditioning(Text,Image)->Latent Space(Base)->Latent Space(Refiner)->VAE Decoder->Pixel Image

 

Comfyui Base(65%~80%) + Refiner(35%~20%) Workflow

Sample:

SDXL 1.0 Base +offset lora(0.4~0.6) + refiner

Conditioning(Text,Image)->Latent Space(Base+lora)->Latent Space(Refiner)->VAE Decoder->Pixel Image

 

Sample:


 Compare:

演示工作流:

链接:https://pan.baidu.com/s/1nOMTQHIADV6D0ObaqV4grA

提取码:7bo9

 

SDXL 1.0工具介绍

ComfyUI 官方推荐

优点:更灵活的自定义流程,优化代码架构,占用更少的资源

缺点:上手有一定门槛

https://github.com/comfyanonymous/ComfyUI

 

StableSwarmUI SD官方webui 目前Alpha版本, comfyui底层

优点:官方维护,支援多显卡出图

缺点:还在测试阶段

https://github.com/Stability-AI/StableSwarmUI

 

InvokeAI 3.0

优点:支持节点式流程,更简单易用,以使用者体验出发

缺点:新技术迭代较慢

https://github.com/invoke-ai/InvokeAI

 

SD.Next

优点:和Automatic1111类似的界面,重构了底层逻辑,更好的兼容SDXL

缺点:框架较新,用户不多

https://github.com/vladmandic/automatic

 

Automatic1111 Web UI

https://github.com/AUTOMATIC1111/stable-diffusion-webui

优点:使用者众多,新技术能比较快的出新插件

缺点:占用资源较多,暂时只支援Base only出图然后使用refiner模型进行img2img 流程

 

A1111只支援Base模型出图和用Comfyui Base only出图基本一致

 

Reference:

stable-diffusion-sdxl-1-announcement

https://stability.ai/blog/stable-diffusion-sdxl-1-announcement

 

SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis

https://arxiv.org/pdf/2307.01952.pdf

 

High-Resolution Image Synthesis with Latent Diffusion Models

https://arxiv.org/pdf/2112.10752.pdf


欢迎点赞投币转发加群

群号:866612947

验证:小志Jason

 

 


【玩转SD】深度讲解SDXL Base+Refiner完整流程(Comfyui)文档的评论 (共 条)

分享到微博请遵守国家法律