stable diffusion文生图教学-----超现实主义

 开始这个教学之前，你需要先准备安装好教学需要的插件，和大模型：

需要的插件：

Tiled Diffusion，

controlnet最新版，

ADetailer（不是必须），

inpaint only+lama（controlnet的一个预处理器，不是必须，但是这个预处理器非常强大，强烈建议都装上）

需要的大模型：

GhostMix_V2.0

XXMix_9realistic_v4.0

这个教学主要是绘画流程，所以插件的安装我就不详细说了，别的博主说得很多很详细了

教学的重点：

1.tile+Tiled Diffusion的应用，tile总是会加入奇怪的细节让图像显得混乱，而Tiled Diffusion中的MultiDiffusion方案总是倾向于平滑图片，让图片变得扁平缺乏立体感细节，这两者结合起来可以在增加细节的同时保证图片干净整洁.。

2.文生图模式下添加细节的方法。

3.时间成本增加在可以接受范围内混合了tile+Tiled Diffusion的sd脚本放大模式。

第一步：写咒语

这次我打算出一张带有分型艺术的超现实画风图，

使用的大模型是漫画类的GhostMix_V2.0，这个模型对于分型艺术有很高的表现力

起手式以真实照片质感为主：

(photorealistic:1.3),((masterpiece:1.2),(best quality:1.2),RAW photo,dlsr),

（照片真实感：1.3）、（杰作：1.2）、（最佳质量：1.2），原始照片，dlsr），

( HDR,UHD,8K, Highly detailed, ultra-fine painting, sharp focus, physically-based rendering, extreme detail description, Professional, Vivid Colors),

（HDR、超高清、8K、高细节、超细绘画、清晰聚焦、基于物理的渲染、极端细节描述、专业、生动色彩），

然后加入图像具体描述：

studio soft light,(1girl:1.3),(fractal art:1.3),solo,

工作室柔光，（1女孩：1.3），（分形艺术：1.3）个人，

(extremely complex background:1.4)

（极其复杂的背景：1.4）

,cowboy shot,studio soft light,(upper body:1)

，牛仔镜头，摄影棚柔光，（上身：1）

最后加入反向控制：

blush,illustration,3d,sepia,painting,cartoons,sketch,(worst quality:2),(low quality:2),(normal quality:2),bad-hands-5,(EasyNegative),(bad-hands-5:0.8),Bad anatomy,(NSFW:1.4),blush

腮红，插图，3d，深褐色，绘画，卡通，素描，（最差质量：2），（低质量：2个），（正常质量：2次），坏习惯-5，（EasyNegative），（坏习惯-5:0.8），坏解剖，（NSFW:1.4），腮红

设置分辨率为：768x1024，设置采样：DPM++ 2M Karras 推导步数：30步

注意：关于分辨率，如果你的显卡是3080以下不要一开始就设置太大的分辨率，512x768也可以，低分辨率手和脸虽然有可能会崩，后期修复就好了（有机会我另外出一期手和脸的修复教程），初稿阶段效率是第一位的，也不建议你开高清修复，后期修复会更有效率。关于采样器的设置，我一般人像用DPM++ 2M Karras，这个采样器对肤色还原比较好，但是30步以上效果不明显，想节约时间的话20步也可以接受。

直接出图：

接下来是补充步骤，这个步骤不是必须的，如果你觉得麻烦可以跳过

把图片发送到图生图进行一次扩图

如图设置，采样器不变，缩放模式选择：缩放后填充空白，分辨率宽度由768改为1280，（这里强烈不建议你一次加太多，扩展的面积越大显存越容易炸，你可以256，一个单位的慢慢加）

打开controlnet：

把文生图生成的图片拖到controlnet里，选择局部重绘，选择预处理器：inpaint+lama 选择控制模式：更偏向 ControlNet ，选择缩放模式：缩放后填充空白

开始跑图~~~~~

好的到这里我们回到文生图界面，我再次提醒各位同学放宽图像的步骤不是必须的，在硬件条件允许的情况下才做，不要勉强。

第二部：把2.5D的图像升级为真人图像

这一步需要切换大模型，把大模型切换为真实照片类模型：XXMix_9realistic_v4.0  （用其他的也可以，只要是出真实照片的都行）

切换到文生图界面（如果你刚才放宽了图像），在文生图界面，文生图，别搞错了，是文生图

打开controlnet，把生成的图片拖动到controlnet界面

然后设置controlnet

选择tile分块，预处理选择：tile__colorfix+sharp ，Sharpness设置：0.01（这个是锐化程度，越低越精细）

打开Tiled Diffusion插件

这里是重点中的重点，这里设置的分辨率必须，必须，必须是你拖入controlnet中图片的分辨率，我拖入的图片是1280x1024，然后Tiled Diffusion中的宽度是你图片分辨率除以8，用上图举例：我拖入的图片是1280的宽度那么 潜空间分块宽度这里就是1280÷8=160，同样的 潜空间分块高度 就是1024÷8=128 ，一定要根据实际情况设置。

潜空间分块宽度：160  （根据实际情况设置），潜空间分块高度：128（根据实际情况设置） 

方案使用MultiDiffusion，这个模式更适合细节描写，而另一个方案Mixture of Diffusers 一般用来分块拼接图片。

潜空间分块重叠：32（一般是32-48）

潜空间分块单批数量：8（越大速度越快，显存也越容易爆）爆显存就改小点

采样器类型不变，推导步数不变，提示词不变，开始生成~~~~

第三步：放大图片保留细节

把生成的图片直接发送到图生图

这里重绘幅度我最后用的是：0.45，因为最后生成有些瑕疵（不是崩，就是有点细节不好看）所以我是逐步减小的，如果你的图没有问题，跑大一点的重绘幅度细节会更好。

分辨率不变，采样方法不变，重绘幅度不变（注意这里如果你的图有崩的情况就改小一点），

打开Tiled Diffusion插件，设置上基本与文生图一致

方案使用MultiDiffusion  ，潜空间分块重叠：32，潜空间分块单批数量：8（依然要看实际情况设置），潜空间分块宽度：160  ，潜空间分块高度：128 

重点：重绘噪声强度设置范围0.3-0.6 ，这个设置是确保不生成杂乱的细节，不能设置太大

打开controlnet进行设置

选择tile分块，预处理器选择：tile_resample （这里预处理器跟文生图不一样的，别搞混了）

打开脚本处理

这里同学们因该都很熟悉了，我就不再详细解释

如果你想给人物定制脸型，那么这个时候你可以打开ADetailer插件

我喜欢多个lora混合使用，这样出来的任务脸型既可以保持独特性又可以不用练lora，省事多了。

最后：修改分辨率为512x512，（这一步对于低配显卡非常重要，3070以下的显卡使用这个分辨效率是最大的，因为使用了放大脚本，这个分辨率的值对应的是每个放大脚本每个分块的大小，不会影响最终的出图分辨率，切记）

保持大模型变仍然是是真人大模型，保持tag不变，重绘强度0.45，提示词默认：7，提示词内容不变,

开始跑图~~~~~~~~~~~~~

 好了教程就到这里，：）

这教学主要是我个人的经验，有不足的地方请留言指出，我们互相学习，互相进步，谢谢大家。