AI绘画一站式教程

自2022年底以来仅过去几个月,凭借着众多拥有互联网精神的网友的不懈努力,AI绘画①已经变得像Minecraft整合包一样简单易上手了。
前言
在使用AI绘画时,请注意以下几点:
请勿商用,避免侵犯版权或知识产权。
由于AI绘画模型通常需要消耗大量的计算资源,因此请确保您的计算机性能足够强大(建议8G显存或以上)。
AI绘画模型生成的绘画作品可能存在一定的不确定性,可能无法完全满足您的预期。建议在绘画前调整好参数并进行适当的预览和调整,以获得满意的绘画结果。
AI绘画模型仅是一种辅助工具,绘画作品的创作过程仍需由人类艺术家进行主导和把控。
AI绘画模型的开发者和贡献者不对使用该模型所产生的任何后果负责,使用者需自行承担风险。
最后,使用AI绘画模型可以带来无穷乐趣和创造性的体验,但请务必合法使用(尤其是真人模型),遵守相关法律法规和道德准则。
1.本地部署
在使用AI绘画模型之前,需要先准备一台配备英伟达nvidia显卡的电脑,无论什么型号最好是大显存,像我还在用1070TI这样的上古显卡也可以支持AI绘画模型的运行,甚至一些更低的显卡也可以尝试使用,不过可能需要降低绘画参数或较长的等待时间。本教程不会涉及网站部署和云端部署③,还有midjourney④或dall⑤等其他的AI绘画模型,而是专注于介绍Stable Diffusion。如果你是A卡用户,可以尝试访问以下项目:https://github.com/lshqqytiger/stable-diffusion-webui-directml(补充:已经被星空佬做成整合包了:BV1Y84y1H73V)
官方:
https://github.com/AUTOMATIC1111/stable-diffusion-webui
有人整合好的(应该都自带Python环境):
独立研究员-星空的整合包-BV1Ng411b7Ft
秋葉aaaki的启动器-BV1ne4y1V7QU
注意,启动器不包括整合包,秋葉aaaki的整合包在这里-BV17d4y1C73R
无论是谁的整合包都可以装上启动器,注:整合包的文件夹路径不得有中文
把启动器按照视频那样安装进整合包之后启动即可


用CPU也行,只不过...

模型和扩展之后在讲,先启动

2.Stable Diffusion模型
启动之后等待一段时间,会自然弹出网页ui,这就是你的Stable Diffusion。

一步一步来,在最左上角的位置,便是Stable Diffusion的模型选择窗口,打开可以看见你拥有的全部模型,Stable Diffusion模型是最基础的一环,不同的模型生成的效果也各不相同,模型文件一般放在
‘你的文件夹\stable-diffusion-webui\models\Stable-diffusion’
那么这些模型去哪找?

各种模型网站
https://civitai.com
https://rentry.co/sdmodels
https://cyberes.github.io/stable-diffusion-models/
https://publicprompts.art/
https://huggingface.co/
http://aimodel.subrecovery.top
https://docs.qq.com/doc/DY0lFeWZuVXRCdUJU
http://www.123114514.xyz/models/ckpt

怎么识别哪个是Stable Diffusion模型?
就拿civitai举例(civitai是个开源免费的网站)

看看预览图左上角是写的是否是CHECKPOINT,再点进去验证他的类型

如果是CHECKPOINT那就是Stable Diffusion的主模型

在下载这里你可能会看见safetensors格式的模型,还有VAE,一般主模型都是ckpt也就是CHECKPOINT格式,而safetensors是一种比ckpt更安全的格式,其实无论你遇见的是ckpt还是safe都能用,只需明白是格式不同而已。
而VAE是放在‘你的文件夹\stable-diffusion-webui\models\VAE’里,用于提升画面饱和度用的,具体可看下图启用

打开设置,找到Stable Diffusion,刚刚放进去的VAE需要刷新一下才能看见,然后再选择你的VAE,保存设置,第五步不能漏掉,如果你找的模型没有自带VAE用整合包自带的也行。

在选择模型的时候你可能会看到一个模型分了好几个版本,后面都带有fp16,fp32之类的,这些都是剪枝模型,但和全精度的模型差别并不大,体积却可以小好几倍。
关于LoRA,这是个很强大的微调模型,你无需下载多个体积巨大的Stable Diffusion模型,只要一个Stable Diffusion模型,搭配上LoRA,你也照样能做到多个不一样的模型画风,除了画风模型,LoRA也能做人物角色模型,姿势模型等,而一个LoRA只有100MB只有的大小。在这之前只有Embedding和Hypernetworks用于微调模型,而现在Hypernetworks几乎快被淘汰了,Embedding现在大部分也作为负面提示词来用。

3.提示词

关于这方面已经有许许多多的人都做了教程,这里就不多重复了
魔咒指南:https://www.kdocs.cn/l/ckgWD4Qreu2F
AI绘画——深度教程:https://docs.qq.com/doc/DQ3ZJSGFmeVpWc2ta
Tags基本编写逻辑及三段术式入门与解析v3:https://docs.qq.com/doc/DSHBGRmRUUURjVmNM
元素法典:https://docs.qq.com/doc/DWHFOd2hDSFJaamFm

关于有些负面提示词的Embedding有以下推荐
(Embedding模型放在‘你的文件夹\stable-diffusion-webui\embeddings’):
https://huggingface.co/datasets/gsdf/EasyNegative
https://huggingface.co/datasets/Nerfgun3/bad_prompt
https://civitai.com/models/4629/deep-negative-v1x

4.参数

1.采样方法:之后会以图片的方式直观的告诉你
2.采样步数:跑一张图需要多少步,之后也会放图片
宽度高度就不多介绍了,就是分辨率大小
生成批次:点击生成按钮之后会出多少张图,是以一张图生成完之后再生成第二张
每批数量:每一批同时生成多少张图,建议别动这项,费显卡
3.提示词相关性:之后会以图片的方式直观的告诉你
收集种子:默认-1,可以固定一个种子生成
面部修复:给真人用的,可平铺:没用过,高清修复:4.放大和5.重绘
关于分辨率有一些需要补充,就算你提示词,种子,参数都一样,只要分辨率有一点偏差那生成的结果都会大不一样

1.目前所有采样方法的效果一览

2.Euler a,DPM++ 2M Karras,DDIM采样各迭代20-35步

3.提示词相关性

4.高清修复:三种常用算法
Latent,Latent(Nearest-exact),R-ESRGAN 4x+Anime6B

5.高清修复重绘幅度(Denoising)与采样次数(Hires steps)


5.LoRA(待补充)
lora必须要一个主模型作为依赖,主要可用于给主模型提供稳定的人物角色,场景,姿势,服装,画风,表情等
角色LoRA


画风LoRA






6.ControlNet(待完善)
AI绘画的革命性技术——扩散控制网络ControlNet
什么是ControlNet?
https://arxiv.org/abs/2302.05543
ControlNet WebUI插件的安装
https://github.com/Mikubill/sd-webui-controlnet
ControlNet模型
https://huggingface.co/webui/ControlNet-modules-safetensors
ControlNet分为预处理和模型,预处理可以根据选择不用的模式处理你提供的图片
canny——边缘检测提取线图(待补)
hed——HED边缘提取(待补)
midas——深度图提取(待补)
mlsd——线段识别,适用于建筑、物体等(待补)
openpose——动作姿态提取(待补)
fake_scribble——提取涂鸦风格线段(待补)
none——直接将参考图片作为条件输入(待补)
ControlNet模型则可以把预处理过的模型进行绘制
canny——基于轮廓精准绘制(待补)
depth——根据深度图生成图片,深度图可以体现透视关系,也可用于多人图,深度图可由3D软件生成,也可以使用PS(待补)
hed——相比canny自由发挥程度更高(待补)
mlsd——线段检测,用于物体(建筑、车辆等)(待补)
normal——根据法线贴图生成图片(待补)
openpose——通过openpose姿态图生成图片,可使用Blender模型生成, 一个骨架对应一个人,可用于多人图(待补)
用于生成openpose骨骼的Blender模型: https://toyxyz.gumroad.com/l/ciojz, 此外也可以使用PS制作,每种颜色代表一个部位
scribble——涂鸦成图(待补)
seg——通过色块标注区域成图(待补)
一些图片:





7.Latent Couple
(待补)
画幅分区,多人情况下不同的特征,如图:





附加(不确定要不要做)
N.LoRA训练
N.模型合并
①https://zhuanlan.zhihu.com/p/586372502
②https://www.kdocs.cn/l/ckgWD4Qreu2F
③https://www.midjourney.com
④https://openai.com/dall-e-2