欢迎光临散文网 会员登陆 & 注册

AI绘画一站式教程

2023-02-26 16:09 作者:LLMION  | 我要投稿

自2022年底以来仅过去几个月,凭借着众多拥有互联网精神的网友的不懈努力,AI绘画已经变得像Minecraft整合包一样简单易上手了。

前言

在使用AI绘画时,请注意以下几点:

  1. 请勿商用,避免侵犯版权或知识产权。

  2. 由于AI绘画模型通常需要消耗大量的计算资源,因此请确保您的计算机性能足够强大(建议8G显存或以上)。

  3. AI绘画模型生成的绘画作品可能存在一定的不确定性,可能无法完全满足您的预期。建议在绘画前调整好参数并进行适当的预览和调整,以获得满意的绘画结果。

  4. AI绘画模型仅是一种辅助工具,绘画作品的创作过程仍需由人类艺术家进行主导和把控。

  5. AI绘画模型的开发者和贡献者不对使用该模型所产生的任何后果负责,使用者需自行承担风险。

  6. 最后,使用AI绘画模型可以带来无穷乐趣和创造性的体验,但请务必合法使用(尤其是真人模型),遵守相关法律法规和道德准则。

1.本地部署

在使用AI绘画模型之前,需要先准备一台配备英伟达nvidia显卡的电脑,无论什么型号最好是大显存,像我还在用1070TI这样的上古显卡也可以支持AI绘画模型的运行,甚至一些更低的显卡也可以尝试使用,不过可能需要降低绘画参数或较长的等待时间。本教程不会涉及网站部署和云端部署③,还有midjourney④或dall⑤等其他的AI绘画模型,而是专注于介绍Stable Diffusion。如果你是A卡用户,可以尝试访问以下项目:https://github.com/lshqqytiger/stable-diffusion-webui-directml(补充:已经被星空佬做成整合包了:BV1Y84y1H73V


官方

https://github.com/AUTOMATIC1111/stable-diffusion-webui


有人整合好的(应该都自带Python环境):

独立研究员-星空的整合包-BV1Ng411b7Ft

秋葉aaaki的启动器-BV1ne4y1V7QU

注意,启动器不包括整合包,秋葉aaaki的整合包在这里-BV17d4y1C73R


无论是谁的整合包都可以装上启动器,注:整合包的文件夹路径不得有中文


把启动器按照视频那样安装进整合包之后启动即可

首次启动建议先进入高级选项查看一下设置
选择你的显卡,然后根据你的显存大小选择显存优化

用CPU也行,只不过...

版本管理里选择稳定版的最新版(新版自带Lora功能)

模型和扩展之后在讲,先启动

2.Stable Diffusion模型

启动之后等待一段时间,会自然弹出网页ui,这就是你的Stable Diffusion。

Stable Diffusion webui

一步一步来,在最左上角的位置,便是Stable Diffusion的模型选择窗口,打开可以看见你拥有的全部模型,Stable Diffusion模型是最基础的一环,不同的模型生成的效果也各不相同,模型文件一般放在

‘你的文件夹\stable-diffusion-webui\models\Stable-diffusion’

那么这些模型去哪找?

各种模型网站

https://civitai.com

https://rentry.co/sdmodels

https://cyberes.github.io/stable-diffusion-models/

https://publicprompts.art/

https://huggingface.co/ 

http://aimodel.subrecovery.top

https://docs.qq.com/doc/DY0lFeWZuVXRCdUJU

http://www.123114514.xyz/models/ckpt

怎么识别哪个是Stable Diffusion模型?

就拿civitai举例(civitai是个开源免费的网站)

civitai

看看预览图左上角是写的是否是CHECKPOINT,再点进去验证他的类型

检查Tpye

如果是CHECKPOINT那就是Stable Diffusion的主模型

下载

在下载这里你可能会看见safetensors格式的模型,还有VAE,一般主模型都是ckpt也就是CHECKPOINT格式,而safetensors是一种比ckpt更安全的格式,其实无论你遇见的是ckpt还是safe都能用,只需明白是格式不同而已。

而VAE是放在‘你的文件夹\stable-diffusion-webui\models\VAE’里,用于提升画面饱和度用的,具体可看下图启用

如何使用VAE

打开设置,找到Stable Diffusion,刚刚放进去的VAE需要刷新一下才能看见,然后再选择你的VAE,保存设置,第五步不能漏掉,如果你找的模型没有自带VAE用整合包自带的也行。


模型版本选择

在选择模型的时候你可能会看到一个模型分了好几个版本,后面都带有fp16,fp32之类的,这些都是剪枝模型,但和全精度的模型差别并不大,体积却可以小好几倍。

关于LoRA,这是个很强大的微调模型,你无需下载多个体积巨大的Stable Diffusion模型,只要一个Stable Diffusion模型,搭配上LoRA,你也照样能做到多个不一样的模型画风,除了画风模型,LoRA也能做人物角色模型,姿势模型等,而一个LoRA只有100MB只有的大小。在这之前只有Embedding和Hypernetworks用于微调模型,而现在Hypernetworks几乎快被淘汰了,Embedding现在大部分作为负面提示词来用。


3.提示词

提示词填写

关于这方面已经有许许多多的人都做了教程,这里就不多重复了

魔咒指南:https://www.kdocs.cn/l/ckgWD4Qreu2F

AI绘画——深度教程:https://docs.qq.com/doc/DQ3ZJSGFmeVpWc2ta

Tags基本编写逻辑及三段术式入门与解析v3:https://docs.qq.com/doc/DSHBGRmRUUURjVmNM

元素法典:https://docs.qq.com/doc/DWHFOd2hDSFJaamFm

关于有些负面提示词的Embedding有以下推荐

(Embedding模型放在‘你的文件夹\stable-diffusion-webui\embeddings’):

https://huggingface.co/datasets/gsdf/EasyNegative
https://huggingface.co/datasets/Nerfgun3/bad_prompt

https://civitai.com/models/4629/deep-negative-v1x

4.参数

参数

1.采样方法:之后会以图片的方式直观的告诉你

2.采样步数:跑一张图需要多少步,之后也会放图片

宽度高度就不多介绍了,就是分辨率大小

生成批次:点击生成按钮之后会出多少张图,是以一张图生成完之后再生成第二张

每批数量:每一批同时生成多少张图,建议别动这项,费显卡

3.提示词相关性:之后会以图片的方式直观的告诉你

收集种子:默认-1,可以固定一个种子生成

面部修复:给真人用的,可平铺:没用过,高清修复:4.放大和5.重绘


关于分辨率有一些需要补充,就算你提示词,种子,参数都一样,只要分辨率有一点偏差那生成的结果都会大不一样


1.目前所有采样方法的效果一览

一般常用Euler a,DPM++ 2M Karras,DDIM


2.Euler a,DPM++ 2M Karras,DDIM采样各迭代20-35步

可以看到迭代步数对画面的影响并不大


3.提示词相关性

有略微差别,但也不是很大


4.高清修复:三种常用算法

Latent,Latent(Nearest-exact),R-ESRGAN 4x+Anime6B

推荐Latent(Nearest-exact),只想放大推荐R-ESRGAN 4x+Anime6B


5.高清修复重绘幅度(Denoising)与采样次数(Hires steps)

如图






5.LoRA(待补充)

lora必须要一个主模型作为依赖,主要可用于给主模型提供稳定的人物角色,场景,姿势,服装,画风,表情等

角色LoRA


画风LoRA










6.ControlNet(待完善)


AI绘画的革命性技术——扩散控制网络ControlNet


什么是ControlNet?

https://arxiv.org/abs/2302.05543

ControlNet WebUI插件的安装

https://github.com/Mikubill/sd-webui-controlnet

ControlNet模型

https://huggingface.co/webui/ControlNet-modules-safetensors


ControlNet分为预处理和模型,预处理可以根据选择不用的模式处理你提供的图片


canny——边缘检测提取线图(待补)

hed——HED边缘提取(待补)

midas——深度图提取(待补)

mlsd——线段识别,适用于建筑、物体等(待补)

openpose——动作姿态提取(待补)

fake_scribble——提取涂鸦风格线段(待补)

none——直接将参考图片作为条件输入(待补)


ControlNet模型则可以把预处理过的模型进行绘制


canny——基于轮廓精准绘制(待补)

depth——根据深度图生成图片,深度图可以体现透视关系,也可用于多人图,深度图可由3D软件生成,也可以使用PS(待补)

hed——相比canny自由发挥程度更高(待补)

mlsd——线段检测,用于物体(建筑、车辆等)(待补)

normal——根据法线贴图生成图片(待补)

openpose——通过openpose姿态图生成图片,可使用Blender模型生成, 一个骨架对应一个人,可用于多人图(待补)

用于生成openpose骨骼的Blender模型: https://toyxyz.gumroad.com/l/ciojz, 此外也可以使用PS制作,每种颜色代表一个部位

scribble——涂鸦成图(待补)

seg——通过色块标注区域成图(待补)

一些图片:




7.Latent Couple


(待补)

画幅分区,多人情况下不同的特征,如图:


附加(不确定要不要做)

N.LoRA训练

N.模型合并



①https://zhuanlan.zhihu.com/p/586372502

https://www.kdocs.cn/l/ckgWD4Qreu2F

https://www.midjourney.com

https://openai.com/dall-e-2




AI绘画一站式教程的评论 (共 条)

分享到微博请遵守国家法律