欢迎光临散文网 会员登陆 & 注册

妙用Controlnet控制Stable Diffusion AI绘图中人物姿势

2023-09-26 16:40 作者:机械革命笔记本  | 我要投稿

在使用Stable Diffusion进行人物炼丹时很多人都会发现人物的姿态即便用很多的提示词也很难实现完全控制,而且经常会画出很奇怪的手部动作,多一个手指或少一个手指的情况几乎成了家常便饭。那么如何才能控制AI绘图中人物的姿态呢?其实通过大名鼎鼎的Controlnet插件就能比较完美的控制人物姿势,今天小编就为大家讲解一下如何利用Controlnet插件中的openpose功能来实现更加随心所欲的炼丹术。

部署Controlnet插件

可以在Stable Diffusion WebUI的扩展中搜索Controlnet插件,网络状态好的话就直接能够通过点击安装完成快速部署。不能在WebUI中安装的朋友也可手动下载进行部署,下载地址https://github.com/Mikubill/sd-webui-controlnet

点击上图中绿色的Code按钮后再点击Download ZIP字样,就能将代码下载到本地。之后解压缩至Stable Diffusion根目录中的extensions文件夹中即可。ControlNet会需要用到很多模型文件,这时候让程序自动下载的话可能会比较慢或是连接不上的情况。因此小编更加推荐到https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main手动下载。

模型的体积还是比较大的,如果都安装全至少要占用20GB以上的硬盘空间。下载完毕后放入Stable Diffusion根目录下的extensions\sd-webui-controlnet-main\models文件夹中。需要注意的是,文件名结尾为e的是测试版,请优先下载文件名结尾为p的稳定版本。

接下来还要安装Openpose editor用于人物动作的编辑和微调。简便的方法就是在WebUI中搜索并安装。如不能实现自动安装可在https://github.com/huchenlei/sd-webui-openpose-editor下载该插件后加压缩至Stable Diffusion根目录中的extensions文件夹中。

Controlnet Openpose实战

在Stable Diffusion WebUI中将Controlnet展开后把张目标姿势图片粘贴进去,Control Type选择Openpose后点击爆炸按钮后就能够得到一张火柴人姿态图。这时候通过提示字的描写就能够输出一张与目标图片姿势几乎一模一样的新图。

安装Openpose editor后在火柴人姿态图右侧会出现editor按钮,点击便可开启姿态编辑功能。在这里可以手动点击、框选、拖拽、拉长或缩短肢体姿态,调整完成后点击发送至Controlnet就能利用编辑后的姿态图进行炼丹了。

上图就是小编通过Openpose editor让右手向后摆动生成的图片,想要控制Stable Diffusion中AI人物的姿势就是这么简单!

人的手部关节太多,很难控制得很完美,稍有偏差就会出现畸形手的情况。因此可以将手部姿态删除,仅保留四肢与头部动作,手就让AI自由发挥也是不错的选择。

Openpose如此好用,所以很多AI炼丹师制作了很多pose模型并上传到C站供大家下载。感兴趣的朋友可以通过筛选器选择pose模型就能够下载海量有意思的Json姿态模型了。

下载好Json姿态模型后可通过openpose editor中的上传json功能将姿态模型发送至Controlnet中,很简单的哦!

上面几张图片就是小编下载Json姿态模型后使用不同模型与提示词生成的图片,可见不管是真实系、二次元或是3D效果,Controlnet Openpose插件都能很好的完成它的使命,为我们带来可控姿态的AI人物图片。

Stable Diffusion本就对电脑的配置和性能要求很高,使用Controlnet插件后内存和显存占用率会更加夸张,因此小编建议大家使用机械革命旷世16 Super游戏本。凭借着GeForce RTX4080笔记本电脑GPU能够提供相当高的迭代速度,12GB的大容量显存对于生成高分辨率图片以及适配SDXL大模型简直就是绝配。主流游戏本的16GB内存面对Stable Diffusion来说很捉襟见肘,而旷世16 Super游戏本标配了32GB的高频DDR5内存,配合酷睿i9 13900HX处理器以及1TB的固态硬盘能够成就更多可能。

另外值得一提的是旷世16 Super还可以搭配第2代冰河分体式水冷散热器使用,在高强度的AI运算中能够让GeForce RTX4080笔记本电脑GPU以更低温度、更高频率运行,从而实现更快的迭代速度,出图效率大大提升。关于AI作图,小编也是正在学习中,后续还会为大家带来更多精彩内容,最后的最后,还是那句老话:祝大家玩得愉快!

妙用Controlnet控制Stable Diffusion AI绘图中人物姿势的评论 (共 条)

分享到微博请遵守国家法律