欢迎光临散文网 会员登陆 & 注册

LoRA训练入门小技巧之图像预处理

2023-04-02 01:12 作者:1lch2  | 我要投稿

入门时候的一点经验,低技术含量,我也是看站内大佬的文章自己实践后总结的,如有错误,欢迎斧正。

lora训练环境的安装部署参考站内其他大佬的文章和视频,我使用的是秋叶的autodl脚本,租的autodl的3090。这里只说如何对图像做预处理,尤其是你手上高质量的图很少的时候,就更要对预处理上点心了。

简单来说,图像预处理就是为了让有限的训练集发挥出更大的作用,对于训练lora时用到的预处理方式,只讲我实践的一种,就是裁剪。实际上了解深度学习的人都知道还有很多常用的方式,比如旋转,镜像之类的,你也可以自行尝试。

如果你会用PS,知道lora干什么的,而且已经部署好了环境,准备动手炼自己的第一个lora,那么省流版本用PS切出指定分辨率头像,上下半身,全身的部分,再把这些切好的图送去打tag,再扔去训练。这个分辨率就是你脚本里设定的那个,默认512x512。

如果你看完这几句还是不清楚,那继续看下面的部分。

首先第一点,不要用webui的自动裁切!就是下图这个:

自己手动切比它切得好

你需要准备任意版本的Photoshop,和几张细节丰富的图,最好是用官方的设定图或者全身立绘,同人作品少选取几张比较精细,透视和遮挡关系不复杂的即可。站内有大佬只用官方立绘出了效果不错的lora,虽然过拟合很严重,但是降低权重或者使用lora分层控制就可以解决。这个算是避免侵犯第三方画师版权问题的一种办法了。

另外一点,用于训练的图不要有透明背景,如果你在PRTS上下载方舟的人物立绘,那图片就是透明背景,训练时可能会出奇怪的问题,最好打开ps给它加个白色背景。

说回重点,准备好图,打开Photoshop,左上角找到裁切工具,选中,在顶部设置裁切的尺寸。

不是这个图标的话,左键长按出来的菜单里选

如果你要裁切的尺寸就是经典的512x512,那就直接选和我一样的选项,在后面的框里输入 512px ,注意得把 px 俩字母敲进去,默认数字无单位可能会变成厘米。至于后面的像素/厘米,不重要,不想思考的话可以跟我一样填72。

然后打开你要切的素材,这里以能天使的精一立绘为例。按以下原则切分:头像,上半身,脚部出框或者全身,下半身。首先切分头部的素材,拖动鼠标差不多框住头部以后移动几下底图,回车确认。

注意,如果人物有什么和头部绑定的特征,光环,饰品,耳朵,角,帽子之类的,最好和头部框在一起,尽量避免其他身体部位出现。比如这里框住能天使的光环,避开手。回车以后,另存为图片,注意不要直接按Ctrl S,会覆盖原图,如果你手贱按了也没事,打开历史记录使用败者食尘。切完另存以后,用历史记录回退到裁切前,继续切下一部分。

顶部菜单->窗口->历史记录

上半身同理:

有全身精细立绘的,可以单独切一张下半身,保证裤子裙子之类的下装细节正确。不用担心ai分不清这是什么部分,只要你训练集的特征统一就行,别把不同服装的扔一起,想多概念训练参考站内其他大佬视频和文章。

最后直接把全身也切一张512x512的,这里图经常不是正方形或者你指定的分辨率比例,无所谓,拖住裁切框往外拉,括住全身即可。按回车后可能会给你填黑色背景,也可能是透明背景,如果是透明背景,记得往下面加个图层用油漆桶涂成白色或者图片的底色。

如果你觉得官方立绘不够,下了几张同人图,但是发现里面有其他角色,也可以扔进stable diffusion里面局部重绘把人抹掉。直接用套索或者选区工具圈住其他角色,按delete键,在对话框里选“内容识别”,确认,一次效果可能不够好,多来几次就行。


上面那个固定形状的选区也行,不过套索更自由点

处理完继续按上述办法切图。

后面打tag什么的参考其他大佬教程,这里贴几个链接供各位学习。

炼出来lora可以先用0.6的权重试一试,特征保留得差不多就可以看作成功了。如果你发现过拟合有点严重,可以参考这个教程使用分层控制减少过拟合:

一般训练时候会每2个epoch存一次lora,20个epoch最后会有10个lora。需要筛选效果最好的。我一般使用0.6权重,或者0.8搭配减轻过拟合的分层权重,用xyz脚本跑图筛选lora,基本上三四轮下来就能拿出一个可堪一用的lora了。

就写这么多吧,目前也没别的可分享了。

LoRA训练入门小技巧之图像预处理的评论 (共 条)

分享到微博请遵守国家法律