6G显存lora训练,创建虚拟内存,及如何设置训练参数文字版,希望对小伙伴有所帮助
最低显存占用:当前安装的内存条*1.5*1024=得到的数值填进去(当然还得看你硬盘的大小)例如:
我的内存条32G*1.5*1024=49152
最大值
最大显存占用:当前安装的内存条*2.5*1024=得到的数值填进去(当然还得看你硬盘的大小)例如:
32*2.5*1024=81920
打开我们的任务管理器
看到我的内存
虚拟内存
已经增加了89G
缓存了21.4G
自带内存条32G
1.下面教你如何用更少的显存跑lora,就是N卡入门6G显卡跑lora
2.首先我们收集图片,这里我已经收集好从原神截取的38张草神图片
然后进行裁剪
3.虚拟内存设置好之后(最好选在固态硬盘设置)我们点击确定即可
4.话说到裁剪批量裁剪图片有很多,这个自己去找就行了
5.不推荐用SD裁剪因为自动生成会将你想要保留的部分有可能裁掉
我先把截图放到文件夹
6.然后我在网上找个裁剪网站非常推荐(https://www.birme.net/?这是网址需要的小伙伴自行尝试)自由调节图像所保留部分
好说完裁剪,我这里全部裁成512*512的然后以zip形式下载下来
图片裁剪好我们打开秋叶整合包
7.
两个插件都能生成tag我都给大家做一下演示具体如何选你们自行选择
①找到训练插件(training插件)秋叶整合包自带:
图像预处理。
选择使用使用 Deepbooru 生成标签
然后把图片路径粘贴上
选择输出路径就在桌面直接建立OUT文件夹
然后点击预处理
然后out文件夹就出现图片+带有tag的文本文件
说第二种方法
②找到WD1.4标签器https://gitcode.net/ranting8323/stable-diffusion-webui-wd14-tagger.git(网址自行下载)
然后选择批量处理
粘贴输入和输出路径、删除重复标签、反推后卸载模型、反推模型推荐wd14-vit-v2-git、阈值选择0.35-0.4(大佬实践所得)
然后点击开始反推
反推之后生成tag文本,将图片复制进来自动对应
这样就收集完成
8、我们开始打tag打标处理
首先推荐一个插件数据标签编辑器
网址:https://github.com/toshiaki1729/stable-diffusion-webui-dataset-tag-editor.git
这是一款很强大的编辑器支持删减tag,批量增加tag标签,现在我给大家演示如何打标签
我们勾选从子目录加载,勾选如果不存在文本文件,则从文件名加载标题
然后导入数据集路径
我们复制进去然后进行加载
这里我们看到了图片预览界面
我们给我们的图片固定三个标签
选择批量编辑字幕
我们需要将草神纳西妲固定的人物特征删掉让AI着重学习
保留人物名称主体背景等字样,我们留下的标签是可以在训练图片是通过改tag指令来生成指定东西,例如我们留下black hair
我们就可以在训练图片是改成 yellowhair ,bluehair等就能生成人物对应的颜色
这里我们删除保留为纳西妲固有人物特征这里我选择的都是草神固有人物特征让AI重点学习,然后我们删除tag点击移除,然后保存
然后我们打上人物名字前置标签,找到搜索和替换我们键入 caoshen,1girl,solo,并将他前置,然后保存,再次打开后可以看到我们刚才
打上的tag已经出现在文本里了,这里打tag已经完成,因为刚才键入了两次所以生成了两次tag我们删除即可,这里我们删除了保存即可。
9.接下来我们导入kohya_ss进行训练(针对低显存6G的N卡训练)
首先我们关掉不必要的程序,留下kohya_SS
我还留了一个科学上网
我们打开kohya_ssweib界面相信小伙伴都已经安装了,我前面也有教程讲解这里我不赘述了
①我们运行bat批处理
打开之后我们选择lora训练
②输入底模路径这里我就用一个常用二次元模型anything做底模
③打开SD文件下的models文件找到Stable-diffusion文件夹下的具体训练模型,他会默认填入底模路径
④切换到folders这里注意我们创建caoshen文文件夹下的image文件夹下创建7_caoshen文件夹,在7_caoshen文件夹放入图片和tag文本
然后文件夹打开到image即可
⑤输出文件夹就选择caoshen文件夹下创建models文件夹即可
⑥修改模型名字caoshenV1.0其他不需要动
⑦我们打开训练参数设置,batch size6G显存默认为1,8G可以调到3根据需求自己设定,lora类型选择第一个
⑧混合精度默认,学习率默认,epoch选择5或10其他默认,CPU线程数拉满
LR Scheduler:选择LR Scheduler,优化器选择:lion
⑨Network Rank (Dimension):128 Network Alpha:64
因为是512*512分辨率所以默认
⑩高级配置里:Clip skip(剪辑跳过):选择2
设置好之后开始训练
可以看到已经开始训练由于我开着录屏所以占用或超过6G显存,你们训练时只要关掉后台程序,保留kohya_ss界面即可,6G也可以使用现在就是我的录屏软件在占用显存,
只要关掉后台程序就不会报错,就是你们所说的炸显存loss值去0.07-0.08之间都可以是比较好的模型,这也是看好多大佬说的
我们就等待模型出来即可。