欢迎光临散文网 会员登陆 & 注册

解决4090显卡(40系)LORA脚本训练慢的问题

2023-04-12 21:17 作者:格林西瓜枪  | 我要投稿

首先40系显卡跑SD是不能满速的,主要是pytoch、cudnn、xformers这些东东的版本问题,这个已经有各位大佬给出解决方案了,比如这里

和这里

同样的道理,现在各种单独的lora训练脚本也存在版本过低,不能发挥40系显卡真正实力,

我试了秋叶佛祖、星空佛祖的集成包,发现都是用的旧版本组件,然后查了很多资料就开始尝试自己升级组件,但是就算最后升级完,运行时还是报错无法正常运行,于是去GIT找了一些比较纯净的训练脚本,其中下面这个链接

https://github.com/bmaltais/kohya_ss

这个GUI版的脚本升级后是能正常运行的,速度飞快,星空大佬的也是用这个进行再加工的吧,但是星空大佬的升级完就是不能正常跑,不知道为啥


具体步骤:

1、下载git的压缩包文件下来后解压,解压出来的目录一般为kohya_ss-master,作为根目录

修改根目录下setup.bat,将以下三行

改为

2、然后下载CUDNN 8.6,链接是

https://b1.thefileditch.ch/mwxKTEtelILoIbMbruuM.zip

是作者GIT页面提供的链接;

下载完成后解压,拷贝cudnn_windows下的所有文件覆盖

根目录\venv\Lib\site-packages\torch\lib\*.*

3、运行根目录下的setup.bat进行安装

装完后在终端用

执行GUI界面即可

这些内容kohya_ss的git页面都有写,可以网页翻译一下就明白了,希望国内各位佛祖赶紧升级脚本组件


升级前后的对比图

升级前,1.23s/it
升级后3.78it/s

差距巨大啊!!!!!


解决4090显卡(40系)LORA脚本训练慢的问题的评论 (共 条)

分享到微博请遵守国家法律