解决4090显卡(40系)LORA脚本训练慢的问题
首先40系显卡跑SD是不能满速的,主要是pytoch、cudnn、xformers这些东东的版本问题,这个已经有各位大佬给出解决方案了,比如这里

和这里

同样的道理,现在各种单独的lora训练脚本也存在版本过低,不能发挥40系显卡真正实力,
我试了秋叶佛祖、星空佛祖的集成包,发现都是用的旧版本组件,然后查了很多资料就开始尝试自己升级组件,但是就算最后升级完,运行时还是报错无法正常运行,于是去GIT找了一些比较纯净的训练脚本,其中下面这个链接
https://github.com/bmaltais/kohya_ss
这个GUI版的脚本升级后是能正常运行的,速度飞快,星空大佬的也是用这个进行再加工的吧,但是星空大佬的升级完就是不能正常跑,不知道为啥
具体步骤:
1、下载git的压缩包文件下来后解压,解压出来的目录一般为kohya_ss-master,作为根目录
修改根目录下setup.bat,将以下三行
改为
2、然后下载CUDNN 8.6,链接是
https://b1.thefileditch.ch/mwxKTEtelILoIbMbruuM.zip
是作者GIT页面提供的链接;
下载完成后解压,拷贝cudnn_windows下的所有文件覆盖
根目录\venv\Lib\site-packages\torch\lib\*.*
3、运行根目录下的setup.bat进行安装
装完后在终端用
执行GUI界面即可
这些内容kohya_ss的git页面都有写,可以网页翻译一下就明白了,希望国内各位佛祖赶紧升级脚本组件
升级前后的对比图

