欢迎光临散文网 会员登陆 & 注册

wenda闻达懒人包踩坑记——model/lora-450,Error building extension 'wkv_cuda

2023-06-11 20:56 作者:聂如尘  | 我要投稿

wenda最新版(6.9)如果你使用的是GLM6B,如果你没有自己的lora模型,使用默认config.yml,在模型启动时会报以下错误

lora模型加载错误

请把config.yml配置文件中第96行注释掉

还有如果你想使用RWKV请注意你的CUDA版本,一定要使用作者提供的cuda_11.8.0_522.06,不然会报错

另外一定不要使用作者提供的chatglm-6b-int4(v1.1英文增强版)模型

使用这个模型来启动GLM6B会报错


想要使用GLM6B请到这里下载模型:THUDM/chatglm-6b at main (huggingface.co)

如果不会下载请运行以下命令:

git lfs install

git clone https://huggingface.co/THUDM/chatglm-6b

下载完成后把chatglm-6b文件夹移动到wenda/mode文件夹下

请注意要修改config.yml配置文件的第91行,把cuda fp16改成适合自己显存的参数,不然会爆显存


wenda闻达懒人包踩坑记——model/lora-450,Error building extension 'wkv_cuda的评论 (共 条)

分享到微博请遵守国家法律