欢迎光临散文网 会员登陆 & 注册

【防坑指南】手把手演示本机部署langchain+chatGLM本地知识库

2023-06-28 23:54 作者:阴沉的怪咖  | 我要投稿

这个月一直在加班,好多留言没来得及回复,抱歉了。我也是刚开始学习这块,很多问题也需要摸索,不一定都能解答,这个视频只是把我的学习经验拿出来给大家分享的,有些朋友遇到的问题我也没遇到过,只能是一起探讨学习,然后把遇到问题的解决方案共享给大家。

最近和水友探讨遇见比较多,并且找到解决方案的,总结一下分享出来:

①关于text2vec这块,安装失败

因为项目作者使用了GanymedeNil/text2vec-large-chinese这个模型。我在部署的时候,模型是自动下载的。这里就有一些水友反馈说下载失败,遇到这个问题的朋友可以自己上huggingface下载上述模型,地址传送门:https://huggingface.co/GanymedeNil/text2vec-large-chinese/tree/main

模型下载完之后,可以在放在项目文件夹下,于此同时,需要在model_config.py配置文件里,修改一下text2vec的地址,根据你自己模型放的文件夹修改一下。

比如,我放在model文件夹下了,文件夹路径是model/GanymedeNil/text2vec-large-chinese,那就改成这个路径就可以了。

运行的时候,可能会提示:No sentence-transformers model found with name model/GanymedeNil/text2vec-large-chinese. Creating a new one with MEAN pooling

可以忽略这个提示,功能是可以正常使用的。

②pycocotools安装失败

解决方案找了一个,传送门:https://blog.csdn.net/shaojie_45/article/details/116119227

可以自行去尝试

③paddle安装报错

视频里提到了,我原先安装的是python3.11的版本,后来使用conda新建虚拟环境,选择python版本为3.10就不报错了。

④chatglm-6b-int4模型找不到

有水友反馈说遇到这个问题,后来发现是因为没有下载chatglm模型的问题导致的。chatglm-6b-int4模型下载,可以上官方下载,我也放了一个云盘链接,可以自行下载

传送门:https://www.123pan.com/s/sBl7Vv-Ur8gv.html 提取码:ZvSu


其他问题有补充的话,也可以在置顶评论下添加。希望能对各位水友有帮助~

【防坑指南】手把手演示本机部署langchain+chatGLM本地知识库的评论 (共 条)

分享到微博请遵守国家法律