【防坑指南】手把手演示本机部署langchain+chatGLM本地知识库

这个月一直在加班,好多留言没来得及回复,抱歉了。我也是刚开始学习这块,很多问题也需要摸索,不一定都能解答,这个视频只是把我的学习经验拿出来给大家分享的,有些朋友遇到的问题我也没遇到过,只能是一起探讨学习,然后把遇到问题的解决方案共享给大家。
最近和水友探讨遇见比较多,并且找到解决方案的,总结一下分享出来:
①关于text2vec这块,安装失败
因为项目作者使用了GanymedeNil/text2vec-large-chinese这个模型。我在部署的时候,模型是自动下载的。这里就有一些水友反馈说下载失败,遇到这个问题的朋友可以自己上huggingface下载上述模型,地址传送门:https://huggingface.co/GanymedeNil/text2vec-large-chinese/tree/main
模型下载完之后,可以在放在项目文件夹下,于此同时,需要在model_config.py配置文件里,修改一下text2vec的地址,根据你自己模型放的文件夹修改一下。
比如,我放在model文件夹下了,文件夹路径是model/GanymedeNil/text2vec-large-chinese,那就改成这个路径就可以了。
运行的时候,可能会提示:No sentence-transformers model found with name model/GanymedeNil/text2vec-large-chinese. Creating a new one with MEAN pooling
可以忽略这个提示,功能是可以正常使用的。
②pycocotools安装失败
解决方案找了一个,传送门:https://blog.csdn.net/shaojie_45/article/details/116119227
可以自行去尝试
③paddle安装报错
视频里提到了,我原先安装的是python3.11的版本,后来使用conda新建虚拟环境,选择python版本为3.10就不报错了。
④chatglm-6b-int4模型找不到
有水友反馈说遇到这个问题,后来发现是因为没有下载chatglm模型的问题导致的。chatglm-6b-int4模型下载,可以上官方下载,我也放了一个云盘链接,可以自行下载
传送门:https://www.123pan.com/s/sBl7Vv-Ur8gv.html 提取码:ZvSu
其他问题有补充的话,也可以在置顶评论下添加。希望能对各位水友有帮助~