ChatGLM2-6b部署日志及问题记录

尝试安装了一下原生版本ChatGLM2-6b,不出意外还是遇到了一些环境方面的问题,记录一下以备不时之需。

安装步骤
1、将项目clone到本地:git clone https://github.com/THUDM/ChatGLM2-6B
进入项目目录:cd ChatGLM2-6B
2、使用 pip 安装依赖:pip install -r requirements.txt
受网络影响,执行过程中可能报错中断,如出现报错中断则重新执行,会跳过已安装的项,重复多次直到完全安装;
3、加载模型:git clone https://huggingface.co/THUDM/chatglm2-6b
4、streamlit run web_demo2.py执行。
出现过的问题
1、加载模型git clone https://huggingface.co/THUDM/chatglm2-6b 未能正常结束
问题成因:网络原因;
解决方案:只下载模型实现
1.检查Git LFS存在:git bash执行$ git lfs install
如果> Git LFS initialized.则已安装成功,跳过本步骤;
如果失败,根据https://docs.github.com/zh/repositories/working-with-files/managing-large-files/installing-git-large-file-storage安装Git LFS;
2.执行GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b
3.从清华大学网盘下载模型参数文件,地址:https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/
4.下载的文件替换到本地的 chatglm2-6b 目录下;
5.在使用的执行脚本中将 THUDM/chatglm2-6b 替换为本地的 chatglm2-6b 文件夹的路径。
2、运行提示:Torch not compiled with CUDA enabled
问题成因:CUDA和pytorch版本不匹配;
解决方案:
1.cmd 执行 nvidia-smi 检查显卡支持的最高CUDA版本;
2.cmd 执行 nvcc --version 检查已安装的CUDA版本;
3.在pytorch官网检查支持的CUDA版本:https://pytorch.org/get-started/locally/
4.如果未安装CUDA,跳过到6;
如果安装的CUDA与pytorch支持的版本不一致,按照5卸载CUDA,并按照6重新安装;
5.控制面板>所有控制面板>程序和功能,搜索CUDA,卸载所有项;
6.在CUDA官网选择符合的版本安装:https://developer.nvidia.com/cuda-toolkit-archive
推荐使用:CUDA Toolkit 11.7 Update 1
7.如果未安装pytorch,在3步骤网站中选择对应系统和版本,根据提示安装;

8.检查torch版本和 GPU 驱动程序和 CUDA 是否已启用并可由 PyTorch 访问
检查torch版本,在CMD执行:python
>>>import torch
>>>torch.__version__
检查GPU 驱动程序和 CUDA 是否已启用并可由 PyTorch 访问,在CMD执行:python
>>>import torch
>>>torch.cuda.is_available()
此处应返回TRUE;
9.如果已经安装过torch,且torch和CUDA版本不匹配,需删除torch重新安装,在CMD(以管理员身份运行)执行:pip uninstall torch
然后重新安装torch,我的环境安装的是torch2.0.1+cu117,安装指令是 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
执行可能多次报错,一般为网络原因,反复重试,直到出现Successfully installed torch-2.0.1+cu117
可以通过8步骤的方式再次验证是否安装成功、torch和CUDA是否匹配。
3、可能出现的问题:未安装Python环境
解决方案:自行百度安装;