欢迎光临散文网 会员登陆 & 注册

ChatGLM2-6b部署日志及问题记录

2023-08-03 15:38 作者:貓妖  | 我要投稿

尝试安装了一下原生版本ChatGLM2-6b,不出意外还是遇到了一些环境方面的问题,记录一下以备不时之需。



安装步骤


1、将项目clone到本地:git clone https://github.com/THUDM/ChatGLM2-6B

   进入项目目录:cd ChatGLM2-6B

2、使用 pip 安装依赖:pip install -r requirements.txt

   受网络影响,执行过程中可能报错中断,如出现报错中断则重新执行,会跳过已安装的项,重复多次直到完全安装;

3、加载模型:git clone https://huggingface.co/THUDM/chatglm2-6b

4、streamlit run web_demo2.py执行。




出现过的问题


1、加载模型git clone https://huggingface.co/THUDM/chatglm2-6b 未能正常结束

  问题成因:网络原因;

  解决方案:只下载模型实现

1.检查Git LFS存在:git bash执行$ git lfs install

  如果> Git LFS initialized.则已安装成功,跳过本步骤;

  如果失败,根据https://docs.github.com/zh/repositories/working-with-files/managing-large-files/installing-git-large-file-storage安装Git LFS;

2.执行GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b

3.从清华大学网盘下载模型参数文件,地址:https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/

4.下载的文件替换到本地的 chatglm2-6b 目录下;

5.在使用的执行脚本中将 THUDM/chatglm2-6b 替换为本地的 chatglm2-6b 文件夹的路径。


2、运行提示:Torch not compiled with CUDA enabled

  问题成因:CUDA和pytorch版本不匹配;

  解决方案:

1.cmd 执行 nvidia-smi 检查显卡支持的最高CUDA版本;

2.cmd 执行 nvcc --version 检查已安装的CUDA版本;

3.在pytorch官网检查支持的CUDA版本:https://pytorch.org/get-started/locally/

4.如果未安装CUDA,跳过到6;

  如果安装的CUDA与pytorch支持的版本不一致,按照5卸载CUDA,并按照6重新安装;

5.控制面板>所有控制面板>程序和功能,搜索CUDA,卸载所有项;

6.在CUDA官网选择符合的版本安装:https://developer.nvidia.com/cuda-toolkit-archive

  推荐使用:CUDA Toolkit 11.7 Update 1

7.如果未安装pytorch,在3步骤网站中选择对应系统和版本,根据提示安装;

一般情况下都是这个版本,在终端运行图中给出的pip即可


8.检查torch版本和 GPU 驱动程序和 CUDA 是否已启用并可由 PyTorch 访问

  检查torch版本,在CMD执行:python

>>>import torch

>>>torch.__version__

  检查GPU 驱动程序和 CUDA 是否已启用并可由 PyTorch 访问,在CMD执行:python

>>>import torch

>>>torch.cuda.is_available()

此处应返回TRUE;

9.如果已经安装过torch,且torch和CUDA版本不匹配,需删除torch重新安装,在CMD(以管理员身份运行)执行:pip uninstall torch

  然后重新安装torch,我的环境安装的是torch2.0.1+cu117,安装指令是 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

  执行可能多次报错,一般为网络原因,反复重试,直到出现Successfully installed torch-2.0.1+cu117

  可以通过8步骤的方式再次验证是否安装成功、torch和CUDA是否匹配。

  

3、可能出现的问题:未安装Python环境

  解决方案:自行百度安装;


ChatGLM2-6b部署日志及问题记录的评论 (共 条)

分享到微博请遵守国家法律