A卡 ChatGLM2-6B 本地部署详细教程 (Linux)

【前言】

本文章适用于AMD显卡在本地部署ChatGLM2教程。要求显存必须8G及以上。ChatGLM2是清华大学THUDM的开源项目。源项目地址为：

实测ChatGLM2-6B中文表现对比ChatGPT3.5还是有一定差距，但是对于低门槛开源项目而言，其表现已经相当惊艳了！而且它最大的优势是可以在消费级GPU上进行LoRA微调定制自己的模型。

【环境准备】

系统要求为Linux，推荐Ubuntu22.04。部署前请确保显卡驱动已完整安装，测试方法为在终端中输入：

需要有GPU信息出现。如果不会安装这些，请使用我开发的Stable-Diffusion启动器，点击一键安装，即可自动安装显卡驱动。7900系列请参考个人首页的7900专栏文章。

【开始部署】

首先在主目录任意文件夹右键打开终端，将项目clone到本地：

如果下载比较慢，请使用下面这个软件，并开启TUN模式：

然后在项目文件夹内依次运行下面代码，创建并进入虚拟环境：

成功后，用户名前方会有(venv)前缀：

然后安装项目所需要的pytorch和其他依赖文件：

完成后，需要下载模型文件运行：