从零开始本地部署ChatGLM2-6B（windows）

1、介绍（来自Github和网页资料）：

ChatGLM2-6B 是清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发的的中英双语对话大模型 ChatGLM-6B 的第二代版本，模型对话流畅、部署门槛较低。其中6B版本是开源的，可自由部署。在线版为130B模型。

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：

1. 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。

2. 更长的上下文：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练。对于更长的上下文，我们发布了 ChatGLM2-6B-32K 模型。LongBench 的测评结果表明，在等量级的开源模型中，ChatGLM2-6B-32K 有着较为明显的竞争优势。

3. 更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。

4. 更开放的协议：ChatGLM2-6B 权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

2、官网和源代码

官网：

https://chatglm.cn/

github官网：

https://github.com/THUDM/ChatGLM2-6B

huggingface官网：

https://huggingface.co/THUDM/chatglm2-6b

3、教程开始：

======硬件最低需求=====================================================

1、不同量化等级的模型，对硬件要求不同，windows/linux均可。

2、N卡配置比较简单，推荐使用N卡。（A卡目前可使用ROCm在linux中部署）

3、显存要求：

+++++++++++++++++++++++++

模型                      量化         显存要求

ChatGLM2            FP16         13G

ChatGLM2            INT4            6G

ChatGLM2-32k     FP16         20G 

ChatGLM2-32k     INT4          11G

++++++++++++++++++++++++++

======准备工作=========================================================

1、安装vscode，用于编辑代码：https://code.visualstudio.com/

>>>打开插件库，安装中文语言包

>>>安装markdown all in one，用于看md文件

2、安装cuda v11.8：https://developer.nvidia.com/cuda-11-8-0-download-archive

3、安装python，注意勾选添加至系统变量PATH：https://www.python.org/downloads/

4、安装pytorch： pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

>>>打开powershell或cmd

>>>执行nvidia-smi

>>>执行

python

import torch

torch.cuda.is_available()

>>>查看pytorch和cuda是否正常运行

5、安装git：https://git-scm.com/downloads

6、安装git-lfs：https://git-lfs.com/

>>>打开git bash

>>>执行git lfs install

======环境部署=========================================================

1、创建空文件夹

2、git clone https://github.com/THUDM/ChatGLM2-6B.git

3、安装依赖

>>>pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple

4、下载相应模型文件

>>>打开git bash

>>>执行git lfs install 确认lfs正常

>>>git clone https://huggingface.co/THUDM/chatglm2-6b

5、修改 web_demo.py 、web_demo2.py文件

>>>修改模型地址为本地目录

>>>修改代码使其可以局域网访问

6、打开powershell或cmd，输入：

python web_demo.py 

或 streamlit run web_demo2.py

具体流程可看我发布的教程视频：https://www.bilibili.com/video/BV16p4y1g7UE