大模型ChatGLM-6B安装Mac M1本地部署

ChatGLM-6B Mac M1 Pro安装, 机器配置16G内存

官方文档： https://github.com/THUDM/ChatGLM-6B

1. 下载

 git clone https://github.com/THUDM/ChatGLM-6B

 cd ChatGLM-6B

 下载模型 https://huggingface.co/THUDM/chatglm-6b/tree/main

 git clone https://huggingface.co/THUDM/chatglm-6b

如果网络慢，自己手动到国内网站下载 https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/

下载路径见如下图： ChatGLM-6B/THUDM/chatglm-6b

2. 安装

环境我用的aconda， python3.7以上

pip3 install -r requirements.txt

pip install gradio

修改web_demo.py

模型路径=THUDM/chatglm-6b

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().to('mps')

修改文件 THUDM/chatglm-6b/modeling_chatglm.py 最后位置注释两行

https://huggingface.co/THUDM/chatglm-6b/blob/9d1509a1ade49240535535aa020232c8a4b1c114/modeling_chatglm.py#L1155

3. 解决启动问题

如果遇到了报错 Could not find module 'nvcuda.dll' 或者 RuntimeError: Unknown platform: darwin (MacOS) 的话请参考这个Issue.    https://github.com/THUDM/ChatGLM-6B/issues/6#issuecomment-1471303336

4. 运行

用户：1+1

ChatGLM-6B：The sum of 1 and 1 is 2.

内存13G， 没打满，时间比较久