从零开始的ChatGLM教程（三）

写在前面

本文中所有的内容仅供参考，本人并不对任何产生的后续问题负任何责任。

特别鸣谢：秋葉aaaki https://space.bilibili.com/12566101?spm_id_from=333.337.0.0

感谢大佬们的开源精神，为社区做出的巨大贡献。在本章节中将会使用秋葉aaaki的一键包进行演示。

软件安装与运行

经过了前面的两个章节，到这里你应该已经配置好了适合自己的环境，这个时候我们就可以真正地开始安装AI程序了。到写这篇文章的时间为止，市面上已经有了很多不同的开源模型。大家可以自行选择适合自己的LLM模型进行安装，例如LLAMA系的模型，哈工大的开源模型，ChatGLM等等。在这篇文章中，我选择使用ChatGLM进行本地化部署。

实际上你可以通过直接百度搜索ChatGLM查找清华大学相关项目的主页或者访问此链接：https://github.com/THUDM/ChatGLM-6B 直接通过Github库获取软件包。但大佬秋葉aaaki已经做了傻瓜式的一键安装包，所以我们直接选择最简单的方法。可以通过查看视频：https://www.bilibili.com/video/BV1E24y1u7Go/?spm_id_from=333.999.0.0 下方的介绍来获取一键包程序。其实整个安装包的原理非常简单，下载压缩包后将三个压缩包直接解压到同一个文件夹里，直接选择适合自己环境的运行程序双击运行就可以了。

如果一切顺利，那么在经过几分钟到十分钟到加载后，属于你的本地ChatGLM就已经开始运行了，输入cmd中显示的网址打开Web-UI界面就可以运行了。

需要注意的是，程序开始运行的时候就需要一部分的显存/内存，之后的每一次对话都需要消耗一部分的显存/内存，当所有的显存/内存都被占用满后，就会显存/内存溢出模型崩溃。这个时候只能重新启动以释放显存/内存。Int4量化下模型的需要6G显存，Int8量化下模型需要8G显存，而原版的fp16亲测需要12G及以上的显存才能正常运行。同时都建议搭配16G及以上的内存，而CPU模式下需要32G的内存以运行。所以在使用时还请注意选择适合自己的启动脚本。Int4的效果没有Int8好，fp16原版效果最好。

该章节的教程就此结束，我将会在下一章中介绍ChatGLM的Lora训练方法。

附

在这里我收集了一些在使用中常见的报错及解决方案，仅供参考：

1. Symbol cudaLaunchKernel not found ...cudart64_65.dll 需要你检查更新显卡驱动

2. RuntimeError... cublasLt not initialized 缺少CUDA环境，需要安装CUDA

3.Library * is not initialized 缺少CUDA或者Cudnn，如果已经安装了那可能是PATH路径不对，需要检查PATH是否正确。如果仍然不是那可能是缺少某个系统dll文件，错误中的XXX.dll即为你缺失的文件

4.OutOfMemoryError: CUDA out of memory. 爆显存了

5.在加载100%后会卡住 正常现象，等一会就好了

后续有其他问题及解决方案待补充，欢迎评论区留言

本文中如有错误或疏漏，欢迎私信我或在下方评论区留言，我会修正或补充