可在线运行的notebook：在kaggle网站搜索

Baichuan2-7B-Chat-4bits

首先需要安装所需依赖：

接着将模型克隆到本地。这里不直接加载模型是因为会报错，可能是个bug。同时我这里下载的是7B的量化模型，若你的电脑性能较好可以下载其他模型：

下载模型到本地后即可加载模型：（注意下载模型到本地后修改模型地址）

最后我们尝试一下模型推理：