可在线运行的notebook链接：在kaggle网站搜索

AquilaChat2-7B

首先需要安装模型量化包，因为该模型比较吃显存：

接着使用四比特量化加载该模型：

最终我们即可和模型进行对话：