可在线运行的notebook：在kaggle搜索

Colossal-LLaMA-2-7b-base

首先需要安装量化工具包：

接着使用8比特量化加载该模型：

现在可以进行模型推理：

最终我们得到的效果还可以。