可在线运行的notebook链接：在kaggle网站搜索：

Ziya2-13B-Chat

首先需要安装模型量化资源包：

接着使用四比特量化该模型：（量化模型可以节省显存）

最终我们向模型进行提问：