Baichuan-13B对话大模型目前位列开源榜第一

notebook链接：

首先需要安装依赖：

接着加载量化后的模型，并且限制GPU的使用，防止显存溢出：

最后即可开始模型的推理：