可在线运行的notebook：在kaggle网站搜索：

openbuddy-mistral-7b-v13.1

首先安装魔搭社区包：

接着使用bf16精度加载该模型：

最后我们就可以进行模型推理了，注意这里有一长串的限制输出指令，应该可以剔除掉。