可在线运行的notebook:在kaggle网站搜索 Llama-2-Chinese-13b-chat 即可查看
首先需要安装项目所需依赖:
接着使用8比特量化方式加载模型:(若电脑性能较好可以不选择量化)
现在尝试向模型进行提问吧。微调的13b的模型相较于7b的模型在中文能力上有了较大的提升