可在线运行的notebook链接:在kaggle网址搜索:BlueLM-7B-Chat
首先需要安装魔搭社区依赖包:
接着使用较低精度加载该模型(可以降低显存使用,同时不影响生成效果影响):
设定测试任务和提示词:
最终进行测试,同时观察最终生成结果: