Qwen-7B低资源量化推理

可在线运行的notebook示例：在kaggle网站搜索 Qwen-7B-Chat

首先需要安装依赖：

接着使用4比特量化加载模型：（这里注意添加要  fp16=True）

然后你就可以向模型进行提问了：