Qwen微调：单机单卡、单机多卡和多机多卡的实现

首先需要克隆qwen仓库的代码：

接着跳转到项目目录下：

然后安装项目所需的依赖包：

根据项目的要求，我们要格式化训练的文件：

现在让我们下载模型文件：

做好前期的准备工作后就可以进行单机单卡的微调了：

微调后得到的是小模型，现在让我们将它和原始模型进行合并：

最终我们就可以使用微调后的模型了：

以上是单机单卡的微调，那么对于单机多卡来说，就微调的步骤有些不同：

多机多卡的微调就只需要更改torchrun后面的参数即可，同时我们需要在多台机器上同时运行脚本。