可在线运行的notebook：在kaggle网站搜索：

ChatGLM2-6B-int4 Fine tune

首先进行模型推理：

进行单轮对话：

多轮对话：

然后我们来看看模型微调。首先需要克隆仓库并安装依赖：

接着将数据转换为模型微调所需的格式：

准备好数据后就可以进行模型微调了：

接着我们加载微调后的新模型：

我们使用源数据中的问题进行提问：

刚刚在使用微调后模型进行提问得到的答案其实是错误的，所以微调有时并不是很有效。那么这时我们需要了解一下本地知识库问答。

首先将问答对合并为一列：

接着初始化文本转向量模型，并创建向量数据库：

使用需要提问的问题从向量数据库中找到最相近的问答对：

最终我们将提问问题和已知信息传递给模型，最终得到了正确的答案：