【chatglm2-6b-32k】超长文本对话模型

可在线运行的notebook示例：在kaggle网站搜索 chatglm2-6b-32k 即可查看

首先需要导入模型：（这里仅使用CPU推理，因为该模型对内存和显存的要求较高，若你的电脑性能较高可以使用GPU推理）

接着即可进行模型推理，同时计算模型推理的时间：

需要注意的是，该模型应该使用在长文档对话的情况，若仅仅使用于短文本对话，不妨使用原始的chatglm2-6b。并且长文本模型对电脑的性能要求会更高，后续可以期待一下量化版本的长文本模型。