三个中文大模型(chatglm-6B, moss, baichuan-7B)的本地单机部署

这篇文章讲了下单机部署三个模型的效果，我也是踩了很多坑才搞定的，以后后出一系列文章给大家讲如何部署，以及大模型的原理

首先，先给大家简单介绍一下是哪3个大模型，由于都是公开资料，直接让AI来告诉大家吧：利用NEW BING :

1.         ChatGLM-6B：这是一个由清华大学知识工程和数据挖掘小组（Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University）发布的开源对话机器人。该模型基于 General Language Model (GLM) 架构，具有 62 亿参数。它支持中英双语问答，并针对中文进行了优化。用户可以在消费级的显卡上进行本地部署12。

2.         baichuan-7B：这是一个由百川智能开发的中英文大模型，基于 Transformer 结构，在大约 1.2 万亿 tokens 上训练的 70 亿参数模型，支持中英双语，上下文窗口长度为 4096。该模型在多项中文自然语言处理任务上取得了优异的效果，包括在标准的中文和英文权威 benchmark（C-EVAL/MMLU）上均取得同尺寸最好的效果34。

3.         MOSS：这是一个由复旦大学计算机科学技术学院自然语言处理实验室开发的中英文混合语言模型，基于 Transformer-XL 结构，在大约 1.4 万亿 tokens 上训练的 100 亿参数模型，支持中英双语，上下文窗口长度为 2048。该模型在多项中文自然语言处理任务上取得了优异的效果

这些模型都不大，可以直接在本地部署，废话不多说，我直接上干货：

综合下来，MOSS模型是一个基于Transformer的多模态对话模型，它可以处理文本、图像等不同类型的输入和输出，但是它的推理速度比较慢，占用的显存也比较大，而且需要大量的数据和计算资源。

chatglm-6b是一个基于GPT的单模态对话模型，它只能处理文本输入和输出，但是它的训练和推理速度比较快，而且性能较好，可以生成流畅和有趣的对话。

baichuan-7b是一个类似于LLaMA的大规模预训练语言模型，它可以处理多种语言和领域的文本，但是它还不支持对话任务，需要进一步做SFT微调来适应不同的对话场景和目标。

下面是问chatglm-6b的结果：

下面是MOSS的结果，跑了有点慢：

最后，是BAICHUAI的结果：

最后，给一下NEW BING的答案：

以及chat-gpt 3.5的答案：