最强中文大模型：Baichuan-13B离线模型整合一键运行包下载及使用教程

介绍

Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型，在权威的中文和英文 benchmark 上均取得同尺寸最好的效果。本次发布包含有预训练 (Baichuan-13B-Base) 和对齐 (Baichuan-13B-Chat) 两个版本。Baichuan-13B 有如下几个特点：

更大尺寸、更多数据：Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到 130 亿，并且在高质量的语料上训练了 1.4 万亿 tokens，超过 LLaMA-13B 40%，是当前开源 13B 尺寸下训练数据量最多的模型。支持中英双语，使用 ALiBi 位置编码，上下文窗口长度为 4096。 同时开源预训练和对齐模型：预训练模型是适用开发者的『 基座 』，而广大普通用户对有对话功能的对齐模型具有更强的需求。因此本次开源我们同时发布了对齐模型（Baichuan-13B-Chat），具有很强的对话能力，开箱即用，几行代码即可简单的部署。 更高效的推理：为了支持更广大用户的使用，我们本次同时开源了 int8 和 int4 的量化版本，相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛，可以部署在如 Nvidia 3090 这样的消费级显卡上。 开源免费可商用：Baichuan-13B 不仅对学术研究完全开放，开发者也仅需邮件申请并获得官方商用许可后，即可以免费商用。

离线整合包使用教程

Baichuan-13B模型托管在huggingface上，模型大小一共有20多G，直接使用Github官方代码：https://github.com/baichuan-inc/Baichuan-13B，可能会出现环境错误以及下载失败的问题。

因此学术Fun整合了环境和模型，提供一键运行包，下载地址：https://xueshu.fun/2756/

下载整合包后，请包压缩包解压到D盘根目录，如下图所示，其中Baichuan-13B-Chat文件夹里包含24G的模型文件。

命令行工具方式

命令行方式使用，双击一键启动cli_demo.bat即可，效果如下所示：

网页 demo 方式

网页 demo 方式使用，双击一键启动web_demo.bat即可，效果如下所示：

如果D盘没有空间，想放在其他路径下，也可以修改cli_demo.py和web_demo.py文件中model_path路径即可。