欢迎光临散文网 会员登陆 & 注册

Mini GPT-4 7B 整合包 12G显存可用 支持中文 支持图文对话

2023-07-12 00:26 作者:二仙桥散人  | 我要投稿

前段时间up的方法没有成功,似乎是torch的时候出了点问题,后面到处找材料理解,现在大概搞明白了安装的皮毛,最终选择了搭建虚拟环境,因为还有很多ai需要不同的cuda,python和torch。所以如果将来受不了其他模型的诱惑,而网上又没有傻瓜包,就要面临自己部署,并舍弃这个minigpt4的抉择,所以建议大家用虚拟环境。


这次的安装总结:这些大数据模型,基本上离不开torch,cuda,python三件套。torch和cuda的版本深度绑定,基本上处于一一对应,乱用容易不行。而torch叫做pytorch说明又和python的版本深度挂钩,在不同的ai中,python也需要特定的版本,所以如果自己部署,必须用到conda这个东西,这是个虚拟环境制造机,用来容纳不同版本的python,想用哪个的时候调用哪个环境。同时也可以在调用的环境中安装不同版本的torch和cuda,多说一句,在conda中用命令安装torch时,官方的命令会顺便安装对应的cuda,所以命令行是很不容易出错的方式,但是网络是个问题。


所以顺序是先安装conda,再创建特定版本python的虚拟环境,最后激活该环境,并通过conda安装torch,安装torch的命令行去torch官网复制(会顺便带上安装cuda的命令),需要选择选项后复制。这些搞定后,就基本了解安装这些环境的思路了。

具体操作:

1. conda推荐用miniconda,地址是https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/。最新的安装包好像并没有自动添加环境变量,所以安装后分别添加这三行环境变量 C:miniconda C:miniconda\Scripts C:miniconda\Library\bin。关于环境变量这玩意,我的理解是类似于超级快捷方式的东西,系统的powershell和cmd这些可以不用打开特定文件夹的情况下只通过输入命令运行特定的程序,因为路径已经提前规划好了。所以 添加就很好理解,因为在下面要使用conda这个命令的时候,powershell是不知道conda这玩意在哪的,所以要提前和电脑说一下。


2.打开powershell

运行一下这个:./conda init --all

创建名为py3109的虚拟环境(命名随便都行): conda create --name py3109 python=3.10.9 (创建虚拟环境的同时安装了python3.10.9)

激活conda的虚拟环境:conda activate py3109


3.去这个网站:https://pytorch.org/get-started/locally/,选择conda,python,cuda11.7,选完以后会出现下面的这个命令

在powershell里面输入并回车(安装pytorch):conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia


4.完事以后cd到minigpt文件夹:cd I:\MiniGPT-4

按作者要求安装: .\install.ps1

打开minigpt: .\start.ps1


5.以后每一次都需要先激活一下虚拟环境:conda conda activate py3109

再去按照up要求cd并打开模型。


为啥要自建的虚拟环境打开?

虚拟环境py3109里面包含了 cuda11.7 torch 2.0.1 和python 3.10.9

base环境里面只有 python3.9.16,所以无法运行


另附一些命令

conda list :查看conda里面的东西

python :进入python环境

quit() : 退出python环境

conda deactivate py3109 : 退出py3109环境


以后打开powershell都会自动加载base环境,这是是因为用了这个代码:./conda init --all (大概是每次自动把conda加载到powershell,所以一开powershell自动进入base环境,但是对powershell其他功能没影响)


个人理解: base环境也是一个虚拟环境,只是官方替你搞好的一个环境,因为c盘里面找不到python3.9.16,似乎还是在conda里面。


没有任何python基础,完全是依靠半猜半推理,安装这玩意真费劲。

Mini GPT-4 7B 整合包 12G显存可用 支持中文 支持图文对话的评论 (共 条)

分享到微博请遵守国家法律