如何在一台笔记本上部署AI智能管家（大语言模型）

一 起因

众所周知，最近的大语言模型虽然在各个大公司异常火爆，但是，对于消费级市场而言，却受限于算力，无法真正企及。那么，如何才能在一张常规显卡上运行市面上常见的大语言模型呢？llama.c仓库给我们指明了一条路，使得大模型开始变得触手可及。

二 正文

2.1 编译llama模型，并使用C语言运行代码

2.1.1 下载仓库地址

2.1.2 使用命令去编译程序，用于生成run程序
当然，需要预先安装好各类依赖

2.1.3 下载大语言模型

现在，最火的大模型语言非meta的llama模型莫属了。因此，我们需要下载模型（因为算力有限，以及编译问题，目前这个仓库只能运行llama-2-7b模型）到指定path中，比如本文下载到“pre_model/llama_2_7b”文件夹中

2.1.4 转换大语言模型

利用仓库作者给定的工具将模型转换成为llama2_7b.bin，方便c语言脚本调用

其中，模型写入的主要是这个文件consolidate.00.pth，大于14个G左右

2.1.5 调用模型。
其中llama2_7b.bin就是经过编译的meta开源模型，随后‘1.0’和‘256’分别是指定温度和步长，最后的‘a fish love a cat and write a story’则是我们的提示词。接着，运行下面的代码，我们即可获得对应的结果啦

最后，我们即可获得在llama模型下基于提示词的生成式语言回复

三 惯例小结

目前来看，大语言模型带来的变革已经来到。然而，由于算力等限制，大模型还无法真正发挥它的功能。不过，就目前来看，目前这一困境正在被开发者们所解决。相信，在不久的未来，每个人的手机上都会有一个私人定制的chatGPT了吧。

四 公众号其他资源（方便读者使用）

本公众号开发的相关软件，Multi-omics Hammer软件和Multi-omics Visual软件欢迎大家使用。

Multi-omics Hammer软件下载地址：

https://github.com/wangjun258/Multi-omics-Hammer

Multi-omics Visual软件下载地址：https://github.com/wangjun258/Multi_omics_Visual/releases/tag/Multi_omics_Visual_v1.03

PS：因为本软件是用python脚本撰写，调用了部分依赖包，用户首次使用需要安装python以及对应的包，安装之后便可永久使用。

下面是本号在其他平台的账户，也欢迎大家关注并多提意见。

简书：WJ的生信小院

公众号：生信小院

博客园：生信小院

最后，也欢迎各位大佬能够在本平台上：1传播和讲解自己发表的论文；2：发表对某一科研领域的看法；3：想要达成的合作或者相应的招聘信息；4：展示自己以寻找博后工作或者博士就读的机会;5:博导提供博后工作或者博士攻读机会，都可以后台给笔者留言。希望本平台在进行生信知识分享的同时，能够成为生信分析者的交流平台，能够实现相应的利益互补和双赢（不一定能实现，但是梦想总得是有的吧）。 

五 封面图

不得不说，非常喜欢编程界将各种小动物当做项目或者书籍的封面的这种趋势。让我们即看的了可爱的动物，又学习到了知识，何乐而不为呢