如何在一台笔记本上部署大语言模型----加强版

一 起因

之前的推文《如何在一台笔记本上部署大语言模型》有提到llama.c，这种大模型运行方式给我们指明了一条路，使得消费级电脑上运行ChatGPT开始变得触手可及。但是，那时这种大模型运行方式刚刚兴起，还没有相应的精准大模型可以适配。但是，随着笔者的不断的挖掘（其实是开源社区的不断努力），终于找到了可以是适配的高质量的大语言模型了。下面，话不多说，让我们开始新一轮的加强版的大模型之旅

二 正文

2.1 下载仓库，安装docker容器

2.2 下载模型

从Hugging Face网站下载模型，注意，本推文中最重要的是ggml-model-f16.bin模型文件。

2.3 模型启动

如2.1所示，我们已经下载的docker image文件。之后我们需要通过命令进入docker环境中。这里需要注意的是，我们下载的大模型需要在docker_catalog文件夹的run_catalog子文件夹中。

之后，在docker环境中，我们首先仍然需要准备必要的python环境，用以运行Llama2模型。

需要注意的是，如果我们不运行上述代码，则会出现以下报错。

接着，在python环境中运行我们的代码（直接在命令行输入python，即可进行python环境）。这里，我们希望实现对下面这句话的润色

润色前的英文翻译：we reanalyzed the gradient centrifugation data of HCMV virus-infected cells at various timepoints, including 24, 48, 72, 96 and 120 hours post infection (hpi), using the SD algorithm

2.4 结果解析

输出的output结果包含了需要信息。

但是，这些复杂信息中我们只需要才查看text键的值即可（去除我们输入的部分文本，如下所示。

润色后的英文翻译：24, 48, 72, 96, and 120 hours after infection, we reanalyzed the gradient centrifugation data from HCMV-infected cells using the SD algorithm.

当然，一次调用即完成润色还是不够的，我们还需要调整参数等等，最终实现高质量的翻译工作

2.5 工作总结

最后，我们在消费级电脑上完成llama-2-13B的部署，模型加载和使用，并成功达成了我们的目标。完成了一句话的润色工作。

三 惯例小结

在之前推文中提到的大语言模型的推广，还以为需要假以时日。然后，随着越来越多的资源被投入到这里，笔者发现对于所有人而言，这种消费级的大语言模型即将唾手可得。或许近两三年之后， 我们每个人都不用为了流程式的写作而烦恼了，可以真正的将精力投入到工作中了

不过，希望能够开发个专门针对特定研究领域的微调算法，让我们可以各个开发自己真正独一无二的写作助手。比如我就是看了这些文献，所以我的写作风格就是如此独特（强烈的个人特征），而不是与别人大同小异，被人认为抄袭和复制。不过这样，各位读者应该就不能轻易泄露自己的个人写作风格了，不然，你就会被大语言模型记录复制，而没有原创的自己了。

四 公众号其他资源（方便读者使用）

本公众号开发的相关软件，Multi-omics Hammer软件和Multi-omics Visual软件欢迎大家使用。

Multi-omics Hammer软件下载地址：

https://github.com/wangjun258/Multi-omics-Hammer

Multi-omics Visual软件下载地址：https://github.com/wangjun258/Multi_omics_Visual/releases/tag/Multi_omics_Visual_v1.03

PS：因为本软件是用python脚本撰写，调用了部分依赖包，用户首次使用需要安装python以及对应的包，安装之后便可永久使用。

下面是本号在其他平台的账户，也欢迎大家关注并多提意见。

简书：WJ的生信小院

公众号：生信小院

博客园：生信小院

最后，也欢迎各位大佬能够在本平台上：1传播和讲解自己发表的论文；2：发表对某一科研领域的看法；3：想要达成的合作或者相应的招聘信息；4：展示自己以寻找博后工作或者博士就读的机会;5:博导提供博后工作或者博士攻读机会，都可以后台给笔者留言。希望本平台在进行生信知识分享的同时，能够成为生信分析者的交流平台，能够实现相应的利益互补和双赢（不一定能实现，但是梦想总得是有的吧）。 

五 封面图

又一个新来的小动物：豚鼠