大语言模型之羊驼（alpaca-lora）评测

一 起因

之前的推文中有介绍了dolly（见大语言模型之dolly（ChatGPT平替版）评测,含安装说明哦！）。现在，介绍另一种大语言模型，alpaca-lora，其作为斯坦福开发的新的大预言模型，最近也因为可以在消费级显卡应用而受到关注。

二 正文

2.1 克隆仓库与安装依赖

首先，肯定是官方地址了

然后，读者只需要通过以下操作

2.2 下载模型

接着，需要去huggingface官网网站上下载对应的模型文件，下载的地址在

在网站上我们可以看到这些文件，需要将llama-7b-hf和alpaca-lora-7b各自下载到对应的文件夹中。

2.3 改写脚本，适应命令行操作

改写作者的脚本。这是因为作者的脚本是直接调用gradio去生成web服务。而笔者在这里只是为了在命令行端与大模型来个深度对话（读者可以直接取用，不用考虑代码的细节）。

随后，调用上面的脚本即可启动大模型。不过，本推文中调用的是官方的模型文件，所以调用脚本时需要指定base_model和lora_weights权重文件存放位置。

2.4 错误排查

注意的是，运行时可能会报下面的报错

这是因为你实际上使用的是cuda版本的文件，而这个包则默认调用cpu版本的文件。因此，读者先通过nvidia-smi查看自己的cuda版本，之后将对应cuda版本的文件通过复制替换掉cpu版本的文件，即可解决问题。

2.5 模型测试

一切就绪后，读者就可以愉快的调用这个大模型进行沟通对话了。但是，怎么说呢，不知道是因为模型文件太小的原因还是怎么回事，目前这个大语言模型的对话感觉仍是漏洞百出，不如ChatGPT。目前来看，消费级的大语言模型也需要进一步的优化。虽然，仓库的作者声称经过调教，是能够达到3.5的。但是，这又会是另一番的苦工了，但是笔者稍后会考虑出一期如何对大模型进行调教的内容，欢迎各位读者批评指正。

三 惯例小结

最近，AIGC似乎稍微有点降温了，不像ChatGPT3刚出来的时候那么火爆。人们也开始渐渐习惯身边多了一个这样的AI助手。然而，笔者想说的是，虽然目前AIGC总体还是在好的方向的发展，我们仍得对这种AI保持警惕，警惕技术被坏人所应用，且毫无监管的使用。

四 公众号其他资源（方便读者使用）

本公众号开发的相关软件，Multi-omics Hammer软件和Multi-omics Visual软件欢迎大家使用。

Multi-omics Hammer软件下载地址：

https://github.com/wangjun258/Multi-omics-Hammer

Multi-omics Visual软件下载地址：https://github.com/wangjun258/Multi_omics_Visual/releases/tag/Multi_omics_Visual_v1.03

PS：因为本软件是用python脚本撰写，调用了部分依赖包，用户首次使用需要安装python以及对应的包，安装之后便可永久使用。

下面是本号在其他平台的账户，也欢迎大家关注并多提意见。

简书：WJ的生信小院

公众号：生信小院

博客园：生信小院

最后，也欢迎各位大佬能够在本平台上：1传播和讲解自己发表的论文；2：发表对某一科研领域的看法；3：想要达成的合作或者相应的招聘信息；4：展示自己以寻找博后工作或者博士就读的机会;5:博导提供博后工作或者博士攻读机会，都可以后台给笔者留言。希望本平台在进行生信知识分享的同时，能够成为生信分析者的交流平台，能够实现相应的利益互补和双赢（不一定能实现，但是梦想总得是有的吧）。 

五 封面图

嘿嘿，答案详见下一篇推文呦