欢迎光临散文网 会员登陆 & 注册

模型推荐Nous-Hermes-13b+chinese-alpaca-lora

2023-06-11 13:35 作者:coyude  | 我要投稿

最近NousResearch/Nous-Hermes-13b模型比较火(至少TheBloke/Nous-Hermes-13B-GPTQ的下载量已经高达160K了)。该模型自称在各种任务中表现不亚于GPT-3.5-turbo,长回复、低幻觉率和缺乏OpenAI审查机制的优点。 群友和我测试了下感觉也挺不错的。


模型介绍
160K下载量


重点是,昨晚有个群友尝试把chinese-alpaca-13b的lora和Nous-Hermes-13b融合在一起,成功了,模型的中文能力得到提升,有兴趣可以试试。 目前该群友以上传融合后的模型 请在hugging face上搜索: Bandifishing/Nous-Hermes-13b-Chinese 

网址:https://huggingface.co/Bandifishing/Nous-Hermes-13b-Chinese


该模型是原版非量化模型,要加载的话建议启动bitsandbyts的load-in-4bit或load-in-8bit功能(懒人包的启动程序的设置页面有选项),不然会爆显存。



今早我查阅了Chinese-LLaMA-Alpaca的文档,也把chinese-alpaca-13b的lora和Nous-Hermes-13b融合了,并制作了ggml模型(适合在无独立显卡/A卡/显存不足)的用户使用。 目前已先上传q5_1模式到hugging face上,

请在hugging face上搜索:coyude/Nous-Hermes-13b-Chinese-GGML

网址:https://huggingface.co/coyude/Nous-Hermes-13b-Chinese-GGML



目前还有8个版本的模型正在上传中。 下午打算看看能不能转成GPTQ量化模型。



模型推荐Nous-Hermes-13b+chinese-alpaca-lora的评论 (共 条)

分享到微博请遵守国家法律