模型推荐Nous-Hermes-13b+chinese-alpaca-lora
最近NousResearch/Nous-Hermes-13b模型比较火(至少TheBloke/Nous-Hermes-13B-GPTQ的下载量已经高达160K了)。该模型自称在各种任务中表现不亚于GPT-3.5-turbo,长回复、低幻觉率和缺乏OpenAI审查机制的优点。 群友和我测试了下感觉也挺不错的。


重点是,昨晚有个群友尝试把chinese-alpaca-13b的lora和Nous-Hermes-13b融合在一起,成功了,模型的中文能力得到提升,有兴趣可以试试。 目前该群友以上传融合后的模型 请在hugging face上搜索: Bandifishing/Nous-Hermes-13b-Chinese
网址:https://huggingface.co/Bandifishing/Nous-Hermes-13b-Chinese

该模型是原版非量化模型,要加载的话建议启动bitsandbyts的load-in-4bit或load-in-8bit功能(懒人包的启动程序的设置页面有选项),不然会爆显存。

今早我查阅了Chinese-LLaMA-Alpaca的文档,也把chinese-alpaca-13b的lora和Nous-Hermes-13b融合了,并制作了ggml模型(适合在无独立显卡/A卡/显存不足)的用户使用。 目前已先上传q5_1模式到hugging face上,
请在hugging face上搜索:coyude/Nous-Hermes-13b-Chinese-GGML
网址:https://huggingface.co/coyude/Nous-Hermes-13b-Chinese-GGML

目前还有8个版本的模型正在上传中。 下午打算看看能不能转成GPTQ量化模型。
