发布一个知识总结能力超越gpt3.5的微调模型
刚发布了个模型 欢迎体验 https://huggingface.co/fb700/chatglm-fitness-RLHF 本次训练使用的方法 首先,用40万条优质数据进行强化训练,以提高模型的基础能力; 第二,使用30万条人类反馈数据,构建一个表达方式规范优雅的语言模式(RM模型); 第三,在保留SFT阶段三分之一训练数据的同时,增加了30万条fitness数据,叠加RM模型,对ChatGLM-6B进行强化训练。 成果,训练后在健康咨询,文档总结能力上不但强于glm,而且部分能力上更是强于glm2,配合“闻达”和“langchain-chatglm”等知识库项目,应用体验上对比glm和glm2均匀显著提升。 性能,fp16运行时速度上比原模型提升20%.可以代替原有官方模型,大家可以fp16、int4、int8使用。 问下类似问题你们就知道他有多强了 系统性红斑狼疮的危害和治疗方法是什么? 早期激素和免疫抑制剂用药建议是什么? 本模型可以无限制多轮会话。 网友反馈
第一例为本模型知识库召回结果
给大家截个图,这个是同一份文件,分别调用chatgpt3.5,chatglm2,本模型召回结果。