垂直领域大模型汇总
垂直领域大模型汇总
垂直领域大模型是指在特定的领域或行业中经过训练和优化的大型语言模型。与通用语言模型相比，垂直领域大模型更专注于某个特定领域的知识和技能，具备更高的领域专业性和实用性。
与通用大模型相比，垂直领域大模型具有以下优势和劣势：
优势：
领域专业性：垂直领域大模型经过专门的训练，能够更好地理解和处理特定领域的知识、术语和上下文。
高质量输出：由于在特定领域中进行了优化，垂直领域大模型在该领域的输出质量通常比通用大模型更高。
特定任务效果更好：对于特定领域的任务，垂直领域大模型通常比通用大模型表现更好。
劣势：
数据需求和训练成本：垂直领域大模型需要大量的特定领域数据进行训练，这可能会面临数据收集和标注的挑战。
适应性限制：垂直领域大模型在特定领域中的适应性较强，但在其他领域的表现可能相对较弱。
更新和维护成本：由于特定领域的知识和要求经常变化，垂直领域大模型需要定期更新和维护，以保持与新发展的同步。
下面介绍几个知名度较高的垂直领域大模型，涉及教育、金融、医学、法律四个领域。
医疗
DoctorGLM：
地址：https://github.com/xionghonglin/DoctorGLM
简介：基于 ChatGLM-6B的中文问诊模型，通过中文医疗对话数据集进行微调，实现了包括lora、p-tuningv2等微调及部署
BenTsao：
地址：https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese
简介：开源了经过中文医学指令精调/指令微调(Instruct-tuning) 的LLaMA-7B模型。通过医学知识图谱和GPT3.5 API构建了中文医学指令数据集，并在此基础上对LLaMA进行了指令微调，提高了LLaMA在医疗领域的问答效果。
BianQue：
地址：https://github.com/scutcyr/BianQue
简介：一个经过指令与多轮问询对话联合微调的医疗对话大模型，基于ClueAI/ChatYuan-large-v2作为底座，使用中文医疗问答指令与多轮问询对话混合数据集进行微调。
HuatuoGPT：
地址：https://github.com/FreedomIntelligence/HuatuoGPT
简介：开源了经过中文医学指令精调/指令微调(Instruct-tuning)的一个GPT-like模型
Med-ChatGLM：
地址：https://github.com/SCIR-HI/Med-ChatGLM
简介：基于中文医学知识的ChatGLM模型微调，微调数据与BenTsao相同。
QiZhenGPT：
地址：https://github.com/CMKRG/QiZhenGPT
简介：该项目利用启真医学知识库构建的中文医学指令数据集，并基于此在LLaMA-7B模型上进行指令精调，大幅提高了模型在中文医疗场景下效果，首先针对药品知识问答发布了评测数据集，后续计划优化疾病、手术、检验等方面的问答效果，并针对医患问答、病历自动生成等应用展开拓展。
ChatMed：
地址：https://github.com/michael-wzhu/ChatMed
简介：该项目推出ChatMed系列中文医疗大规模语言模型，模型主干为LlaMA-7b并采用LoRA微调，具体包括ChatMed-Consult : 基于中文医疗在线问诊数据集ChatMed_Consult_Dataset的50w+在线问诊+ChatGPT回复作为训练集；ChatMed-TCM : 基于中医药指令数据集ChatMed_TCM_Dataset，以开源的中医药知识图谱为基础，采用以实体为中心的自指令方法(entity-centric self-instruct)，调用ChatGPT得到2.6w+的围绕中医药的指令数据训练得到。
XrayGLM，首个会看胸部X光片的中文多模态医学大模型：
地址：https://github.com/WangRongsheng/XrayGLM
简介：该项目为促进中文领域医学多模态大模型的研究发展，发布了XrayGLM数据集及模型，其在医学影像诊断和多轮交互对话上显示出了非凡的潜力。
法律
LaWGPT：基于中文法律知识的大语言模型
地址：https://github.com/pengxiao-song/LaWGPT
简介：该系列模型在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型在法律领域的基础语义理解能力。在此基础上，构造法律领域对话问答数据集、中国司法考试数据集进行指令精调，提升了模型对法律内容的理解和执行能力。
LexiLaw：中文法律大模型
地址：https://github.com/CSHaitao/LexiLaw
简介：LexiLaw 是一个基于 ChatGLM-6B微调的中文法律大模型，通过在法律领域的数据集上进行微调。该模型旨在为法律从业者、学生和普通用户提供准确、可靠的法律咨询服务，包括具体法律问题的咨询，还是对法律条款、案例解析、法规解读等方面的查询。
Lawyer LLaMA：中文法律LLaMA
地址：https://github.com/AndrewZhe/lawyer-llama
简介：开源了一系列法律领域的指令微调数据和基于LLaMA训练的中文法律大模型的参数。Lawyer LLaMA 首先在大规模法律语料上进行了continual pretraining。在此基础上，借助ChatGPT收集了一批对中国国家统一法律职业资格考试客观题（以下简称法考）的分析和对法律咨询的回答，利用收集到的数据对模型进行指令微调，让模型习得将法律知识应用到具体场景中的能力。
金融
Cornucopia（聚宝盆）：基于中文金融知识的LLaMA微调模型
地址：https://github.com/jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese
简介：开源了经过中文金融知识指令精调/指令微调(Instruct-tuning) 的LLaMA-7B模型。通过中文金融公开数据+爬取的金融数据构建指令数据集，并在此基础上对LLaMA进行了指令微调，提高了 LLaMA 在金融领域的问答效果。基于相同的数据，后期还会利用GPT3.5 API构建高质量的数据集，另在中文知识图谱-金融上进一步扩充高质量的指令数据集。
BBT-FinCUGE-Applications
地址：https://github.com/ssymmetry/BBT-FinCUGE-Applications
简介：开源了中文金融领域开源语料库BBT-FinCorpus，中文金融领域知识增强型预训练语言模型BBT-FinT5及中文金融领域自然语言处理评测基准CFLEB。
XuanYuan（轩辕）：首个千亿级中文金融对话模型
地址：https://huggingface.co/xyz-nlp/XuanYuan2.0
简介：轩辕是国内首个开源的千亿级中文对话大模型，同时也是首个针对中文金融领域优化的千亿级开源对话大模型。轩辕在BLOOM-176B的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，它不仅可以应对通用领域的问题，也可以解答与金融相关的各类问题，为用户提供准确、全面的金融信息和建议。
教育
桃李（Taoli）：
地址：https://github.com/blcuicall/taoli
简介：一个在国际中文教育领域数据上进行了额外训练的模型。项目基于目前国际中文教育领域流通的500余册国际中文教育教材与教辅书、汉语水平考试试题以及汉语学习者词典等，构建了国际中文教育资源库，构造了共计 88000 条的高质量国际中文教育问答数据集，并利用收集到的数据对模型进行指令微调，让模型习得将知识应用到具体场景中的能力。
数学
chatglm-maths：
地址：https://github.com/yongzhuo/chatglm-maths
简介：基于chatglm-6b微调/LORA/PPO/推理的数学题解题大模型, 样本为自动生成的整数/小数加减乘除运算, 可gpu/cpu部署，开源了训练数据集等。
文化
Firefly：
地址：https://github.com/yangjianxin1/Firefly
简介：中文对话式大语言模型，构造了许多与中华文化相关的数据，以提升模型这方面的表现，如对联、作诗、文言文翻译、散文、金庸小说等。
大语言模型教程
GPT大语言模型教程：https://xueshu.fun/?cat=&s=gpt
