吹爆！北大博士手把手教你大模型微调技巧，大模型训练流程及原理+微调容易踩的坑全详

LLM/LLM在某一垂直领域的 评价指标体系

1.

finetune在训练过程中改变了模型的参数，本质修改了下游任务代码，完成了BP修改网络的参数。而LangChain+LLM并没有，因为本质是prompt的介入，不存在模型内部参数调整。

2. ①Freeze：解冻一些层来训练，其他都层都冻结。

Lora微调

  ②Lora：技术原理简单，但真有奇效，需要注意rank大小的设置，是根据业务领域来的，领域垂直性越强，就要设置的越大，比较有意思的就是数据，看起来最没技术含量的事情，大家不愿意做，但其实是最难的，数据收集存在诸多问题，数据少且封闭，缺乏标注，垂直领域往往对结果要求很高。

   另外，有一些内容（比如商品的售价）经常在变换，如何让模型快速响应这些内容，训练（微调）一次周期还挺长的，目前可以采取配知识库的方法（ChatGLM+LangChain+知识库）

注意：生成式模型的一系列审核机制，对用户的输入数据进行审核，防止输入一些有诱导性的问题，模型需要对回答输出进行审核。内容风控是上线前的重中之重。