让AI读完所有网文，它会写出什么样的逆天大纲【图灵计划07】

• 如果把预训练看作九年义务教育，学习基本的知识与能力，那么重新训练或微调，就是让他继续深入某个特定领域，在基础能力之上，进一步掌握某个细分专业的知识
• 重新训练有两种
• 一是基于参数量在几十亿的小模型，进行本地服务器的微调，比如我曾用过的Alpaca-7B或者GLM-6B；它的好处是成本较低，缺点是只能胜任长度较小，逻辑性较低的文本任务
• 二是重新训练几千亿参数的大模型，比如GPT3，但是成本太高，仅算力成本就得接近千万
• 相结合的方式：
• OpenAI的二次训练，缺点是模型本身的中文能力略有不足
• 国内有，百度智能云千帆大模型平台，比较方便

------

该笔记已整合进个人知识体系，详见 [图灵计划](http://wangc.site/cbrain/share?nodeid=bb8de270ad22a39c)