细分领域功能型大模型改变世界
"大模型开源就是为了发展生态的,不是给你吃鱼籽.
造生态就可以.
一是把llama 2 70b所实现的能力在更小规模上重现,比如7b 1b 甚至576m, 手机上都能流畅运行. llama以后升级了也重复这个过程.
二是训练领域专用功能型大模型,比如数理化模型, stem模型等等, 反正就是发展生态,
这里使用的是分治算法思维,比如炒菜模型,种地模型,编程模型,
反正就是训练一些小型的专用的模型,让一个小模型在一个领域里精通,
最后将这些小模型合并到一起,组装成大模型,也就是将多个领域的专家组合到一起.
现在根本都没有什么生态, 生态有了,需求才会产生,有需求才能赚到钱.
现在处于培育生态阶段.
鱼都没长大,你就想着渔,自然啥都捞不着."
--------------
我在B站的评论.
---------------------------------
时代已变,
现在有很多人跟不上时代,
大多数人更不可能有超越时代的远见.
比如功能型大模型,如果训练一个精通某种编程语言的大模型,它完全可以成为这种语言的专家,
那些说程序员无法被替代的不过是意淫,他们可能根本没用过ChatGPT,没领教过ChatGPT编写代码,分析代码,检查错误的能力有多么强.
我这里描述的是一种AMD那种Chiplet的小芯片发展策略. 大模型也可以走这种发展道路,
集中力量办大事,一个大模型对应一个细分领域,可以用一个llama2 70b来训练这么一个细分领域,比如一种编程语言.
而不应把力量分散,用一个llama2 70b就训练多种编程语言甚至跨领域,这样训练出来的模型,推理效果自然不尽如人意.
这个过程自然是无法与GPT3那种千亿级模型,和GPT4那种万亿级模型相提并论的,同时也没必要跟它们比.
何况这些都是私有大模型,发展不了多远.
上面这是举一种例,
我说的领域专用功能型大模型,还可以更小,比如1b 或百m,也应该更小,主要是为了能让大模型达到专家能力的同时,
又能运行在各种小芯片上,比如嵌入式,
这样就能让生态如雨后春笋般发展起来,比如炒菜专用大模型,厨师大模型,种地大模型,种植大模型,无人机大模型,
现在这些相关的数据集是海量的,可以迅速地训练出来,然后安装到嵌入式里,你们自己想想,未来这方面的生态潜力是什么前景?
而我们人类社会的细分领域,人类文明发展到现在,没有上千种也有上万种了吧,
这些全都可以被大模型拿下,
因为大模型的本质就是神经元网络啊,模仿人类的语言中枢之镜像.
人类的细分领域全都可以抽象地概括为---某种语言!
比如木匠可以说是一个人精通了木工相关的行业语言,
石匠可以说是一个人精通了玩石头相关玩法,
铁匠可以说是精通了怎么打铁,
这种匠就是一种语言,你可以想象为一种指令集,每一个指令相当于这种匠语言的某个发音和字词,
一种指令集基本都有上百条指令,复杂的上千条,把几十上百条指令根据工匠业务所需有机组合起来,就得到有限的语言集合,
而你学会了这种语言,你也就成为了这种匠人,或者换成现在的说法---专家.
既然是语言,那就为存储到大模型里铺平了道路,
因为大模型它是一种神经元网,人的语言中枢也是一种神经元网,
所以世界运行逻辑的底层代码是逻辑相通的,你悟到了吗,
那我上面说的各种匠也就能顺理成章地成为领域专用功能型大模型.比如唱歌大模型,作曲大模型,作词大模型,
而中文编程只是编程领域的一个细分领域,
若我们想实现这样的中文汉字编程,那么我们只要训练这样一个功能型大模型就行了,让它成为中文编程的程序员专家.
唯一的问题就是细分领域数据集的获取问题,
而恰恰编程领域又有复制粘贴大法,什么意思呢?将已有的拉丁字母标识符代码数据集替换为中文汉字不就行了嘛,
这些源码甚至都是高质量数据集,
而我们只需要动动手指写个简单的替换程序,甚至替换脚本即可,替换规则完全可以用ChatGPT或llama来帮我们翻译,
这样程序源码里的标识符(函数名 变量名 各种名 注释什么的)就可以交给替换程序/替换脚本自动完成,
因为所有重复的事都可以用for while 递归来解决,工厂流水线到现在都还没被程序替代,我是万万没想到的,
但不要紧,现在大模型来了,进度只会更快.
再进一步,试想,若我们把llama这样的开源大模型当做基座,然后配上AutoGPT,会带来什么效果?
把基于开源大模型训练的细分领域功能型大模型当做AutoGPT的基座呢?
AutoGPT就相当于给大模型配一个可以进行长期记忆的存储器,让大模型实现上下文相关的计算,直到完成一个目标.
这是不是相当于一把扳手或一把虎钳?一套多功能螺丝刀?
而细分领域功能型大模型就是为了实现这样的智能扳手. 为人所主导,根本不会产生智械危机.
细分领域功能型大模型从源头上就是安全的.
