欢迎光临散文网 会员登陆 & 注册

【花师小哲】鉴定网络热门(?)AI(1)——ChatGPT篇(1)

2022-12-20 11:35 作者:花师小哲-中二  | 我要投稿

开新坑了,这个本来也是一个动态来着,为了防止丢失就整合一下。当然,这篇除了动态中出现过的,还有一些新的。

(其实主要是因为众所周知的原因,最近娱乐手段就变少,现在基本就是看看漫画,所以有点闲时间就多看看论文了。希望已经阳性的朋友能够尽快好转,还没有的大家多注意防护吧)

1.12-12动态——历史问题

近期在与ChatGPT磨合了一段时间,网上开始流传ChatGPT非常不善于历史问题。

其实ChatGPT对于深一点的领域知识确实普遍差一点,但在历史领域似乎问题非常突出。 例如如果你问《三国演义》中马超使用什么武器的话,答案中多半和青龙偃月刀有关。

不过这其实不是什么太难理解的问题,还是按我之前说过的,不要单纯用人的思维来理解AI,稍微理解下原理还是很好理解的。 之前有个公众号做过一个实验,就是对于一个画画AI(好像是DELL-E来着?),让它画“狮子和老虎”却经常出现很不稳定和很奇怪的图。这个很好解释,因为视觉大模型预训练一般是用对比学习的方法,就是让不同的图片距离尽可能远,让相似的图片的距离尽可能近。会出现以上情况只是因为“狮子”和“老虎”比较相似,所以就会画出来很多奇怪的混合物。 虽然作为语言大模型的GPT和视觉大模型还是有很多差别的,但GPT的预训练任务是预测下一个词,《三国演义》和青龙偃月刀经常一起出现,所以会回答出青龙偃月刀还挺正常的。

2.12-19动态-文档

原动态:

好家伙,今晚看一个大佬翻译来的ChatGPT文档 已经认为国内再不把大模型搞起来就危险,甚至用上了“危急存亡之秋”的字眼

确实,这件事对于我们业内人的影响可以说是非常大,最近组里也是充满了紧张感,据说比BERT和GPT-3出来的时候还压抑(毕竟那时候我还不在组里)

当然我也知道国内想搞大模型的难处,而且我现在也是有心无力啊,我自己又烧不起这个钱,也不认识能够烧的起这个钱的厂家

当然,过度悲观也不可取,自己的研究还是要一点点脚踏实地做的


补充:

这个文档是讲解ChatGPT的技术来源的一篇长篇文档,于18号被翻译成中文,给个链接:

https://yaofu.notion.site/GPT-3-5-360081d91ec245f29029d37b54573756

这里面真的写了很多有用的知识,对这方面感兴趣的可以去看一下。

3.推理能力与正则兜底?

网上有些关于ChatGPT的推理能力的总结并给出了一个推理模型(还是中国的模型),但是需要注意的是,ChatGPT与推理模型有本质的区别,即ChatGPT并没有专门的代码来处理推理能力。

其实,对于之前很多问答系统,都有一定的“兜底”能力的,就是可以事先准备很多常见问题或直接放那里一堆常见语料,然后在回答的时候可以先用神经网络的方法出结果,然后衡量一下回答,如果质量不够好的话,可以直接使用“正则”等方法去从语料中直接查找相似答案,作为一种“兜底”手段。

而OpenAI说ChatGPT确实是没有加任何正则的(消息来源是我导师,应该是靠谱的),当然,对于敏感问题是否有加一些特殊处理这个不太好说,但可以肯定的是,ChatGPT基本上是完全纯净的单纯靠语言大模型搭建的问答系统,基本没有任何“兜底”机制,其处理敏感问题都有可能只是RLHF中训练来的。

也就是说,相对于推理系统,ChatGPT是没有专门写推理模块的,他能够实现一定的推理、多轮推理等能力全靠语言大模型,单纯的量变引起质变。

4.杂谈

对于ChatGPT,已经有很多经典说法了:例如经典的“有多少人工,就有多少智能”。大模型固然有其问题,也不一定是AI的唯一出路。单看人类,我们学习语言是用不到GPT那种极其庞大的语料的,这说明小样本的路线的可能性一定是存在的,只是计算机能否做这件事还有物理限制等困难在那。

但当下我也是坚定地认为拥抱大模型仍然是必须要做的,大模型由量变引起质变的过程中有太多可以探究的点了,而GPT-3和ChatGPT又是不开源的,加上其他很多领域也都还没有一些这样的大模型(GPT-4:多模态这不就来了吗),还是希望看到这篇专栏的大家能有所感悟吧,也不求大家一定接受我的观点(加上其实我对ChatGPT也还在逐渐认识的过程中,很多问题也没想明白),ChatGPT真的不只是一个玩具而已。

【花师小哲】鉴定网络热门(?)AI(1)——ChatGPT篇(1)的评论 (共 条)

分享到微博请遵守国家法律