【花师小哲】鉴定网络热门（？）AI（1）——ChatGPT篇（1）

开新坑了，这个本来也是一个动态来着，为了防止丢失就整合一下。当然，这篇除了动态中出现过的，还有一些新的。

（其实主要是因为众所周知的原因，最近娱乐手段就变少，现在基本就是看看漫画，所以有点闲时间就多看看论文了。希望已经阳性的朋友能够尽快好转，还没有的大家多注意防护吧）

1.12-12动态——历史问题

近期在与ChatGPT磨合了一段时间，网上开始流传ChatGPT非常不善于历史问题。

其实ChatGPT对于深一点的领域知识确实普遍差一点，但在历史领域似乎问题非常突出。 例如如果你问《三国演义》中马超使用什么武器的话，答案中多半和青龙偃月刀有关。

不过这其实不是什么太难理解的问题，还是按我之前说过的，不要单纯用人的思维来理解AI，稍微理解下原理还是很好理解的。 之前有个公众号做过一个实验，就是对于一个画画AI（好像是DELL-E来着？），让它画“狮子和老虎”却经常出现很不稳定和很奇怪的图。这个很好解释，因为视觉大模型预训练一般是用对比学习的方法，就是让不同的图片距离尽可能远，让相似的图片的距离尽可能近。会出现以上情况只是因为“狮子”和“老虎”比较相似，所以就会画出来很多奇怪的混合物。 虽然作为语言大模型的GPT和视觉大模型还是有很多差别的，但GPT的预训练任务是预测下一个词，《三国演义》和青龙偃月刀经常一起出现，所以会回答出青龙偃月刀还挺正常的。

2.12-19动态-文档

原动态：

好家伙，今晚看一个大佬翻译来的ChatGPT文档 已经认为国内再不把大模型搞起来就危险，甚至用上了“危急存亡之秋”的字眼

确实，这件事对于我们业内人的影响可以说是非常大，最近组里也是充满了紧张感，据说比BERT和GPT-3出来的时候还压抑（毕竟那时候我还不在组里）

当然我也知道国内想搞大模型的难处，而且我现在也是有心无力啊，我自己又烧不起这个钱，也不认识能够烧的起这个钱的厂家

当然，过度悲观也不可取，自己的研究还是要一点点脚踏实地做的

补充：

这个文档是讲解ChatGPT的技术来源的一篇长篇文档，于18号被翻译成中文，给个链接：

https://yaofu.notion.site/GPT-3-5-360081d91ec245f29029d37b54573756

这里面真的写了很多有用的知识，对这方面感兴趣的可以去看一下。

3.推理能力与正则兜底？

网上有些关于ChatGPT的推理能力的总结并给出了一个推理模型（还是中国的模型），但是需要注意的是，ChatGPT与推理模型有本质的区别，即ChatGPT并没有专门的代码来处理推理能力。

其实，对于之前很多问答系统，都有一定的“兜底”能力的，就是可以事先准备很多常见问题或直接放那里一堆常见语料，然后在回答的时候可以先用神经网络的方法出结果，然后衡量一下回答，如果质量不够好的话，可以直接使用“正则”等方法去从语料中直接查找相似答案，作为一种“兜底”手段。

而OpenAI说ChatGPT确实是没有加任何正则的（消息来源是我导师，应该是靠谱的），当然，对于敏感问题是否有加一些特殊处理这个不太好说，但可以肯定的是，ChatGPT基本上是完全纯净的单纯靠语言大模型搭建的问答系统，基本没有任何“兜底”机制，其处理敏感问题都有可能只是RLHF中训练来的。

也就是说，相对于推理系统，ChatGPT是没有专门写推理模块的，他能够实现一定的推理、多轮推理等能力全靠语言大模型，单纯的量变引起质变。

4.杂谈

对于ChatGPT，已经有很多经典说法了：例如经典的“有多少人工，就有多少智能”。大模型固然有其问题，也不一定是AI的唯一出路。单看人类，我们学习语言是用不到GPT那种极其庞大的语料的，这说明小样本的路线的可能性一定是存在的，只是计算机能否做这件事还有物理限制等困难在那。

但当下我也是坚定地认为拥抱大模型仍然是必须要做的，大模型由量变引起质变的过程中有太多可以探究的点了，而GPT-3和ChatGPT又是不开源的，加上其他很多领域也都还没有一些这样的大模型（GPT-4：多模态这不就来了吗），还是希望看到这篇专栏的大家能有所感悟吧，也不求大家一定接受我的观点（加上其实我对ChatGPT也还在逐渐认识的过程中，很多问题也没想明白），ChatGPT真的不只是一个玩具而已。