【花师小哲】当代炼金术（神经网络）前沿（2.5）——ChatGPT没那么简单？

本来我以为提一下ChatGPT就完事了的，结果却没有那么简单。昨晚老师拉个个腾讯会议，扯了一两个小时这东西，虽然我中途因有事离开了半个小时没有听全，但开头结尾都听了，也有了很多新的收获和看法。

于是，再把这玩意拿出来掰扯掰扯。

1.为什么说这东西那么强？

对于不是AI从业者的人来说，这玩意好像也就是那么回事，不就是一个问答系统嘛，现在这样的问答系统可多了去了。你说它能帮你写文章，但专业的帮你写文章的AI肯定比这玩意强的；你说它能够帮你算数学题，但它的推理能力并没有那么强；你说他能够直接给你返回答案，但是当你只是想用关键词搜点东西的时候，搜索引擎还是你的首选（换句话说，这玩意的扩展性并没有那么强）。更不要说这玩意现在只支持文字，你搜图片、视频啥的还是不行的。

简而言之，这玩意从功能上来说，只能说有很多出彩的能力，但直接说平替搜索引擎，还为时尚早。

那么，这玩意究竟厉害在什么地方呢？答案是，它是直接使用GPT的API开发的一个问答系统。

这一点其实蛮重要的，最近很多公众号发ChatGPT的文章就只是给大家展示了它的一些能力和不足，反而没有很仔细地讲这个东西。

2.这玩意真的好用吗？怎么用？

虽说很多公众号都告诉你这玩意是免费试用的，非常方便，但真的如此吗？

事实是残酷的，大部分人连注册账号都无法完成。原因也很简单，中国的邮箱不给通过注册验证，VPN也不行。虽然他给了可以用谷歌账号或微软账号登录的选项，但个人实测是不给用的。所以昨晚我们才开了腾讯会议，用一个能注册的邮箱，大家一起测试系统。

当然，对于AI方向的研究者来说，我们更加关注的是，这东西没有开源的。换句话说，我们并不知道这玩意究竟是如何实现的，包括导师和师兄昨晚也讨论了很久这玩意是如何实现的。

这一点很重要，毕竟万一这个东西只是记住了很多东西的一个问答系统，那就是开了个大乌龙，就真的只是为GPT-4造势了。

3.从学术的角度，为什么大家那么好奇它是如何工作的？

前面也说了，这玩意厉害在它是直接使用GPT的API开发的一个问答系统。

为什么说这一点很厉害，举个不恰当的例子，在我们以往的观念中，用GPT这样的大语言模型做这种问答系统就像是拿着两颗鹅卵石做精密手术一样，专业不对口。

换句话说，虽然我们说“预训练-微调”范式很强，但实际应用于具体的问题的话，我们往往是不会直接使用预训练好的大模型来做这样细节和具体的应用的。之前也谈到过，我们看重BERT的两点是attention机制和预训练任务的设置而不是大模型本身。而ChatGPT就像打了很多人的脸一样，它就是这么个存在。

所以我们都很好奇，为什么能够用GPT的API搞出这么个东西。由于代码目前还没有开源，这东西现在也只能停留在猜想的阶段。

4.实测与发现

下面给出一些我么实测的例子：

（1）越来越简单的梯度下降

在这个例子中，我们尝试让ChatGPT来用越来越简单的说法来解释机器学习中的一个基础概念——梯度下降。可以看到一开始ChatGPT解释的使用还定义了符号，但是随着我们回复说“听不懂”，它慢慢地把这些符号去掉了，到最后还尽量用三岁小孩听得懂的例子（用词也是小人）来解释了。

而且他有一定的记忆功能，在最后它还没有忘记之前问它的F1赛车的例子。这有些坏处，在下一个例子中有更好的展示。但是也有好处，这样我们就可以多次交互来获得更加满意的结果。

（2）智能母鸡（机）

其实我们一开始想问的就是智能母机，但是打错字了（真的打错字了，不是小黑子），但觉得很好玩就继续问下去了，可以看到回答的还是有模有样的。当我们纠正错误，使用“智能母机”时，它似乎认为我们输入错误，采用了智能母鸡的说法，但回答的内容还是关于智能母机的。

（3）其他

其他的很多就没有图了（我没截，虽然录屏了但懒得去翻），简单说一下

①对于常见的数学问题，是可以给出一些解答的，但是稍微修改里面的一些数字设置他就有可能会出问题。当然，根据上述实验，这可能是因为它记住了之前的问题，反而倒打一耙，说我们的输入输错了。

②能够做到把一段python代码转C++，据说微调就可以用，不过目前也只是喂给他一个冒泡排序的小算法。

③能够根据输入的要求更改输出形式，例如一条一条地整理好还是输出一大段

④让它直接写冒泡排序是很难的，但让它debug会好很多

⑤似乎不同人用的结果不一样

上面是其他人的截图，下面是我们测试的截图。这也可能是因为我们的输入有些许的差别导致的，或许也是因为之前问的一些问题都是一段话式的回答。

还有很多有意思的测试，这里不展开。

5.能力讨论

好了，那么问题来了，这个系统的能力究竟如何，是否有边界，边界在哪里？

（1）语言理解能力已经很强了，但推理能力还不足。这个好理解，毕竟是基于大语言模型做的，所以欠缺很多推理能力是很正常的。这一点很重要的原因也是因为它是基于GPT的API开发的，能够展示强大的语言能力很让人震惊

（2）边界是有的，能力还是受限。作为问答系统，它还是没有逃过问答系统的限制，例如它不知道最近的一些新词（据说是2022年初进行训练的），这也是其相较于搜索引擎一个巨大的缺点。

（3）需要提问者有构造问题的技巧。如果问题构造的好，这个系统效率提升是很明显的，但是问题构造不好，很容易有不满意的回答。而搜索引擎只需要关键字就可以搜索到很多相关信息了。而且很多时候我么是不需要太精确的回答的，反而希望从一个关键词获取大量相关信息。

（4）真的有可能和谷歌展开商业大战。不过我个人不懂商业，所以我就把老师的观点放在这。

（5）对AI从业者来说，这个东西可能会带来研究范式的转变。今后基于大模型API开发的模式可能日渐普遍。AI也许真的要变天？AI可能迎来大结局？虽然ChatGPT确实展示了强大的能力，不过我们还是要冷静、理性。

（6）下一步怎么做。要让这玩意能够更加强大，有很多办法，例如加多模态（换句话说，能够支持输入、输出图片、文件等）、与搜索引擎相结合、解决预训练语言模型的在线学习等。

这玩意虽然被很多AI领域的人注意到了，但还没有传的太开，具体能不能成为一个“新时代”的导火索还要看后续的跟进研究。