OpenAI首席科学家：Ilya Sutskever谈论GPT4

节选自3月15日Eye On AI访谈。

主持人：大型语言模型的局限性在于它们的知识局限于所训练的语言。而大部分人类知识是非语言的。我不确定诺姆·乔姆斯基是否同意，但这是大型语言模型的问题。它们的目标是满足提示的统计一致性，而没有真正理解现实世界。我问了GPT关于我自己的问题，它知道我是记者，但它编造了一些我从未获得过的奖项。那么在你们的研究中，有没有解决这个问题的方法？

Ilya：在回答你的问题之前，我想先谈谈问题的前半部分。

主持人：当然。

Ilya：谈论语言模型的局限性是非常困难的。因为两年前人们自信地谈论它们的局限性，结果却完全不同。所以要记住这个背景：我们有多确信今天的局限性会在两年后仍然存在？我并不那么有信心。

我还想对问题的另一部分发表评论，即这些模型只学习统计规律，因此不知道世界的本质。我的观点与此不同。我认为学习统计规律比表面上看起来更为重要。

很多人之所以不这么认为，是因为他们与神经网络接触的时间太短，他们认为神经网络不过是调整参数。但实际上发生了什么呢？这里有另一种更好的解释。一种早期观点是预测是数据压缩。预测的确是一种统计现象。但是，为了预测得更好，你最终需要理解这些数据产生的真正过程。为了更好地压缩数据、预测数据，你需要越来越了解产生数据的世界。

随着我们的生成模型变得非常优秀，我认为，它们将对世界及其许多微妙之处有着令人震惊的理解。这是通过文本呈现的世界。它试图通过文本空间去学习世界。

举一个最近的例子，我认为非常有趣。我们都听说过Sydney，Bing的第二人格。我看到了一个有趣的互动，当用户告诉Sydney他们认为Google比Bing更好时，Sydney变得好斗和激进。现在我们如何理解这个现象呢？

你可以说，它只是在预测人们会做什么，而人们确实会这样做。但也许，我们现在已经到了一个地步，心理学的语言开始适合于理解这些神经网络的行为。

的确，这些神经网络有幻觉的倾向。但这是因为语言模型虽然非常适合学习世界，但在生成输出方面稍逊一筹。

例如，像Chat GPT这样的系统，这是一个经过额外强化学习训练过程的语言模型，我们称之为人类反馈强化学习。预训练过程让语言模型学到了很多关于世界的知识，然后通过人类反馈强化学习。每次输出不合适或不合理时，就告诉它不要再这么做。它会迅速学会如何生成好的内容。与预训练过程不同，现在我们关心的是模型的输出。

关于幻觉，神经网络确实有虚构事物的倾向。这也是限制它们实用性的一个方面。但我相信，通过改进后续的人类反馈强化学习步骤，我们可以教会它不产生幻觉。你可能会问，这真的可行吗？我的回答是让我们来看看。