GPT是否理解语义？

2023年三月份，英伟达CEO黄仁勋和OpenAI首席科学家伊利亚·苏茨科弗（Ilya Sutskever）有一个对谈 。在这个对谈中，苏茨科弗进一步解释了GPT是怎么回事儿。 苏茨科弗说，GPT的确只是一个神经网络语言模型，它被训练出来只是要预测下一个单词是什么——但是，如果你训练得足够好，它就能很好地掌握事物之间的各种统计相关性。而这就意味着神经网络真正学习的，其实是「世界的一个投影（a projection of the world）」——

神经网络所学习的是越来越多的世界、人们、人类境况的方方面面，包括他们的希望、梦想、动机，以及他们之间的互动和我们所处的各种情境。神经网络学会了对这些信息进行压缩、抽象和实用的表示。这就是通过准确预测下一个词汇所学到的内容。而且，预测下一个词汇的准确性越高，这个过程中的保真度和分辨率就越高。

换句话说，GPT学的其实不是语言，而是语言背后的那个真实世界！即GPT理解语义，甚至语义背后隐藏的常识。

据OpenAI总裁格雷格·布罗克曼（Greg Brockman）在四月份的一次TED演讲 中说，最早的一次关键突破是发生在2017年。当时OpenAI的一个工程师用亚马逊商品评论训练了一个很简单的语言模型，那个模型明明分析的是*句法*，可是却自动获得了*语义*的感觉，能够判断和设定一段评论中的情感是正面的还是负面的。 然后GPT用上了 Transformer 架构。并在在2021年前后，GPT有了我们前面讲过的「开悟」和「涌现」，自动拥有了「少样本学习」的能力，长出了推理能力，有了思维链。也就是说，GPT这个语言模型，抓住了语言背后的那个东西。

依旧是在今年三月份的一个播客访谈中，苏茨科弗还举了个例子。他说哪怕没有多模态功能，GPT单纯从文本上学习，也已经对颜色有了很好的理解。它知道紫色更接近蓝色而不是红色，知道橙色比紫色更接近红色……它在不同的语料中读过那些颜色，但它记住的不是具体的语料，而是语料所代表的世界。它默默地掌握了那些颜色之间的关系。

AI单凭文本，就掌握了世界的常识。海德格尔在他哲学理念里颇为超前地断言过这样一个事实，即语言即存在。现在仅仅通过语言，神经网络也能获得和人极为类似对于这个世界的理解。会解释，能推理，能看懂图片中的笑话，会写文章会编程。如果这还不叫理解，什么才是理解？

事情正在向「AI和人脑没有本质区别，语言模型就是真实世界本身的投射」这个方向演进。美国华裔科幻作家特德·姜也表达了同样观点，他恐怕是最擅长就人类技术进行描述、解构和推想的。他在一个月前的文章里说，“我们可以把 ChatGPT 看做网上全部文本的模糊图像，它经过压缩，保存了大部分信息，但是如果你要寻找精确的比特序列，却无法在里面找到，得到的只有一个近似值。这个近似值是以语法文本呈现的，语言这个工具本身就是含混的嘛，所以你会觉得这个来自模糊图像的结果可以接受。”你看，机器固然没有做到精确，我们不是也很少做到精确吗？ GPT从语法分析中自动涌现出语义来，是通往AGI的最关键一步。这大概是21世纪以来人类最重要的发现。不用说图灵奖，AGI可以被视作是有生命的，也许应该给个「诺贝尔生理学或医学奖」。

人类自认为骄傲的智慧可能岌岌可危，但其实这样危机绝不是现在才有，在诺奖得主石黑一雄的《克拉拉和太阳》里表达过这样一个观点，为了陪伴人类儿童而设计的人工智能克拉拉一直在追求拥有完美的人性，与此同时，人却在想着怎样用机器去提升自己的智力，甚至不惜牺牲健康，这是一个绝妙的讽刺：机器在追求人性化，而人在追求机器化。我们需要担心的，正是自己会不会先变成机器？

最后我总结一下对于人类未来思考，在已然到来的智能时代，人类第一不要再顽固地坚守万物之灵的骄傲了，要学会主动地和AI合体，让他成为自己生活中一部分，就像手机，就像车，当然他要解决的比手机和车更重要的问题，是思考。但合体后的思考，不是人类放弃思考，全部假以AI之手，而是在更加主动思考情况下把AI当做一台智慧道路上导航仪。所为主动思考就是你要清楚要去发现，解释何种问题，同时你要有解决问题的逻辑主线。其次，大量阅读成为扩张你思考能力最为重要的手段，你的知识结构大小决定了你能从AI那里得到多少有价值的信息，我常常做这样一个比喻，和AI对话，就像用球砸一个网兜，如果你的知识体系小，那就像用乒乓球砸网兜，如果知识体系大，就像用篮球砸。那么接下来道理谁都将懂了，只有篮球才能把网兜砸出动静来。所以AI对于无知者是没有太大价值了，无知在智能时代将会更加窘迫，请不要对大量阅读有任何侥幸心理，现在很重要，未来更重要。第三，我们要关注人性成长，独立人格的完备，要避免自己机器化，流程化，模板化，标准化。而批判性思维就是关键，关于如何完备独立人格，如何刻意训练批判性思维我在前面文章里有大量论述，在此不再赘述。这就是我对当下就以呈现的新时代的一些思考，保持谦卑，保持开放，没有任何曾经的骄傲可以固守，但人类演化也不会停止，一切你都可以在此刻做出选择，也只有自己才能决定你和下一代的未来。