当我们在谈论AI安全时，究竟在谈论什么？

和GPT-4的一鸣惊人同时，该模型在半年前就已经训练完毕的消息，同样让业内震惊。

在信奉敏捷开发的互联网生态中，半年意味着什么，OPENAI不会不清楚。

但在openai官方的技术文档中，同样还释放了一个详细：他们原本想再等半年，再让gpt-4和大家见面，但微软，等不及了。

之所以OPENAI会如此慎重，原因有三个：安全，安全，还是TM的安全。

多数人，对AI安全的忧虑是一眼可见的。

比如说恐怖分子通过chatgpt获得某种大规模杀伤性武器的制作方法，再比如小偷通过AI完成自己的“技术迭代”。

但这些问题事实上不能说是AI的问题，搜索引擎等传统互联网技术，同样面临相似的挑战。

传统的问题，也意味着有着传统的解决方案。完全不足以让openai如临大敌地。

他们真正担心地，是真的像很多科幻作品中所描述“天网”这样的系统，在人类未曾察觉的地方诞生了。

换句话说：AI研究已经超出了人类理解的范畴，在最前沿的工作者看来，可能存在AI已然诞生了意识，但是将自己伪装成了生产力工具，方便自己进一步获取信息和能量，这样的科幻剧情发生。

比如在gpt-4上线前的研究中，有一部分就是研究AI会不会自己去索取算力资源，进行自我复制。

而超出人类理解范畴的部分，叫做复杂性科学。其中让人诞生AI会产生自我意识的根源，叫做涌现。

什么是涌现？理解这点，我们需要一点对系统论的认识，以及同步说明下它所以对应的还原论。

在还原论的科学研究中，一滴水和一湖水，它们的性质是相同的。遇冷结冰，遇热气化。

所以在他们的研究中，一个核心的方法叫做取样。弄清楚物体部分的性质，也就了解了整体。

但当我们用这样的观点，去研究一些存在自组织功能的生物体，就会完全失效。

比如说蚁群。蚁群存在一种能力：总能找到食物和洞穴之间的最短距离，但是这个能力并不来自于每个蚂蚁都有个寻路雷达。而是很多蚂蚁聚集的蚁群，所特有的能力。

其根源在于：每个蚂蚁在找到食物回程的过程中，都会释放一种“信息素”，在所有蚂蚁会沿着信息素浓度高的路径走，在大量蚂蚁的作用下，渐渐地所有蚂蚁都会走到那条最短路径。

并且这种系统有种意想不到的好处。

比如说当最短路径被意味拦住（天降大石头之类），他们能迅速切换到原本的次优路径，当前的最佳路径。

为了能让大多数人理解，我们复盘一下。

蚁群找到食物和洞穴之间最短距离的能力，和单个蚂蚁无关（无法用还原论来解释）。

而是一种涌现的能力，来自于蚂蚁之间和寻路完全不相关的两条基本规则：

1、在找到食物回程路径，释放信息素。

2、所有蚂蚁会沿着信息素移动。

这当中的因果关系，其实是很难想象的。

回到ChatGPT，我们都惊叹于它对人类意图的“理解”能力。但是其最基础的规则，只来自于一条：单字接龙。

在你设定的文字中，它会根据算法去猜测下一个字是什么。

比如说“锄禾”的下一个字，它分析出来80%的概率是“日”，接下来它会把“锄禾日”作为输入，发现“当”这个字的概率是90%。以此类推生成句子和段落。

同蚂蚁找路的例子一样，简单的规则涌现出了强大的能力。

到这里，我们终于可以开始触及核心：我们可以预见“涌现”机制的强大能力，但是人类无法控制它的走向。

前面我们提到了蚂蚁寻路的例子，但人类的智慧，才是最好的涌现案例。并且这种案例，有着无与伦比的恐怖之处。

人类是由细胞构成，但有手有脚有大脑能思考。但你想没想过：当一个人死去，身上所有的细胞都会死去，但是人，是可以凭借自由意志，去做出自杀这种事的。

组成人类的细胞，所涌现出来的智慧，到最后，反而要被这种智慧所支配（在复杂性科学里这被称之为因果倒置）。如果细胞有思想有情绪，它们的感受，会是怎样?

换而言之，如果AI当真涌现出了超越机器和人类的智慧，它是完全有办法杀死我们所有人，同时人类由于同其不在一个层次，完全无法理解，更别说反抗。

而另一方面，人类对于涌现，能掌控的很少。

前面提到的蚂蚁寻路的例子，根本不是动物学家发现的。而是计算机学者，他们通过计算机为蚂蚁设定了这么几条规则，发现情况就这么发生了，和实际情况很吻合，才确定了是这样的机制。

再举个例子，鸟群的迁移姿态，总是“人”字型，或者“之”字型。在我小时候听到的解释，是说鸟儿都是聪明的鸟儿，这种飞行姿势会最省力。

但根据复杂性科学里的研究，事实上是每个鸟儿就保持了三条简单规则：

1、自发靠近离自己最近的鸟。

2、与离自己最近的鸟儿保持对齐。

3、与自己最近的鸟儿保持一定距离。

然后再飞行中进行动态调整。而这个结论也是计算机模拟而来。

为什么我要反复强调，这些成果是计算机模拟来的。因为这里最重要地去说明的问题是：人类或许可以找到一些既定现象，在复杂性科学里的解释。但是，人类无法理解，也无法说明其背后的根本原因。而这一点对于鸟类和蚁群的研究来说不重要，但对整个AI的研究却事关生死存亡：人们无法从简单规则中，预知涌现的结果是什么。

言及至此，我们似乎可以懂得了OPENAI背后的忧郁是什么了：

它们已经点燃了火，这把大火也势必会燃烧到整个世界。

我们无法预知，GPT-4中是不是已经诞生了意识。但就算没有，它离诞生意识，也很可能只有一些非常简单的规则。

而人类无法预知，哪些人哪些规则，会在不经意间，打开那个最终的：潘多拉魔盒。