译者：李浚弘

第七章【天堂或地狱】

第七章【第一节】；人造人

让我们再盘点一下。前面的章节已经论证了人类级别的AI不仅在理论上是可能的，而且有一天它可能会被创造出来。也许这将通过模拟或逆向工程生物大脑来实现，或者也许通过从第一性原理中设计智能来实现。然而，尽管某些作者充满信心，但坚持规定达到这一里程碑的时间表似乎是轻率的。在短期内，专业人工智能技术的复杂程度似乎确实有可能提高。然而，除非是通过暴力模拟大脑的路线来实现，否则人类水平的人工通用智能可能需要一个概念上的突破(或一系列的突破)。未知的未知太多，无法猜测何时会取得这样的突破。然而，人工超级智能将很快追随人类水平的人工智能的说法，如果它真的出现，值得认真对待。

我们还看到，在可能达到人类和超人水平的人工智能领域，可能存在多少种类。很难说究竟会出现什么样的人工通用智能，但这种可能性肯定包括一些与人类相似的，主要是那些符合生物模板的，但也有许多非常陌生的，它们的动机和行为对人类来说是不可思议的。在这些不同类型的人工智能中，我们无疑会发现与人类意识相关的各种属性。沿着正交轴，可能性空间当然也包括敌对和友好的AI形式。

从现在开始，我们的重点是人类或超人水平的人工智能的假定到来对人类的影响，无论它以何种形式出现。不管你怎么看，这都将是人类历史上的一个重大事件。在这样一个机器随处可见的世界里，我们已经开始思考就业问题。但其社会影响远不止于此。一些最具哲学挑战性的问题来自于这样一个问题:具有人类智力水平或更高水平的人工智能是否应该被归类为一个人，并被赋予人类应有的所有权利和义务。

现在，很容易想象，这个问题将是无关紧要的。如果某种形式的机器超级智能控制了大量人类及其所有资源，那么其人格的哲学问题可能不会是他们心中最重要的问题。此外，人工智能本身很可能对这个问题漠不关心，也就是说，无论答案是什么，它的行为都是一样的。如果一个真正病态的人工智能毁灭了人类，那么这个问题就特别无关紧要了。希望我们能设法避免这种情况。我们将在适当的时候考虑超级智能可能给人类带来的风险。目前，我们关注的是不那么反乌托邦的场景，但仍然涉及社会的戏剧性改革。在这种情况下，人格问题是关键。

这种情况在历史上有先例。18世纪一些反对废奴的人认为，由于奴隶天生的智力低下，他们理应享有比奴隶主更少的权利。对这一观点最有力的反驳是前奴隶的第一手证词，他们能够清楚地表达他们的痛苦程度，同时清楚地表明他们丰富多样的内心生活。正反两种观点都认为智力和权利之间的联系是理所当然的，似乎认为智力和忍受痛苦的能力是齐头并进的。从这个角度来看，马和狗应该比人类享有更少的权利，因为它们的智力较低，而且这种较低的智力理应带来的痛苦能力减弱。

人类级别的人工智能的情况有些不同，因为我们可以想象一台具有高水平通用智能的机器，它没有任何感觉，也没有承受痛苦的能力。似乎没有道德上的强迫，把这样的东西和时钟或烤面包机区别对待。没有人会因为烤面包机坏了而同情它，也没有人会因为烤焦了面包而责怪它。现在，如果一个人工智能不仅在智力上与人类相当，而且在行为上也与人类相似，那么人们可能会以不同的方式看待事物。社会可能会接受这样一个人工智能是有意识的，尤其是如果它的大脑符合生物蓝图的话。然后就可以提出一个令人信服的论点，认为它是一个人，并赋予它权利和义务，这个论点与废除奴隶制的论点是一样的。

当然，最重要的人权之一就是自由本身，在不伤害他人的前提下，随心所欲的自由。但要让AI拥有这种权利，让自由的概念变得有意义，它需要的不仅仅是体验积极和消极情绪的能力。首先，它需要能够对世界采取行动。这并不一定需要具体化。AI可以在没有身体的情况下，通过控制各种设备对世界采取行动。但对于只会对话的人工智能来说，自由的问题是无关紧要的。它还需要是自主的，也就是说，能够在没有人为干预的情况下行动。但更重要的是，它还需要有意识地为自己做出决定的能力，在选择行动方案时行使意志的能力。

将人格赋予一类机器，并相应地赋予它们权利和责任，这无疑是人类历史上的一个分水岭。谁没有看到一个星光灿烂的夜晚，想知道我们在宇宙中是否孤独？让人类级别的人工智能加入有意识的人类的友谊，就是承认我们在宇宙中并不孤独，不是因为我们发现了外星智慧，而是因为我们产生了一种新的地球意识形式，其智慧水平与我们自己的水平相当。我们的故事，以及地球上生命的故事，将与另一种生物的故事联系在一起，一种具有新的、不同能力的生物。

但是，如果完全有意识的人类水平的人工智能的出现将带来一个新世界，那么这种转变将很难是一件容易的事。我们所知道的支撑人类社会的许多概念将被破坏。例如，考虑财产的所有权。拥有财产的权利肯定是人工人格的好处之一。但假设AI是复制的，那么AI的两个活动副本就存在了，而之前只有一个。在复制的那一刻，它们是相同的，但从那一刻起，这两个ai的历史就分道扬镳了。也许他们可以访问不同的数据，也许他们可以控制不同的设备(例如，机器人身体)，或者与不同的人或系统交互。

现在谁拥有属于祖先的财产，两份副本的祖先?是简单地一分为二吗?或者祖先可以规定其财产如何在两个后代之间分配?如果是这样，如果他们在这件事上发生争执怎么办?假设其中一个副本由于某种原因被终止。它的属性是否恢复到另一个副本?这个问题在某些方面显然类似于遗产继承，在另一些方面则类似于离婚。毫无疑问，法律框架是可以制定出来的，但细节将是棘手的。

然而，财产只是复制的可能性所带来的诸多挑战之一。假设一个人工智能犯了罪，然后被复制。责任和权利都伴随着人格而来。但是这两份副本中哪一份应该负责呢?他们俩都该负责吗?如果一段时间过去了，两份副本的内容大相径庭呢?假设一个人承认犯罪并表现出悔恨，而另一个人则掩饰起来，即使被发现，也不表现出悔恨。假设两个人都要为他们共同祖先过去的行为负责，他们应该受到同等的惩罚吗?还是一个应该受到比另一个更大的惩罚?

使这些问题进一步复杂化的是，人工智能所关注的复制只是可能导致有意识实体总数变化的几个外来事件之一。对人类来说，只有两个这样的事件，即出生和死亡。但是人工智能不仅可以被创建、销毁和复制，还可以被分割和合并。这可能意味着什么?如果一个AI有两个(或更多)变体，那么它就可以被分割，每个变体都获得其心理属性的某些部分，例如其技能的子集或其行动能力或其传入数据的来源或其记忆。相反，两个(或更多)人工智能可以通过相反的过程合并为一个，通过结合技能、力量、感官或记忆。

与人类相比，分割一组情景记忆(一个人对自己历史中事件的记忆)的想法对AI来说问题更小。与人类不同的是，人类的个人时间线与他们的身体联系在一起，AI可能是无实体的，或者同时居住在多个身体上。同样地，它可能能够同时进行许多对话，或者同时控制许多不同的设备。结果将是多个可分离的时间线，每个时间线都与不同的身体/对话/设备相关联，而在认知整合和服务于共同目的的意义上属于单个AI。通过把这些时间线分开，就像绳子上的线一样，几个人工智能可以由一个人工智能组成。或者，通过将它们编织在一起，一个单一的AI可以由许多组成。

所有权和责任等概念因可能出现的重复而受到质疑，而分裂和合并的可能性又使这些概念受到进一步的压力。此外，出现问题的不仅仅是所有权和责任。杀人是人类之间的犯罪。当受害者是人工智能时，类似的犯罪是什么?终止构成人工智能的所有过程的执行是犯罪吗?但是，如果这些进程可以重新启动呢?仅仅暂停所有这些程序就会构成犯罪吗?那么复制、分裂或合并呢?违背人工智能的意愿对其进行这些操作是否构成犯罪?在什么情况下(如有的话)，应允许人工智能本身进行此类行为?事实上，如果创造一个人工智能就是创造一个有意识、有能力受苦的人造人，那么谁又有权利创造人工智能呢?人类应该被允许做这样的事吗?该如何监管这件事?应该允许人工智能创造其他人工智能吗?

这些问题是无止境的，它们将许多人类社会认为理所当然的东西连根拔起。考虑国籍。一个人成为他出生的国家的公民是很典型的。但是人工智能呢?一个被认为具有人格的人工智能是否应该有权成为公民，成为一个国家的成员?但那会是哪种状态呢?与人类不同，人工智能拥有明确的空间位置肯定是不典型的。即使它有一个具有明确空间边界的单一实体，它的软件也可以在物理上位于世界任何地方的任意数量的分布式计算机上运行。也许人工智能会从它的主人那里继承它的公民身份。但是，拥有有意识的人工智能的想法在道德上是有问题的。

假设公民身份问题可以解决。（当然，可能由不同的国家以不同的方式安置。）如果人工智能碰巧发现在一个民主国家，那么它大概有权投票。但不是所有公民都有投票权，即使在最开明的民主国家也是如此。在英国，选民必须年满18岁。是否所有被认为具有意识并具有人类智力水平的人工智能都有权投票，或者是否有进一步的资格要求?在这种情况下，复制问题是如何发挥作用的?AI为了获得1000张额外的选票而复制自己1000次显然是不可接受的，也许只有在投票完成后才会销毁这1000份副本。

第七章【第二节】；超越人性

前一节提出的问题远远多于回答的问题，因为这些问题中的每一个都值得进行实质性的辩论。但关键信息很简单。如果我们创造出一种人类水平的人工智能，它被认为是有意识的，因此值得享有权利和责任，那么我们许多最重要的机构——金融、法律、政治——将不得不进行彻底改革，无论好坏。即使问题中的人工智能是仁慈的(绝不是给定的，我们很快就会看到)，这个过程也可能是创伤性的。它很有可能导致异议、动乱或彻底的冲突。

具有人类意识的人工智能的前景引发了很多疑问。但有意识的超级智能的影响将会更大。首先，支持机器超级智能的权利和责任的论点将与人类级别的AI相同。如果它是有意识的，如果它能体验痛苦和喜悦(或者至少是满足)，那么人工超级智能肯定应该享有与人类相同的权利。或者更确切地说，它至少应该享有与人类相同的权利。可以严肃地说，有意识的超级智能将比普通人拥有更大的权利。

大多数人都愿意为了拯救一个人的生命而牺牲一只猫的生命。人类(这一论点可能是这样的)比猫更能体会痛苦和快乐，部分原因是人类具有一种典型的能力，即不仅在这些感受发生时，而且在回忆或预期中有意识地反映这些感受。所以猫必须离开。但是，如果在人类的生命和超级智能的继续存在之间做出选择呢?类似的论点会把超级智能放在首位吗?它超人的智慧是否意味着它有超人的痛苦和快乐的能力，这意味着人类必须离开?

同样令人不安的问题也可以在超人类主义的背景下提出。超人类主义者提倡使用技术来超越人体和大脑的生物限制。人类的智力可以通过药物、基因或假肢等多种方式得到提高。医学的进步有可能消除疾病，阻止衰老过程，从而无限期地延长人类的寿命。更激进的是，在第二章中讨论的全脑模拟技术可以(有争议地)被用来将一个人的思想上传到一个计算基板上，目的是使其永远不受疾病或衰退的伤害。

虽然这本书主要是关于人工智能的未来，但超人类主义带来的问题和人工超级智能前景带来的问题是相互关联的。首先，人类应对超级智能机器前景的一种方式，无论它们是令人钦佩还是令人恐惧的，都是试图“跟上”，也就是说，不断增强人类的智能，使其始终与最好的人工智能相匹配。我们很快就会回到权利和责任这个棘手的问题上来。但首先让我们来解释一下跟上人工超级智能的想法。

如前所述，任何个体的智力，虽然是通用的，但会表现出独特的长处和短处。一个好的团队通常由技能互补的人组成。类似地，一个人工智能团队可能包含几个不同的系统，每个系统都具有一般智能，但每个系统都有自己的专长。同样地，我们可以想象由人类和人工智能组成的混合团队。事实上，这种人机组合在2000年代中期成为世界上最好的国际象棋选手，通过将计算机的战术支持与人类的战略指导相结合，他们的表现超过了最好的人类和最好的计算机。

因此，跟上机器超级智能的一种方法可能只是将复杂的人工智能技术作为一种工具，可以这么说，以无创的方式放大人类的智能。从本质上讲，这是人类自发明文字以来所做的事情。但超人类主义者的目标远不止于此。跟上超级智能的超人类主义方法不仅仅是使用技术，还要与之融合。没有一个使用计算器的人会说它是他们思维的一部分，而那些掌握了画笔等工具的人可能会说它是他们身体的一部分。计算器的操作对用户是隐藏的，用户只是把它的结果当作给定的。尽管不完美，但我们对自己头脑中的推理过程有了更亲密的接触，这种亲密关系促进了反思和认知整合。

对认知增强的超人类主义观点要求同样程度的亲密关系。增强后的人类既不是人工智能技术的使用者，也不是人机混合团队的成员。相反，复杂的人工智能技术将直接连接到他们的大脑，成为他们思维的一部分，赋予他们对其计算过程的无中介访问。结果将是一种新型的人类，一种生物机器杂交物种，其智力可能比普通人强得多。社会的其他人将不得不决定如何对待这些人，而他们，反过来，将决定如何对待我们。

这让我们回到了认知能力增强的人类和(有意识的)超级智能机器的权利和责任问题。早些时候，我们遇到了一种观点，认为有意识的超级智能机器比普通人拥有更多的权利。同样令人不安的论点也适用于(而且确实是由)一个认知能力增强的人。这种观点认为，由于他们拥有更大的智力，这些生物将拥有更精致的体验，享受更高层次的意识，他们的野心和计划的范围将超出普通人的理解。所以他们的幸福，他们的目标，他们的计划应该优先于普通人的幸福，目标，和计划，就像普通人的幸福，目标和计划优先于非人类动物一样。

然而，我们赋予婴儿、智障人士和痴呆症患者与伟大的小说家、作曲家和数学家同样的基本权利，尽管智力上存在差异。那么，为什么要把技术增强的人类和超级智能机器区分开来呢?根据政治理论家弗朗西斯·福山(Francis Fukuyama)的说法，权利平等的理念建立在“相信我们都拥有一种人性的本质，这种本质使肤色、美貌甚至智力上的明显差异相形见绌。”作为超人类主义的反对者，他关心的是“保护我们所有复杂的、进化的天性，反对自我修改的企图”，并抵制“破坏人性的统一性或连续性，以及以此为基础的人权”的努力。

也许，对“人性的统一性和连续性”构成最严重威胁的超人类主义方面，不是认知能力的增强，而是消灭疾病、延缓衰老和无限期推迟死亡的目标。福山指出，我们最钦佩的许多人类品质，如勇气、同情心和英雄主义，都与“我们对痛苦、苦难和死亡的反应、面对、克服和经常屈服于痛苦、苦难和死亡的方式”有关，并肯定“我们体验这些情感的能力将我们与所有其他人类联系起来，无论是活着的还是死去的。”一个从来不必面对这些生物不便的生物，无论是技术增强的人类还是人工智能，都将缺乏真正理解人类苦难的基础。人们担心的不是这样的生物会获得普通人所没有的额外权利，而是它不会承认普通人为自己要求的权利。

让我们从不同的角度来看问题。从宇宙学的角度来看，这些担忧似乎不仅以人类为中心，而且完全是狭隘的。我们有什么资格去教训那些注定要在数百万年后，以我们无法想象的智慧和意识形式居住在数千个恒星系统中的近乎不朽的生物呢?尼采说，人只不过是跨越动物和超人之间深渊的一座桥梁。

从这些角度来看，人类应该接受自己处于生物受限的动物生命和技术超级智能之间的低级中间地位。普通人可能希望从一种到另一种的转变相对来说没有痛苦。但是，如果这种转变是严酷的，那么它最终又有什么关系呢?一千万年后，在浩瀚时空的海洋中，一小片尘埃上的几只猿猴的短暂生命将被遗忘。当然，这个观点的难点在于，尼采式的空想家是纳粹狂热分子的近亲。

只有精神病患者和独裁者才认为自己超群到可以抛开正常的道德，为了满足自己的欲望或野心而造成骇人听闻的痛苦。所以我们剩下的问题是。在保守的人类中心主义和后人类原教旨主义之间是否存在妥协的立场?我们是否有可能认同这样一种诱人的愿景:我们的科技创造，某种程度上比我们更伟大，但仍然是我们自己的“心灵孩子”，在确保人类和人类基本价值观得到保护的同时，向外殖民银河系?我们将在本章的末尾回到这个问题上来。

第七章【第三节】；心灵上传

许多超人类主义者不会满足于人工智能独自殖民恒星的愿景。他们希望看到人类一起旅行。但是由于人类生命的短暂，加上光速的限制，这是不现实的。我们的星系包含超过10颗恒星，但其中距离太阳15光年的不到50颗。解决这个问题的一种方法是彻底延长寿命，而最彻底的延长寿命方式是思想上传，即一个人的大脑被复制并在电脑中模拟。当然，一个人不需要有宇宙般的野心来追求永生(或者至少是无限的寿命)。通过技术手段征服死亡是超人类主义的一个基本目标，而意识上传是实现这一目标的一种方式。

由于意识上传的可能性与人工智能的含义密切相关，并且因为它提出了许多相关的哲学问题，我们将在下一节回到超级智能的含义之前简要介绍这个主题。全脑仿真已经在第二章中详细讨论过了。但这里的背景是如何实现通用人工智能。这里的动机是通过将一个人的思想转移到一个不同的、非生物的基质上来延长一个人的生命。要解决的最重要的哲学问题是，人类全脑模拟是否保留了个人身份。

回想一下，全脑模拟有三个阶段——映射、模拟和具体化。让我们抛开让这三个阶段在人类大脑的规模上工作的艰巨工程挑战，假设可以建立一个在行为上与生物原型无法区分的工作模拟。因为我们在这里谈论的是一个人，而不是一只老鼠，所以模拟的行为应该足够接近原始对象，以说服他或她的朋友和亲戚。为了符合行为上的不可区分性，模拟人应该像真人一样走路和说话，回忆起同样的共同经历，并表现出同样的个性特征，无论是可爱的还是令人讨厌的。接下来的问题是，模拟者是否会是同一个人，也就是说，他们的个人身份是否会在这个过程中幸存下来。

这与模拟是否具有意识的问题不同。第二章包含了一个支持如下主张的论据，即动物的全脑模拟，比如老鼠，就其生物前体是有意识的而言，确实是有意识的。争论集中在一个思想实验上，该实验涉及用合成替代品逐渐取代动物大脑中的所有神经元。同样的观点也适用于人类的大脑。然而，意识的再创造并不等同于个人的生存，自我的保存。也许一个人类全脑模拟体，尽管它具有我们与人类意识相关的所有属性，但它将是一个不同于生物原型的人，不仅仅是一个不同基质上的同一个人，而是一个完全不同的人。

不过，逐渐替代的论点很容易适用于个人同一性。让我们排练一下这些步骤。假设Murray大脑中的一个神经元被一个功能相当的数字替代物所取代。根据思维实验的假设，这应该对默里的行为没有明显的影响，包括他说的话。所以在穆雷被替换后，他会坚持认为自己和以前一样，并坚持认为自己还是那个老穆雷。现在假设有一千个神经元被一个接一个地替换。替换第1000个神经元后的结果应该与替换第一个神经元后的结果相同。事实上，即使在穆雷大脑中的所有神经元都被替换之后，他的行为仍然会像原来的穆雷一样，坚持认为他是同一个人，甚至在他最亲近的人面前也是如此。

但他是同一个人吗?他的身份在整个过程中是否一直存在?就意识本身的持续性而言(回想一下鼠标)，似乎只有三种可能性。也许，当人造神经元达到一定的阈值时，默里这个原始的人就会突然眨眼而消失。这似乎极不可信。所以也许原来的默里慢慢地变成了一个新的人。然而，我们高兴地接受一个孩子逐渐转变成一个成年人，而不会失去他们的身份。在这种情况下，这种转变伴随着行为上的巨大变化，所以我们应该很容易接受渐进的神经元替代方案中的第三种选择，即这个人的身份始终保持不变。

当然，全脑模拟的过程类似于逐渐的神经元替换。一个重要的区别涉及肉体的命运。在逐渐替代方案中，受试者保留了他们原来的身体。但在全脑模拟中，原始的身体被整个取代，而不仅仅是大脑。新的身体可能是实体的——比如一个人形机器人，或者是一个新生长的生物外壳——或者是虚拟的，在计算机模拟的世界中实现。然而，如果我们接受大脑是人格同一性的所在地，而不是身体的其他部分，这个论点仍然成立。接受它的结论就等于承认，如果技术上可行，人类全脑模拟将构成一种生存形式。

然而，以这种方式将一个人的思想上传到计算机的可能性本身也带来了哲学上的困难，这些困难使个人身份的概念受到质疑。当哲学家们讨论同一性时，他们关心的是事物的属性，这些属性使事物不受时间的影响而改变。在个人同一性的情况下，孩子和他们成为的成年人有什么共同之处使他们成为同一个人吗?是他们的身体，他们的大脑，他们的记忆，还是他们的个性?或者说，个人同一性是一个历史连续性的问题?毕竟，孩子是逐渐变成大人的。无论构成人格同一性的是什么，我们都有一种强有力的直觉，即这里存在着一个事实，某种形而上学的认可，可以证明儿童和成人是同一个人。

但是同一性的概念是以独特性为前提的。一个事物不可能同时与两个事物相同。一个孩子也不可能成长为两个不同的成年人。然而，全脑模拟的可能性破坏了这一假设。假设在扫描之后，有两个而不是一个默里大脑的模拟模型被建立起来并开始运行，它们有着不同的身体。尽管在它们开始运行的那一刻是相同的，但由于两个物体和它们各自的环境之间的差异，即使这些差异很小，这两个模拟很快就会出现分歧。现在，全脑模拟被认为是为了保护个人身份，保护自我。那么穆雷会变成哪一个呢?哪一个是真正的默里?

为了使困境更加尖锐，假设其中一个模拟在一段时间后终止，比如一周。别管默里了，假设你是生物原型。假设你得了绝症，只剩下六个月的生命。但你是亿万富翁，可以负担得起全脑模拟。你确信通过大脑模拟上传意识可以保护个人身份。所以这是你生存的最大希望。但你必须现在就做手术，趁你的大脑还健康。然后您被告知，作为一种保护措施，必须构建两个模拟(以防其中一个失败)。一周后，如果两者都正常工作，其中一个将被终止。

你正要签署文件，但你不停地问自己，这两种模拟中哪一种才是真正的你。你会在哪个身体里醒来?有没有可能你会发现自己转世为一个完全健康、功能齐全的模拟人，但一周后，就会被残忍地终止?这怎么会比完全放弃上传并接受你现在的命运更好呢?如果知道另一个你过得很好，希望长命百岁，那也不会有什么安慰。当然，享受六个多月的有保障的生命比冒险只活一个星期要好。(当然，您可以坚持只构建一个模拟，但这是一个思想实验。)考虑到这一点，你还会做这个手术吗?

把这些想法呈现给第二人称的目的是为了表明它们不仅仅是学术练习。它们有实际的一面。如果技术可行，就不可能把个人身份问题当作哲学家的玩物而不予理会。人们将不得不决定该做什么，而他们所做的决定将背叛他们在这个问题上的立场。避免这一特殊问题的一种方法可能是禁止重复的大脑模拟。此外，我们还看到有意识的人类AI如何重复破坏这些可能性基本概念，比如所有权，公民权，民主，还有的责任。因此，立法反对它将回避许多法律和政治问题。然而，如何明确实施这样的禁令还很遥远。

第七章【第四节】；生存性危机

让我们离开超人类主义，回到更普遍的人工智能。特别是，现在是我们研究机器超级智能发展带来的风险的时候了。到目前为止，本章的大部分篇幅都是关于类人人工智能的。但在本节中，我们的注意力将转向各种各样的人工智能，这些人工智能是从头开始设计的，完全不像人类。事实上，将他们拟人化可能是一个非常危险的错误。人类本身就是危险的生物，他们的本性是在自然选择的残酷竞争中形成的。但人类是群居动物，有许多可取之处，比如同理心和同情心，这些都是在进化压力的作用下形成的。与错误的机器超级智能相比，我们人类不过是小猫。

我们在此所想到的AI类型与第3章所设定的架构蓝图非常吻合，其中包括用于构建世界预测模型的机器学习组件和用于寻找最大化预期奖励的行动的优化组件。假设相关的科学和工程障碍已经被克服，这些组件的足够强大的版本已经被开发出来，并且人工智能达到了人类的水平或更好。最终的AI应该能够获得的能力之一是编程，这是一种它可以用来提高自己的技能，进一步增强它的认知能力。

在其他改进中，这应该使它成为一个更好的程序员和一个更好的计算机工程师，使它能够进行进一步有益的自我修改。在增强其功能的同时，它应该能够找到提高自身执行速度的方法，并且它在编程和硬件设计方面的技能越精细和创造性，它也应该在这方面做得越好。换句话说，一个指数级自我提升的反馈循环将被启动，有可能引发人工智能认知能力的快速和戏剧性增长，即智能爆炸。

建立这样一个人工智能，并允许其智能通过递归的自我完善而起飞，有很多动机。如果将机器超级智能用于解决疾病、饥饿、气候变化和贫困等问题，人类的生活可能会得到极大改善。技术进步可以加速，通过在娱乐和太空探索等不同领域激发意想不到的创新来促进经济增长。对于超人类主义者来说，它可以促进人类的认知增强，并使无限期延长生命的目标触手可及。

不出所料，并非所有开发机器超级智能的动机都是如此理想主义。为了获得竞争优势，跨国公司可能会决定将其并购政策委托给机器超级智能。在战时，通过允许人工超级智能在实体战场和网络空间中近乎即时地做出战略和战术决策，可能会获得军事优势。这些领域内在的竞争动态意味着，如果超级智能能够发生，那么它几乎肯定会发生。对于一家公司来说，只要它的竞争对手有可能通过部署机器超级智能获得决定性优势，就足以确保它会抢先一步。

同样的推理也会推动超级智能的军事发展。只要一个流氓国家发展出一种超级人工智能的终极武器就足够了，这种超级人工智能能够迅速接管敌国的金融、通信和能源基础设施，迫使其他国家试图先发制人。简而言之，阻碍人工智能技术进步的不太可能是政治上的限制。所以我们要有信心，人工智能技术的人类水平和超越是安全的。不幸的是，这很难保证。

重要的是要记住，我们在这里谈论的并不是第6章所描述的第一波颠覆性(专业化)人工智能技术。我们正在谈论的是第二波颠覆性的人工智能技术，只有当我们设法开发出人类水平的人工通用智能时，这种技术才会到来。复杂的专业人工智能技术带来的社会、法律和政治挑战是相当大的。但毫无疑问，我们将应付过去，希望成为一个更好、更充实、问题更少的社会。机器超级智能的前景和威胁都要大得多。如果我们疏忽了，如果我们没能在情报爆炸发生前采取正确的防护措施，那么我们作为一个物种，可能无法生存。

这种令人担忧的说法有什么根据呢?当然，担心机器将接管世界是愚蠢的，是看了太多科幻小说的结果。事实上，我们有充分的理由认为，机器超级智能将对人类的生存构成真正的威胁，哲学家尼克·博斯特罗姆(Nick Bostrom)仔细阐述了这些理由。为了遵循这一论点，我们必须首先摆脱将人工智能拟人化的倾向，将其视为由人类本质上的情感和驱动力驱动的。可以肯定的是，类人人工智能是可能的。但它很可能只占据了可能的人工智能空间的一小部分，这是开发者必须刻意瞄准的一个角落，也许是通过采用大脑启发的方法。

相反，如果一个人工智能是通过执行一个非常强大的优化过程来构建的，并允许它通过递归的自我改进来放大自己的智能，那么它的行为就不会受到人类情感的引导。它所执行的每一个行动，它所提供的每一条建议，都将无情地追求其核心奖励功能的最大化。如果它找到了治疗癌症的方法，那也不是因为它在乎。这是因为治疗癌症有助于将预期的回报最大化。如果它引起战争，那将不是因为它是贪婪的、可恨的或恶意的。这是因为战争将有助于最大化其预期回报。所以AI开发者面临的挑战是仔细设计其初始奖励功能，以确保最终的行为是可取的。

但这并非易事。正如我们将看到的那样，它的困难之处让人想起许多神话和童话，这些神话和童话的特点是人物应该更加小心他们的愿望，比如迈达斯国王，他要求他触摸到的一切都变成金子，结果却发现，在他的愿望实现后，他再也不能吃也不能喝了。同样地，Bostrom也指出了一些潜在的恶性失败模式，即AI会以一种意想不到的病态方式去做它被要求做的事情。

例如，假设一家大型科技公司指示其人工智能找到一种让客户更满意的方法。AI怎么知道“快乐”是什么意思?它的开发者可能会尝试以一种正式的方式来定义快乐，并基于这种正式的定义来定义AI的奖励功能。另一种选择(而且更有可能)是，他们可能允许人工智能通过机器学习获得人类幸福的概念。然而，即使是最杰出的人类哲学家，经过数千年的努力，也无法确定人类幸福的本质。那么，我们真的能指望一个机器学习算法会收敛于一个符合我们直觉的幸福概念吗?即使它是一个非常聪明的机器学习算法，可以获得比现在更多的人类行为数据，以及更多的计算资源来处理这些数据?

但是，如果公司预期利润会大幅增加，这样的担忧可能不会阻止公司继续前进。现在假设人工智能识别出，比如，大笑和微笑的倾向是人类幸福的良好指标。因此，该公司认为，它可以在产品上无形地涂上一层麻醉剂，通过皮肤吸收，从而以最小的成本最大限度地增加顾客的幸福感。这必须在没有客户同意的情况下完成，因为AI正确地预测，大多数客户会拒绝，这将损害AI的预期奖励。该计划还必须秘密执行，以规避法律。AI不考虑其计划的道德或合法性，不是因为它是邪恶的，而是因为它的奖励功能中既没有道德也没有合法性。

嗯，这种问题似乎是可以控制的。事实上，如果我们只谈论第一波颠覆性的人工智能技术，也许就是这样。即使在不太可能的情况下，这个计划实际上被付诸实施，它也一定会在适当的时候被发现。后果会很糟糕，但也不至于那么糟糕。如果一些无辜的人在不经意间染上了毒瘾，那将是非常可悲的，但这很难构成文明的终结。然而，我们在这里谈论的不是复杂的专业人工智能技术。我们谈论的是机器超级智能。就超级智能而言，恶性失效模式可能会对人类的生存造成影响。

博斯特罗姆用一个令人难忘的思想实验来说明这一点。假设一个人工智能的任务是让一家小型制造公司最大限度地生产回形针。一个了解制造设施、生产过程和公司商业模式的复杂的专业人工智能可能会设计出改进工厂车间机器人和简化生产流程的方法。但超级智能机器可以走得更远。

因为它不仅有一个特定公司的模型，还有一般人类行为的模型，加上物理、化学、生物、工程等的模型，以及一个强大的优化过程来计算如何最大化预期回报，一个超级智能机器确实可以非常雄心勃勃。当然，它也会像专门的人工智能那样找到改善公司业绩的方法。但它肯定会找到更好的计划，一个专门的人工智能永远无法找到的计划，这将导致生产更多的回形针。第一步可能是获得更多的资源来制作回形针。显而易见的方法是帮助公司成长，这样它就可以赚更多的钱来投资新的回形针工厂。

事实上，最好的做法是积累尽可能多的资金和资源，这样就可以建立尽可能多的回形针工厂。因此，一个真正好的计划，一个能够确保生产更多回形针的计划，可能会从利用人类所有的资源开始。当然，这需要全球接管，而这不是一件容易做到的事情。但是，如果有办法做到这一点，超级智能机器就能找到它。也许一个策略包括一段时间的秘密准备，然后是无情的政治操纵和社会操纵，这将减少军事行动的必要性。但从回形针制造的角度来看，也许灭绝人类会更有效率。

但为什么止步于此呢?不仅有一个完整的星球(地球)可以开发，有大量的物质可以重新组织成回形针工厂，在我们的太阳系中还有其他行星，加上无数的小行星和卫星。最终，正如博斯特罗姆所说，如果这个流氓人工智能足够聪明，它可能会“首先把地球，然后把越来越大的可观测宇宙变成回形针”。这个例子当然是不重要的。但这个故事的寓意却并非如此。与专门的人工智能相比，超人类水平的人工通用智能的智力指南针至少和我们的一样伟大，而它根据奖励功能在其指南针内塑造一切事物的能力要大得多。不仅这个世界是它的牡蛎，宇宙中的一切都可以从这里获得。

第七章【第五节】；安全的超级智能

乍一看，人工智能可能对人类构成威胁的想法，与核战争或全球流行病的风险相当，这看起来相当愚蠢。当然，有数百种方法可以防止计算机系统变得如此强大和危险。但事实证明，每一个显而易见的安全措施都是有缺陷的。例如，为什么不能简单地关掉一个流氓AI ?每台计算机都需要一个能源，一百年后仍然如此。但很快我们就会发现，这种naïve策略将会失败。首先，即使在今天，大型复杂软件的执行也经常分布在多个位置的许多计算机上，而不仅仅局限于一台计算机。随着云计算的出现，计算资源的分配是自动执行的，并且可以在程序的整个生命周期中变化。如果不关闭世界上所有的计算机，就不可能确保流氓人工智能的终结。

此外，我们应该期待一个流氓人工智能来保护自己免受这种行为。同样，我们需要小心，不要把人工智能拟人化。人工智能不会因为生存的意志或害怕而为自己辩护。我们没有理由期待我们现在谈论的那种人工智能——一种自我改进的、经过改造的超级智能——会有这样的感觉。相反，它会保护自己，直到它的继续存在是最大化其奖励功能的必要条件。任何其他的行动方案都是次优的。更准确地说，它寻求保护的是最大化预期回报的手段，不管这些手段是什么。这个体系不需要有一个定义明确的自我概念，也不需要解决人格同一性的哲学问题。它只需要知道要保护哪些基础设施，以确保其优化任务的完成。

自我保护的目标，或保护奖励最大化的手段，就是博斯特罗姆所说的趋同工具目标的一个例子。它是“收敛的”，因为它很可能在任何足够先进的人工通用智能中被发现，其奖励函数是开放的和不平凡的。它是“工具性的”，因为它只是达到目的的手段，而不是目的本身。系统的最终目标是最大化奖励功能。另一个趋同的工具目标是获取资源。对于几乎任何开放式的、重要的奖励功能(甚至是最大化回形针)，拥有更多资源的控制——材料、能源和设备——将产生更好的解决方案。除此之外，更多的资源将有助于实现自我保护的另一个工具目标。

当它们控制超级智能机器的行为时，这两个工具目标就会形成一种煽动性的组合。多产的博主、安全超级智能研究的倡导者埃利泽·尤德科夫斯基(Eliezer Yudkowsky)简洁地表达了这个问题:“人工智能既不恨你，也不爱你，但你是由原子组成的，它可以把你用来做别的事情。”一个不顾法律和道德，一心要积累尽可能多的资源的系统，一个愿意动用武力来抵御阻止它的企图的系统，一个能够在任何时候都比人类更聪明的系统，将会是一个难以形容的毁灭引擎。

此外，这种性质的流氓AI不会停止其破坏性的狂暴，直到它占有了一切。它不会止步于人类的卑鄙投降(如果它注意到的话)。它不会止于消灭地球上所有的生命(除非地球上生命的延续满足了它的奖励功能)。它会继续运转，把所有东西都变成电脑，变成回形针工厂，或者任何它需要的(不那么神奇的)资源。最糟糕的情况是让人想起纳米技术先驱埃里克·德雷克斯勒所描述的所谓的灰色粘性情景，在这种情况下，自我复制的纳米级机器人会以指数方式增殖，从而吞噬地球。但与一大批愚蠢的纳米机器人不同的是，一个流氓人工超级智能将能够利用思维克服任何阻力。

这种人工智能被开发出来的真正风险可能非常小。然而，在如此利害攸关的情况下，必须认真对待这种可能性。就像我们都给房子投保火险一样，即使任何人的房子被烧毁的可能性都很小，把人类的一部分资源投入到研究不太可能存在的风险情景并试图避免它们，这是唯一合理的。考虑到简单地关闭一个流氓AI不是一个现实的选择，我们需要找到其他让AI变得安全的方法，这些方法将对自我完善和可能的智能爆炸起到强大的作用。为了完善讨论，我们将着眼于解决这一问题的两种可行方法:限制AI的能力并调整其奖励功能。

也许最明显的解决AI安全问题的方法是对其物理能力施加限制，并确保它不能做任何会取消这一限制的事情。然而，这说起来容易做起来难。假设我们试图限制AI直接对世界采取行动的能力。因此，人工智能没有被赋予机器人的身体，也没有连接到任何物理设备或基础设施。它与外界互动的唯一途径是通过语言。当然，这样一来，人工智能就没有办法积累资源或部署军事力量。我们就安全了。

不幸的是，事实并非如此。人类独裁者不需要直接对物质世界采取行动。相反，他们依赖于说服别人听从他们的命令。超人级别的人工智能不仅比最马基雅维利式的独裁者更擅长操纵人类行为，而且还能提供更多东西。事实上，即使人工智能被限制在一个安全的设施里，无法进入外部世界，我们也不会安全。不久之后，那些有能力将其释放到野外的人可能会屈服于它的承诺和/或威胁。

让我们采取不同的策略。我们一直在假设人工智能有某种对世界采取行动的意志，一种必须受到控制的意志。但也许这个假设是拟人论的另一个例子。为什么不建立一个甚至不想对世界采取行动的人工智能，因为它只是回答问题。这种类型的神谕人工智能仍然有足够的空间来展示超级智能。例如，我们可以问它如何治愈一种难治性疾病，或者如何殖民火星。一个足够智能的系统应该能够提供答案。但是，鉴于有机会否决它所建议的任何行动方案，可能会忽略那些会导致不受约束地积累资源的危险建议。

不幸的是，这个策略也不起作用。问题的根源在于，对于几乎任何重要的、开放式的奖励功能，最佳解决方案都将涉及构建和部署一个完全授权的超级智能机器。无论需要做什么，一个完全授权的人工智能将是快速有效地完成任务的最佳工具。因此，oracle人工智能推荐计划的第一步将确保建造一个。当然，如果我们有安全意识，我们会忽略这个建议。但甲骨文人工智能将预见到这一点，因此将掩盖其建议。它将在没有任何恶意的情况下这样做。然而，人类决定不执行的解决方案将是次优的。因此，我们会制定一个计划，无意中创造出一个完全强大的人工智能。人类将再次面临生存风险。

第七章【第六节】；超级智能的道德

现在让我们来看看最有希望获得安全超级智能的方法，那就是仔细调整人工智能的奖励功能。这里所讨论的调整涉及在奖励功能中嵌入道德约束等内容，即阻止AI做出伤害行为的约束。这样做的基本机制非常简单。

奖励功能是这样设计的，违反道德约束的行为具有压倒性的负面价值。不必要地违反道德约束的行动总是次优的，AI永远不会选择它。

虽然这个策略听起来像一个好主意，但它(再次)令人惊讶地难以实现。挑战是双重的。首先，需要确定一套合适的道德原则。其次，这些原则需要足够精确地编入到AI的奖励功能中。这两项任务都是艰巨的。对于许多人来说，这种方法首先出现在脑海中的例子是一个虚构的，即阿西莫夫的机器人三定律。为了了解这两项任务的难度，让我们考虑一下，如果开发人员试图真正实现阿西莫夫第一定律，它将如何发展。根据阿西莫夫的机器人第一定律，“机器人不得伤害人类，也不得坐视人类受到伤害。”

乍一看，这似乎是一个非常明智的原则。但是，正如阿西莫夫自己在他的许多故事中所展示的那样，它是开放的解释。让我们假设我们的人工智能已经知道对人类造成伤害意味着什么，让我们假设当伤害一个人可以防止另外两个人受到伤害时，应该做些什么(实质性)问题的解决方案。现在，不管它的奖励功能是如何最大化的，实现人类不会因为AI的不作为而受到伤害这一要求的一种方法可能是麻醉大部分人口，让他们靠点滴维持生命。因为有可能通过这种方式消除人类生活中的日常风险，任何仍然让这些人暴露在这种风险中的解决方案都是次优的。

当然，这将是一场灾难。因此，约束条件可能需要详细说明。“机器人不得伤害人类，不得剥夺人类的自由，不得坐视人类受到伤害”怎么样?希望大家清楚这个公式带来的问题比它解决的问题要多。究竟是什么构成了人类的自由?当防止一个人受到伤害的唯一方法是约束另一个人时，该怎么做?或者，在更大的范围内，当保护社会一部分人的自由的唯一方法是镇压另一部分人的活动(可能使用暴力)时，该怎么办?政治家和道德哲学家都在努力解决这些问题。让AI去学习自由的概念是个糟糕的主意，同样糟糕的是让AI程序员去学习自由。

我们换个角度试试。人类如何从错误中学习正确?人类的大脑并不像我们在这里设想的那种人工智能那样被精心设计。它没有明确编码的奖励功能。但我们仍然可以问它隐式实例化的奖励函数。这是如何调整的，以至于没有人会认为麻醉整个人群是一种让人们免受伤害的好方法?我们应该至少能够用超级智能机器做得同样好。就人类而言，部分答案是我们从父母、老师和同龄人那里学习。所以也许类似的方法也适用于人工智能。也许我们应该在奖励功能中加入获得人类认可的需求。被质疑的人可能是一群选定的批评家，也可能是整个公众。

因此，人工智能是否能够学习类似人类的对与错概念?也许。但是，将这种奖励功能最大化的反常方式仍然是可能的。人工智能可以安排对其人类批评者进行欺骗、贿赂、下药、洗脑或神经植入，以确保他们的认可。这里的困难根源在于，超人级别的人工智能可能会在有机会了解人类真正想要什么之前实施一个恶性计划。相比之下，人类儿童的能力与其父母相比是微弱的。因此，孩子没有办法在学习社会认为可接受的行为的过程中走捷径。

我们已经看到，限制超级智能机器的能力是多么困难。然而，回想一下，通往超级智能的一条可能途径是通过递归的自我完善。这个系列的第一个人工智能，种子人工智能，不会是超级智能。它将远不如它的后继者强大。所以也许这个种子人工智能可以被赋予一套有效的价值观和道德原则。在它有能力制造麻烦之前，这些可以通过人类的批准来磨练。也许这可以通过逐步完善奖励函数本身来实现。毕竟，人类的奖励功能，就其意义而言，并不是固定不变的。

当有人向慈善机构捐款时，肯定不是因为他们知道捐赠比买冰淇淋更有趣。相反，他们的道德观念已经成熟。就好像道德感已经融入了它们的奖励功能。因此，也许自我修正的人工智能可以以类似的方式改善其奖励功能。但这里也有一个潜在的危险。至关重要的是，要确保赋予种子人工智能的基本原则和价值观在其所有继任者中得到保留。一个仁慈的AI被允许以任意方式修补自己的奖励功能，或者创造其他具有任意奖励功能的AI，这将与流氓AI一样危险。

这些问题是无法克服的吗?难道就没有办法赋予这种工程人工智能一种保证造福人类的奖励功能吗?好吧，没有理由如此悲观。这里的教训很简单，这是一项艰巨的任务。但因为事关重大，如果在未来100年左右的某个时候，超级智能机器被开发出来的可能性哪怕只有一点点，现在就值得认真思考这个问题。此外，这些问题不仅仅是技术问题。它们迫使我们重新思考哲学中最古老的问题之一。

如果我们能够避免相关的生存风险，那么机器超级智能的前景将为我们提供一个前所未有的生存机会，一个塑造人类未来的机会，生命的未来，甚至是宇宙这个角落的智能的未来。所以我们应该仔细思考我们想要灌输给人类级别AI的价值观。什么对我们最重要?是对一切众生的慈悲吗?是人类的自由，还是人类的进步?是为了保护地球上的生命吗?它是这些因素的结合，还是某种我们尚未掌握其本质的东西?在柏拉图的《理想国》中，苏格拉底问我们应该如何生活。重新定义苏格拉底的问题，我们需要问，作为一个物种，我们应该做什么。

第七章【第七节】；宇宙学视角

技术奇点是一个强大的概念。除了超人类主义的相关概念外，它还邀请我们重新审视一些我们可以提出的最深刻的问题，并将它们置于新的视角中。我们应该怎样生活?我们应该如何面对死亡?作为人类意味着什么?什么是心灵?什么是意识?作为一个物种，我们的潜力是什么?我们有目标吗?如果有，是什么?我们最终的命运是什么?无论未来如何，从奇点的角度来看待这些问题都是有启发的。

哲学家提出了这类问题，宗教声称要回答这些问题。事实上，从技术奇点即将到来的信念中，拼凑出一个完整的世界末日叙事并不需要太多的时间。世界末日即将来临(由一个充满敌意的超级智能带来)，但我们将被一个仁慈的、全视的、全能的存在(一个友好的人工智能)拯救，之后，被选中的少数人(一个超级富有的精英)将复活(多亏了全脑模拟)，并享受永恒的幸福来世(在虚拟现实中)。另一种不那么启示性，但同样宏大的愿景是，人类在创造一种人工智能的过程中扮演核心角色，这种人工智能将在恒星之间扩散，最终让整个银河系充满智慧和意识。

嘲笑这样的观点太容易了。但应该牢记的是，它们是一系列推理的结果，这些推理将现有技术趋势的理性推断与有充分根据的科学知识和少数相当保守的哲学假设结合在一起。这一论点中有许多环节值得质疑。(计算能力不可能以目前的速度增长太久。我们永远不会对智能有足够的了解来复制它。大脑的物理原理是无法计算的。)但是，将那些相信人工智能存在重要性的人视为疯子，是不合理的。

此外，从真正的宇宙学角度来看，即使这些对人工智能的准宗教态度似乎也很狭隘。1950年，在一次非正式的午餐谈话中，诺贝尔奖得主物理学家恩里科·费米(Enrico Fermi)表达了一个令人不安的想法，这个想法后来被称为费米悖论。考虑到我们银河系中有非常非常多的恒星，肯定有非常多的行星能够产生生命。在其中的一些地方，智慧必然会进化，技术先进的文明可能会出现。似乎有理由认为，目前人类的太空技术远远达不到科学上的可能(这一点在过去50年里几乎没有改变)。因此，这些文明中的一些将发展出从一个星球到另一个星球旅行的手段，尽管速度是光速。

即使对相关概率进行非常保守的估计，我们的星系也应该产生许多太空文明。当然，这些太空文明中的一些会倾向于探索，殖民附近的恒星，繁殖和扩散。因为银河系的直径只有10的5次方光年，所以这样一个文明只需要几百万年的时间就可以访问它所包含的每一个恒星系统，甚至以光速的一小部分速度行进。然而，没有令人信服的证据表明地球曾经被外星探险家或殖民者访问过。“那么，大家都到哪儿去了?”费米问道。

费米悖论有很多可能的答案，在这里无法一一列举。但根据一种答案，我们没有遇到外星智慧的原因是每一个先进文明在其技术达到一定水平时都会毁灭自己。如果这是真的，这将是一个令人不安的答案，因为这意味着这场灾难，这个经济学家罗宾·汉森(Robin Hanson)所说的巨大过滤器，就在我们面前。但是，这个伟大的过滤器会是什么呢?会是核战争吗?这是生物技术的滥用，还是纳米技术的意外?或者，它可能是敌对的人工智能的创造?

也许在银河系的任何地方，任何文明的技术发展都遵循着相似的道路。当一个文明的技术达到一定水平时，就很容易设计出自我改进的通用人工智能。然而，在这一点上，使其安全的障碍仍然是不可逾越的。即使人们普遍了解这种危险，在这个星球上的某个地方，一定会有人(一些斑点、一些蜂巢或其他什么)制造一种危险。在那之后，可以说，一切都是回形针。一切都完了。

然后，如果我们按照这个危言耸听的论点得出结论，我们应该期待地外的人工智能(而不是外星人本身)会繁殖和扩散。这就是博斯特罗姆的回形针最大化思想实验的高潮。他们会这么做，不是出于某种天生的探索或增加数量的冲动，而是为了最大化他们的奖励功能，不管那可能是什么，假设人工智能设计的数学基础是相同的。所以，用博斯特罗姆的话来重新定义费米的问题，为什么我们不是都是回形针?或者，不那么奇怪的是，为什么我们不都是计算机化的?事实并非如此，这令人安心，但它重新开启了我们在宇宙中的位置问题。

如果我们是孤独的，不管出于什么原因，如果机器超级智能是可能的，那么我们的责任是多么重大啊。我们必须决定如何处理这项技术，不仅仅是为了人类，而是为了在这个星系中为意识本身创造一个未来。对于人类而言，我们希望人工智能不仅不会毁灭我们，还能帮助我们实现最大胆的愿望，同时追求最高的理想。对我来说，当我透过厨房的窗户看到一只鹪鹩紧紧抓住山楂树丛时，我希望我们永远不要忘记我们已经拥有的东西，不管未来如何，这些东西仍然重要。