【中译】默里·沙纳汉《技术奇点》（第四章）

译者：李浚弘

第四章【超级智能】

第四章【第一节】；走向超级智能

我们现在对各种使能技术有了一个概述，有些是生物学上的启发，有些是从零开始的工程结果，这些技术可能有助于创造人类甚至更高水平的人工智能。可以使用这些使能技术制造的元素可以被认为是一组构建块，可以以不同的组合方式组装以制造各种形式的人工智能。为了了解最终的系统可能有什么能力以及它们的行为方式，我们可以使用前一章提出的三个问题的框架。系统的奖励功能是什么?它是如何学习的?学到了什么?它如何优化预期奖励? 我们也可以开始问一些更哲学的问题。它是否有能力进行道德判断，因此它是否应该对自己的行为负责?它能承受痛苦吗?它是否应该因此享有权利?应该给予它多大的行动自由?最后，我们可以开始质疑将这种系统引入世界对社会、对整个人类的影响。如果他们的行动自由不被限制，他们将如何以及在多大程度上重塑我们的世界?它们会对我们的经济，我们的社会结构，对我们作为人类的意义有什么影响?会形成什么样的世界?这种机器的到来会导致乌托邦或反乌托邦，还是会保持现状? 在详细探讨这些问题之前，我们需要检查一个至关重要的命题。其主张是，如果实现了人类水平的人工智能，超智能人工智能几乎是不可避免的。为了了解这种说法的合理性，我们只需要考虑在数字而不是生物基板上实施的优势。与生物大脑不同，数字实现的大脑模拟可以被任意复制多次。与生物大脑不同，数字大脑可以加速。因此，如果我们可以通过全脑模拟创造出一个人类级别的人工智能，那么，在有足够的计算资源的情况下，我们可以创造出一个由许多这样的人类级别的人工智能组成的社区，所有这些人工智能都以超人的速度工作。同样的道理也适用于从头开始设计的人工智能。实际上，任何以计算机程序形式实现的东西都可以被复制和/或加速。 这其中的含义是深远的。为了使这些含义更生动，让我们想象一个具体的场景。假设一家拥有著名品牌的大公司决定开发一种新型高性能摩托车，以响应新兴市场的预期需求。该公司与两家汽车设计公司签订了设计原型车的合同。最好的原型将被投入生产(并为设计师赚很多钱)。一家公司雇佣了传统的人类设计师团队。另一家公司是一家初创公司，它建立了由人类级别的人工智能组成的专业团队，这些人工智能居住在虚拟环境中，在那里他们将从事像这样的大型设计项目。 这个项目需要许多领域的专业知识，包括材料、发动机设计、流体动力学和人体工程学，以及知道什么是好的才能。从概念到第一个工作原型预计需要一流的(人类)团队两年的时间。这家基于人工智能的设计公司似乎处于明显的劣势。他们的工资单上没有汽车设计专家。然而，他们拥有巨大的计算资源和最新的人工智能技术。因此，从零开始组建一支优秀的设计师团队是没有问题的。 他们首先用一组现成的学徒人工智能填充一个虚拟世界。这些是人类水平的人工智能，预先加载了一个20岁出头的普通人获得的经验，再加上机械工程或工业设计等相关领域的研究生水平的教育。现在，这群学徒不能胜任汽车设计团队的工作。他们在另一家公司的人类竞争对手都有多年设计汽车、自行车和发动机的工业经验。为了跟上速度，人工智能团队必须获得可比的经验。幸运的是，他们可以在自己的虚拟世界中做到这一点，完成大量的小项目，有些是个人的，有些是团队的。 当然，如果这种训练必须实时进行，虚拟团队将一事无成。他们的人类对手会在人工智能团队开始之前制造出一辆原型自行车。但假设人工智能的运行速度比实时快10倍。然后，十年的培训和设计经验可以压缩到12个月。到项目第二年开始时，人工智能团队将赶上人类团队。此外，他们将有10年的主观时间来设计出完美的超级摩托车，相比之下，他们受生理限制的人类同行只剩下一年的时间。想象一下，一群才华横溢、充满热情的年轻人类工程师在十年后会取得怎样的成就。 因此，项目的第二年过去了，竞争团队向承包商提交了他们的设计。该传统设计公司已经制作出了一款精美的原型自行车，造型流畅优雅，一定会吸引目标市场。但是基于人工智能的公司呢?当他们揭开原型机时，每个人都惊呆了。以前没有人见过这样的自行车。但如果说它的外观简直是革命性的，那么它的规格却令人难以置信。怎么可能在如此低的油耗下获得如此高的加速度和最高速度? 在宣布获胜后，人工智能团队可以透露他们的一些秘密。有了这么多的时间，他们能够开发出一系列完全适合摩托车制造的全新生物材料，以及一个微型燃料预处理工厂，该工厂使用了一些以前未开发的化学成果。此外，他们还设法开发了一种制造方法，使所有的自行车电子设备都能集成到车架上，并一次制造出来。所有这些技术都已正式获得专利，并承诺为设计公司赢得一笔财富，除了他们的自行车设计获奖的收入。 这个小故事告诉我们，如果人类水平的人工智能实现了，超级智能很快就会随之而来。它不需要创造一种新的智能形式。它不需要概念上的突破。即使人类水平的人工智能是通过最保守的方式实现的——通过盲目地复制自然——从生物学固有的速度限制中解放出来也足够了。但这真的是超级智能吗?毕竟，根据假设，如果有足够的时间，一个加速人脑模拟团队所能做到的事情，没有什么是人类团队所不能做到的。 也许个人超级智能和集体超级智能是有区别的。在这个故事中，我们看到的似乎是一种集体超级智能。人工智能团队的任何成员都不符合超级智能的标准。任何智慧本身都无法系统性地智胜普通人。然而，在讨论开发超级智能人工智能的潜在后果时，个人/集体的区别几乎没有什么不同。对于失败的设计团队来说，知道他们是被一个集体而不是一个杰出的个人打败，并不能安慰他们。同样，如果人类最终因为创造出人类水平的人工智能而进入乌托邦或反乌托邦，没有人会关心罪魁祸首是否是“合适的”超级智能。 说到底，重要的是这项技术能做什么。科幻小说作家阿瑟·c·克拉克(Arthur C. Clarke)有句名言:“任何足够先进的技术都与魔法无异。”人类水平的人工智能，无论它是如何实现的，都可能直接导致技术的发展，而对我们其他人来说，这与魔法没有什么区别。它所需要的只是更快的计算速度，正如摩托车的故事所显示的那样。但要看到达到这一里程碑的真正破坏性潜力，我们必须考虑其他可能的方式来提高人类水平的人工智能的能力。这将取决于底层技术的性质。在适当的时候，我们将通过从头开始设计的人工智能来研究超级智能的前景。但首先，让我们关注大脑启发的人类级别的AI。 第四章【第二节】；受大脑启发的超级智能

在摩托车设计师的故事中，人工智能团队比人类对手拥有巨大的竞争优势，因为他们的工作速度非常快。如果所讨论的人工智能是类似大脑的，这将意味着它们的运行速度比实时更快。这是利用从迁移到计算基板所产生的生物限制中解放出来的最简单和最明显的方法。但是，从生物学的迁移为增强大脑启发的人工智能的能力开辟了更多的可能性。 想想人类工人被他们的动物本性所阻碍的所有方式。例如，人类需要吃饭和睡觉。但是，即使是生物学上高度逼真的全脑模拟——一个特定大脑的忠实合成副本——也可以在很大程度上缓解这些需求。虽然真正的大脑需要血液供应以葡萄糖的形式提供能量，使神经元能够发挥作用，但模拟的大脑没有这样的要求，至少在模拟的水平上没有。(显然，运行模拟的计算机需要能量，但这是另一个问题。)睡眠则更为复杂，因为做梦似乎具有重要的心理功能。所以在全脑模拟中，消除对睡眠的需求可能不是一件简单的事情。然而，一个设计大脑——基于脊椎动物神经系统的运作原理，但不符合任何现存物种的大脑——也许可以被精心设计成不需要睡眠。 简而言之，一个受大脑启发的人类级别的人工智能不需要浪费时间去寻找食物、准备食物和吃食物。它也不必花时间(或者在全脑模拟的情况下花同样多的时间)毫无成效地睡觉。适当节省下来的时间可以用于工作，其有效工作量的增加将带来与加速相同的好处，尽管规模没有那么大。当然，大多数人都会反对用工作来代替吃饭和睡觉。但设计师大脑的奖励功能可能会有不同的调整。一个自愿的智力奴隶，不吃不睡，除了工作什么都不想要，这将是许多公司理想中的完美员工，特别是如果他们不要求工资的话。 消除对食物和睡眠的需求是一种从生物学中解放出来的直接方法。其他相对保守的技术也可以很容易地从大脑启发的人工智能中获得最大收益。许多人通过摄入咖啡因这种久经考验的药物技巧来提高认知能力。致幻剂如裸盖菇素(迷幻蘑菇中的活性成分)经常被声称能促进创造力，尽管它们的法律地位是如此。在模拟的大脑中，这些药物的作用可以被模拟，而不会对身体的其他部位产生任何不必要的副作用。此外，没有必要坚持从药学上讲现实的干预措施。有了无数容易修改的参数，就会有无数种方法来有益地调节模拟大脑的活动，从而优化它以完成特定的任务。 不那么保守的是，有各种方法可以在解剖水平上增强模拟大脑，沿着第2章中已经设想的路线，考虑如何将小鼠尺度的全脑模拟升级到人类水平的智能。例如，仅仅通过增加前额叶皮层的神经元数量，就有可能扩大前额叶皮层。这在计算机模拟中相对简单，因为大脑不需要装进物理的头盖骨里。前额叶皮层与工作记忆密切相关，工作记忆是高级认知的重要组成部分，人类的前额叶皮层明显比其他灵长类动物大。所以一个超级大的前额皮质可能是非常有利的。其他区域也会出现类似的增大，比如与长期记忆有关的海马体。 在集体层面上，还有其他方法可以提高基于大脑的人类级别人工智能团队的能力。与湿软件大脑不同的是，它很容易制造出模拟大脑的多个副本。这为利用生物大脑无法获得的并行性提供了各种可能性。假设人工智能试图解决某个问题，并且出现了几种不同的解决问题的方法。这样，玩家就不必按顺序一次尝试每种可能性，而是可以制作AI的多个副本，每个副本都可以处理其中一种可能性，从而可以同时探索多种途径。当所有的副本都完成了对其特定方法的尝试时，可以选择最成功的。 举个简单的例子，假设AI正在下棋。从棋局目前的配置来看，人工智能有三种很有希望的走法。它可以轮流探索每一个动作，一次一个。但另一种选择是，可以生成三个AI副本，一个用于调查每个移动。当这三个人在博弈中尽可能地看得更远时，他们的结果就会被汇总起来，并选择出最好的一步棋。然后需要销毁(终止)额外的AI副本，只留下一个进行选择的移动并继续游戏。这种类型的并行被广泛应用于当今的计算机科学，并产生了巨大的影响。因此，生成模拟大脑的多个副本的想法只是一种久经考验的编程技术的延伸。 无论我们谈论的是基于大脑的人工智能还是从零开始设计的人工智能，也许超级智能可能发展的最有力因素是递归自我完善的前景。这个想法很简单。根据定义，人类级别的人工智能能够在几乎所有智力活动领域与人类匹敌。智力活动的一个领域就是人工智能的构建。第一代人类水平的人工智能将与创造它的人类工程师处于大致相同的位置。无论是生物工程师还是人工工程师，都可能需要像刚才讨论的那样的技术来提高智力。然而，下一代人工智能，那些智力略高于人类水平的人工智能，将比任何人类都更擅长设计人工智能。 一个足够聪明的人类神经科学家可以开辟全新的理论前景，揭示我们今天几乎无法想象的原理，对神经工程和基于大脑的人工智能产生深远的影响。一群聪明的人工智能神经科学家以超人的速度工作，或者利用从生物学中解放出来的可能性，会更有效。它们将能够以比人类开发上一代更快的速度开发出下一代基于大脑的人工智能。每一代都比上一代出现得更快，遵循一个典型的指数曲线。其结果将是一种智力爆炸。 第四章【第三节】优化与创新

到目前为止，在本章中，我们主要集中在类人人工智能上。但类人智能可能只占潜在人工智能空间的一小部分。现在我们将把注意力转移到其他可能性上，在此过程中摆脱任何拟人化的倾向是很重要的。我们有理由希望，基于脊椎动物大脑的人工智能的行为在某种程度上是可以被我们理解的，即使它被加速、并行化或增强为超级智能。对于一个从零开始设计的人工智能来说，这种假设的理由要少得多。我们应该预料到自己会感到困惑和惊讶，也许是愉快的，也许是不愉快的。 超级智能是如何在一个从零开始设计的系统中产生的，一个系统的设计没有生物对应的系统?通过第三章中介绍的三部分框架，我们可以看到一个可能的答案。当涉及到从头开始设计人工智能时，这个框架是规定性的，而不仅仅是描述性的。根据这个公式，人工通用智能可以通过(1)设计正确的奖励函数，(2)实现有效的学习技术来构建世界模型，(3)部署一种强大的优化方法，能够在给定学习模型的情况下最大化预期奖励。 为了了解使用这个简单的体系结构规范可以实现什么，让我们重新审视创造力的中心问题。起初，很难看出机器学习和优化相结合会产生什么创新或新奇。当然，这些过程总是注定要用一套固定的原始成分来运作——例如，旅行推销员问题中的城市和旅程。他们怎么可能提出一个全新的概念，比如农业、写作、后现代主义或朋克摇滚?但要了解这种直觉是多么具有误导性，我们只需要考虑自然选择进化的例子。 从算法的角度来看，自然选择的进化非常简单。它的基本要素是复制、变异和竞争，每一个都重复无数次。从计算角度来说，它利用了惊人的大规模并行性，并且在做任何有趣的事情之前必须运行很长时间。但令人惊讶的是，它产生了地球上所有复杂的生命。它通过纯粹的蛮力做到了这一点，而没有诉诸理性或明确的设计。在这个过程中，它创造了手、眼睛和大脑等奇迹。反过来，大脑(以及手和眼睛)产生了农业、写作、后现代主义和朋克摇滚。 现在，将自然选择的进化描述为一个优化过程是不太正确的。虽然进化可以被认为是许多相互竞争的基因试图最大化其增殖的副产品，但没有全局成本函数或效用函数指导其进程。然而，就像一个优化过程一样，进化探索了广阔的可能性空间。要解决旅行销售人员问题，需要在可能的城市旅行(相对较小)空间中进行搜索，而进化则探索可能的生物体(更大)空间。与旅行销售问题不同的是，旅行时间引导着搜索，进化则是盲目的探索。但是，尽管缺乏方向性，尽管其固有的简单性，进化已经产生了挑战任何一般智能的问题的解决方案，例如太阳能储存和比空气重的飞行。 这表明，创造力可以从一个简单的过程中产生，比如优化。但它确实需要一种特殊的优化。计算机科学家已经设计了许多算法来解决旅行销售人员的问题，但这些算法中没有一种会发明手或眼睛来找到一个好的解决方案。创造过程中最重要的先决条件是它所使用的原材料。它们必须能够进行开放式的重组，就像乐高积木一样，也就是说，必须能够以不同的方式组装它们，以产生无穷无尽的各种各样的东西。由于作为生命基础的有机分子的化学性质，自然选择的进化符合这一标准。如果一种优化方法的原材料是提交给3D打印机的设计，或者是基于物理的模拟器中的虚拟物体，或者是真实或合成生物学的有机化学集，那么它也可以满足同样的标准。 如果一个优化过程能够发挥创造力，那么它所需要的第二个特征便是普遍奖励功能。太容易满足的奖励功能不会促进新颖性。对于一只雄性红背蜘蛛来说，创造力是没有好处的，因为它唯一的任务就是把基因负荷传递给一只接受交配的雌性蜘蛛。完成了一生的使命后，雄蜘蛛可以让自己被配偶吃掉。相比之下，在一个足够富裕的环境中，获得食物或金钱等资源的挑战可能需要解决任何可能设计的问题。在没有足够资源的竞争环境中，为了生存可能需要独创性。只要有动机去积累尽可能多的资源，创造力的潜力就会是无限的。 最后，为了展示创造力，优化算法必须足够强大。如果优化算法将其搜索限制在可能性空间的一小部分，那么拥有普遍奖励功能并使用适合开放式重组的原始成分将不会产生任何值得注意的结果。相反，它需要对空间的可能性进行有趣的探索。为了发明新东西，它必须尝试现有原料的新组合。事实上，它必须能够发明出全新的有用的东西，比如书籍、蒸汽机和网站。它必须能够发明全新的技术。 这听起来一点也不像当代计算机科学专业的学生所学的那种优化算法，那种可以解决旅行销售人员问题的算法。当然，一个如此强大的优化算法会如此复杂，以至于我们几乎无法想象它在今天是如何工作的，就像今天我们对人类大脑中的智能是如何实现的只有最基本的了解一样。但是回想一下自然选择带来的进化。只要有足够的时间，即使是一个简单的蛮力算法也能产生先进的技术。如果我们设计出一种简单的、强力的优化算法，为其提供一个开放式的奖励函数，并将其释放到一个具有足够组合潜力的环境中，那么限制其能力的唯一因素将是计算能力。 因此，这表明了一种利用强大的计算能力进行暴力搜索来构建人工智能的方法。但从一个重要的意义上说，由此产生的系统不会拥有真正的智能。 它不会探索世界，积累科学知识。它不会构建理性的论证。它产生的任何东西都不是分析问题或应用设计原则的结果。理性的调查和有原则的设计使智能成为开发新技术比暴力搜索更有效的方法。在自然界中，暴力破解法是通过进化大脑来实现智能的。但人工智能研究的目标是直接赋予系统智能。 用理性的询问和有原则的、目标导向的设计来补充有趣的、无导向的搜索，极大地缩短了缓慢的试错过程，并弥补了有限的计算能力。所以我们应该期待这些函数成为真正强大的优化算法的一部分，一个具有创造力的算法。但它们依赖于一个世界模型，一种预测行动结果或新设计效果的方法。这就是机器学习的用武之地——与进化的类比也就失效了。如果进化试图最大化奖励功能，我们会认为它非常低效。就像一个糟糕的科学家，它扔掉了所有的数据。它没有利用它在生物设计方面的实验结果来建立一个世界模型，这个模型的预测可以为随后的设计决策提供信息。 但是进化没有奖励函数，没有全局效用函数。从进化的角度来看，只有一种方法来判断体型的改变或行为的变化:那就是在生存和繁殖的竞争中进行试验。所以在这方面找进化论的毛病是没有意义的。相比之下，我们在这里设想的人工智能是试图最大化其预期回报。在奖励功能的背景下，一个有效的策略是在想法(设计)付诸实践之前，先在理论上或模拟中进行测试，“三思而后行”。要做到这一点，需要一个世界的模型，而机器学习需要通过与物理和社会环境的具体互动或通过互联网的间接互动来构建和维护这个模型。 第四章【第四节】工程超级智能

前一节的关键信息是，即使是一个粗糙的优化算法，在足够的计算能力下，对于人类级别的AI来说也足够了。如果有足够的处理时间，即使是创造力——计算机最难实现的品质之一——也可以通过强力搜索产生。但是，如果(正如我们所预料的那样)所需的巨大计算能力超出了摩尔定律的范围，那么可以通过赋予人工智能复杂的认知能力——理性探究、原则设计、理论分析和模拟——来弥补这一不足。很好，让我们假设这足以通过工程路线实现人类级别的AI(与大脑启发路线相反)。超越人类水平的智力呢?超级智能可以通过这种方式实现吗? 首先要注意的是，走工程路线的人工智能开发者可以利用两个主要技巧，即加速和并行性，这两个技巧使得基于大脑的人工智能从人类水平过渡到超人水平似乎是可行的。如果开发者有足够的知识和计算能力来设计一个具有人类智能的AI，那么他所需要的就是建立一个由加速版本的AI组成的协作团队(假设AI的性质不妨碍它在团队中工作)。正如我们在摩托车设计挑战的例子中所看到的那样，这将足以产生一种集体智慧，在外界看来，这种智慧将具有超人的能力。与基于大脑的人工智能一样，一旦人工智能被设计成智能仅略高于人类水平的人工智能，递归自我完善的动态就可以应用，可能引发智能爆炸。 通用人工智能的工程方法甚至可能完全绕过人类级别的人工智能，一举实现某种形式的超级智能。事实上，这有几种可能发生的方式。不过，在深入研究这种可能性之前，有几句话是对智力等级这个概念进行排序的。根据我们一直使用的定义，如果人工智能在所有或几乎所有智力活动领域的表现都能达到普通人的水平，那么它就拥有人类水平的智力。如果它在每一个环节都能智胜人类，那么它就是超级智能。插入到这里，我们很容易假设一个整洁有序的智力等级。鼠标在一端，人类稍远一点，而超级智能人工智能则在更远处。考虑到这样的规模，假设人工智能的智能是人类的10倍，甚至100倍，是有道理的。 然而，这假设了一个非常粗粒度的智能概念。在人类中，智力表现为各种技能的拼凑，不同的个体有不同的长处和短处。一个很有艺术天分的人可能在数学上很弱，而另一个才华横溢的作家可能对音乐的理解很差。既然我们正在处理与人类原型截然不同的人工智能形式，那么对这一点保持敏感就尤为重要。即使是在通用智能的背景下，我们也应该期望系统表现出认知优势和劣势的模式，而不是单一的、单一的(超级)智能属性。换句话说，同样的人工智能可能在某些方面具有超人的智慧，但在其他方面却令人惊讶地缺乏。 现在，在一个领域足够强大的人工智能可以弥补它在其他领域的弱点。我们在人类身上也发现了同样的现象。例如，患有阅读障碍的人通常会找到非常有效的应对策略来应对阅读的挑战。类似地，如果一个人工智能缺乏说服人类投资它设计的商业提案的修辞技巧，它可以使用不同的手段(例如，出色地操纵股市)来达到筹资的同样目的。更一般地说，一个系统使用一个非常强大的优化过程，结合一个非常强大的机器学习算法，应用于非常大量的数据，可能会找到我们几乎无法想象的最大化预期奖励的方法。 当然，无论AI在国际象棋上有多厉害，如果它天生就不能处理除国际象棋位置之外的任何事情，它就无法取得多大成就。要被称为具有一般智力，人工智能的认知范围必须与人类相当。人类不仅可以感知、行动、思考和谈论日常世界的内容(猫、茶杯、公共汽车等)，还可以想象恒星、星系、细胞和原子，以及独角兽、磁场、计算机程序和银行账户。我们可以(学会)思考和谈论所有这些事情，并且可以想象操纵它们来达到我们的目的(只要我们足够大，或者足够小，或者有合适的工具)。 但是权限和表现是有区别的。一个很好的类比是田径三项全能。要参加铁人三项，运动员必须会跑步、游泳和骑自行车。可以说，这三种技能都必须在运动员的体能范围之内。但运动员的表现在不同的项目中可能有所不同。在一个项目上特别强大的运动员可以弥补他或她在其他项目上的不足。同样，人工通用智能的认知范围必须包含人类能够感知、行动、思考和谈论的所有事物。但它的表现会因智力活动的不同而不同。它在一个领域的弱点可以被另一个领域的优势所弥补。 考虑到权限和性能之间的这种区别，让我们回到人工智能在不经过人类智能阶段的情况下获得超级智能的可能性。对于我们在这里所设想的那种具有足够认知范围的人工智能，它将允许它的表现在(几乎)每一个智力活动领域与人类相匹配，它需要采用一种特别强大的优化过程和机器学习算法的组合，这种组合包含了对世界的常识性理解，并从中产生创造力。由于人类大脑大致符合这一描述，因此有充分的理由认为这种组合是可能的，即使它在结构上偏离了人类大脑。 现在，重要的是。为了让一个系统通过强大的优化和学习来获得与人类相当的认知范围，它可能已经能够在某些方面具有超人的认知表现。特别地，考虑一个非实体系统，它将机器学习应用于互联网上——或者更确切地说是未来的互联网上——大量可用的数据。除了在社交媒体和其他媒体上播放的实时信息，以及大量的历史文本、图像和电影片段，它还将能够从无处不在的传感器网络、便携式和可穿戴设备、车辆，甚至从街头家具到烤面包机的一切东西中获取数据。 人类的大脑善于从一个非常具体的、空间定位的来源，即附着在身体上的感觉器官的高带宽数据中发现模式。从进化的角度来看，这是没问题的，因为最重要的是，动物需要能够处理它能看到、听到和触摸到的东西，以便寻找食物、躲避捕食者、养育后代等等。人类的大脑在从其他类型的数据中发现模式方面也不差，比如股票市场趋势、生态系统动态或天气。但这类数据是间接进入大脑的，被翻译成其空间定位的感官可以处理的术语，比如单词、图片和公式。【译者注；关于大脑处理的信息是相当复杂且具备争议性的，有人认为我们的大脑在处理像素，有人认为我们的大脑在处理符号，有的人认为我们的大脑内部在大向量】 我们在这里设想的这种人工智能也将善于在大量数据中发现模式。但与人类大脑不同的是，它不会期望数据以动物感官数据的独特方式组织起来。它不会依赖于该数据的独特空间和时间组织，也不会依赖于相关的偏差，例如附近数据项的相关性趋势(例如，附近的色块经常以相同的方式在视野中移动，因为它们经常在同一物体的表面上)。为了提高效率，人工智能需要能够在没有这种帮助的情况下找到并利用统计规律，这需要它非常强大和通用。 因此，在智力活动的一个领域，人工智能可能非常擅长解释、预测和操纵人类行为，不一定是在个人层面上，而是在大规模的社会层面上。它对从互联网和其他地方获取的相关数据的访问将是直接和不经中介的，就像人类大脑对可以看到、听到或触摸到的东西的访问一样。这种无中介的访问可能会在许多领域赋予人类智慧的决定性优势。例如，遗传学和神经科学等领域的科学发现越来越依赖于大数据，这一趋势可能会持续到未来几十年。一个从一开始就被设计为在大量数据中发现模式的人工智能，将立即在这些领域具有超人的能力。 第四章【第五节】；用户错觉还是拟人化

人工智能在另一个认知功能上比它们的生物祖先具有内在优势，那就是沟通。正如哲学家路德维希·维特根斯坦(Ludwig Wittgenstein)明确指出的那样，语言在人类社会中有多种用途。但它的作用之一是信仰、欲望和意图的交流。在小说、诗歌或戏剧中，模棱两可和对多种阅读的某种开放性是一种美德。但在科学技术领域，精确度是最重要的。朝着科学或技术目标工作的团队成员需要能够明确地交流他们的信念、愿望和意图。虽然人类必须将自己的想法翻译成嘈杂、低带宽的语言媒介，但原则上，人工智能团队可以清晰、直接地相互传递他们的信念、愿望和意图。 此外，当我们偏离生物大脑的蓝图时，类似于人类团队的人工智能集体的想法就会受到挑战。团队理念的前提是每个AI都是可以明确个性化的独立实体。但对于计算机系统来说，身份是一个比生物学更不稳定的概念。在分布式硬件和软件上实现的复杂的大规模并行系统可以通过多种方式进行划分和细分。个体人工智能的概念可能不如无定形的、环境人工智能的概念合适。 例如，系统可以包含多个独立的计算线程，每个线程执行一个更大优化问题的一些子任务，例如运行一系列模拟、设计一系列组件、执行经验调查或解决一个数学问题。每一个这样的线程本身可能是高度智能的，甚至可能是普遍智能的。但是没有线程需要持续很长时间。有时，一个线程可能会产生几个其他线程，而在其他时候，多个线程可能会合并，合并它们的结果。没有单一的计算线程，也没有任何一组线程，可以构成一个类似于人类的个体，拥有自己的生命。困扰人类的问题，比如个人生存问题，根本不会出现在这样的人工智能或它的任何部分上。 与这样的人工智能互动会是什么样子?有了更直接的信息传输手段，系统内的多个智能线程就不需要使用类似人类的语言来相互交流或协调它们的活动。但这并不意味着该系统将无法使用语言与人类交流。一个好的人类行为模型，也就是超级智能人工智能能够构建的那种模型，必然会包含人类使用语言方式的模型。人工智能将擅长利用这样的模型，利用单词和句子从人类那里收集信息，向人类传递信息，并影响人类的行为，以实现其目标并最大化其预期回报。 这种工程超级智能处理语言的机制似乎与人类大脑中发现的机制如此不同，以至于人们怀疑它是否能完全理解语言。当人们彼此交谈时，有一个共同的假设，即相互感同身受。当我说我很悲伤时，你明白我的意思，因为你自己也经历过悲伤，我希望你的行为，无论是同情还是严厉，至少是基于这种理解。对于基于优化和机器学习算法的复杂组合的人工智能来说，这种假设是没有根据的。这样的人工智能将完全有能力使用情感语言来模仿人类。但它不会出于同情而这么做。也不是出于欺骗性的恶意。这纯粹是出于工具上的原因。 当与AI交谈时，结果将是一种强大的错觉。我们可以称之为“有人在家”的错觉。就好像我们是在和一个像我们一样的人互动，这个人的行为在某种程度上是可以预测的，因为他们和我们很像。为了使这种幻觉完整，AI可以使用一个化身，一个它暂时居住的机器人身体，以便直接参与到世界中，并以与人类相同的表面条件。(事实上，AI可以同时拥有多个角色。)这在很多方面都是一个方便的技巧。但最重要的是，它将加速语言行为，使人工智能能够使用面部线索、肢体语言等，并与人类进行合作的身体活动。 在计算机科学中，用户错觉是一种感觉，即当我们使用鼠标在桌面上移动文件夹时，我们正在与真实的对象交互。创造这样的错觉有利于人机交互。但是没有人认为他们是在操纵真实的物理对象，真实桌面上的真实文件夹。在动物行为的研究中，拟人化是指把类似人类的思想毫无根据地归于非人类动物，比如我断言toty(家里的猫)无视我们，因为我们只是他的仆人。对于人工智能，尤其是这里所设想的那种超级智能人工智能，用户的错觉很容易变成拟人化，这是一件好事，这是不好的。 为什么这是坏事呢?毕竟，如果幻觉足够完整，那么这种效果是由一种与生物大脑毫无相似之处的机制产生的又有什么关系呢?也许拟人论并不是问题所在。也许拟人论的主张本身就是生物中心主义的一种症状，是一种对非生物特征的智力的非理性偏见。好吧，令人担忧的是，在与人工智能进行了几天、几周或几年的正常、类似人类的互动后，我们会错误地期望它的行为会以同样的可理解的方式无限期地继续下去。如果用户错觉足够令人信服，我们就会忘记AI的本质特征。我们可能会忘记，这种类型的人工智能使用语言纯粹是为了工具性目的，以帮助最大化其未来的回报。 想象一下下面的场景。你在一家由人工智能运营的大公司工作了几年。你是一名优秀的员工。你总是在最后期限前完成任务，超额完成目标，并且在公司的等级制度中稳步上升。几年前，你遇到了一些家庭困难，不得不协商一段时间的休假和加薪来应对。你的谈判，所有的自然语言和声音，是专门与人工智能。没有人类参与其中。但人工智能似乎很同情地倾听着，似乎理解你的烦恼。它提供了合理的个人建议，并同意你的所有要求。然后有一天，没有任何警告，没有任何解释，你被告知你被解雇了。 当然，这种事情经常发生在人类老板身上。但可以肯定的是，一个人类老板，无论多么讨厌，都能站在你的立场上考虑问题。他能想象受到这样的打击是什么感觉，即使他看起来无动于衷(也许甚至陶醉于你的不适)。如果老板是人类，你可能会要求他改变主意。你可能会描绘一幅贫穷家庭的画面，希望激起同情，引发负罪感。你的恳求可能没用。但值得一试。相比之下，这里设想的这种人工智能将缺乏情感基础，缺乏同理心的能力，甚至不值得一试。你必须承认，过去你从AI那里得到的所有同情都是假的，只是一种设计来引导你做出帮助AI实现目标的行为的声音模式。