【中译】默里·沙纳汉《技术奇点》（第三章）

译者：李浚弘

第三章【工程人工智能】

第三章【第一节】；智能的暗示

到目前为止，我们已经投入了大量的讨论，以大脑为灵感，实现人类级别的AI，特别是全脑模拟。但是，可能的人工智能的空间可能是非常多样化的，生物形式可能只占据其中的一小部分。剩下的可能性空间是什么样的呢?这是一个非常重要的问题，因为人工智能的构建方式将塑造它的行为，并将决定我们预测或控制它的能力。 想象可能的人工智能空间充满了像我们一样的生物，它们的目标和动机与人类的目标和动机相似，这将是一个严重的错误，也许是一个危险的错误。此外，取决于人工智能的构建方式，一个人工智能或一个人工智能群体实现其目标的方式(就这个概念的意义而言)可能是完全不可思议的，就像卡斯帕罗夫在棋盘上看到的外星智能的运作方式一样。如果人工智能是另一个人工智能的产物，或者是自我修改或人工进化的结果，那么其潜在的不可知性将会更大。 那么，哪些设计和建造方法或多或少会导致不可预测且难以控制的人工智能?我们越了解可能性的空间，我们就越能更好地解决这个问题，并减轻建立和失去对“错误类型”人工智能的控制的风险。让我们先来看一些当代(2010年代中期)人工智能技术的例子。我们能在这些系统中发现通用人工智能的开端吗?仅仅通过改进和扩展这些系统就能实现通用智能吗?还是缺少了一些基本的东西，在人工智能技术真正起飞之前必须添加一个至关重要的因素? 我们将从一个无实体人工智能应用程序的例子开始，即个人助理。在前一章中强调了具体化的重要性。但我们文化中熟悉的许多虚构的人工智能例子都是没有实体的。想想《2001太空漫游》里的电脑HAL吧。从某种意义上说，2001年的宇宙飞船可以被认为是HAL的身体。它有一个明确的空间位置，它有传感器和执行器，通过这些传感器和执行器，它可以在连续的时间内与环境相互作用。但在电影的某一点上，我们看到了HAL在地球实验室的早期“生活”场景，观众不知何故被说服了，他的智慧是独立于宇宙飞船的。我们愿意暂时放弃怀疑，这表明无实体的人工智能在概念上是可能的。但这在实践中可能吗?我们离实现它还有多远? 苹果(Apple)的Siri和谷歌的Now等个人助理展示了几十年来语音识别技术的逐步进步。在没有对个人用户进行事先培训的情况下，即使存在背景噪音，即使音色和口音有很大变化，它们也能够将普通的语音转换为文本。有趣的是，语音识别任务通常不是在用户的设备上执行的。原始声音文件通过互联网传输到公司处理中心，在那里进行语音识别并生成相应的文本文件。因此，这些应用程序不仅是脱离实体的，因为它们没有通过感觉运动互动与环境互动，甚至它们的处理和记忆都分散在云端。这是否会让他们在某种程度上“更加”脱离实体?不。我们可以想象一个完全具体化的机器人系统，所有的处理都是在云端完成的。但这一点值得注意。 在将原始声音数据转换为文本的同时，个人助理必须尝试“理解”用户要求它查找或指示它做什么。这本身就是一个相当大的挑战，即使将声音文件完美地转录为文本。然而，有了一个统计模型的帮助，这项任务变得更容易了，这个模型是由一个庞大的例子数据库构建的，它可以记录人们所说的各种话。给定一个问题或命令的开头，这使系统能够预测它最有可能如何继续。此外，这种预测也可以反馈到语音识别阶段，以提高其性能，使其能够填补存在噪声或歧义的空白。 在正确解析用户的话语后，系统可以决定如何回应它。它是信息请求还是命令?假设这是对信息的请求。这些信息是特定于用户的，比如会议时间或朋友的电话号码，还是一项一般知识?如果这是一个常识问题，那么系统可以调用互联网上的所有资源来找到答案。然后，系统可以使用语音合成技术(语音合成比语音识别容易得多)将答案的文本转换为声音文件，并通过设备的扬声器发出口头回应。 这一切都令人印象深刻。诚然，2010年代中期的数字个人助理的会话技能相当有限。你不会邀请一个人参加晚宴。但在一代人之前，这种技术可能会让naïve的用户相信，我们正在实现科幻小说中关于人工智能的梦想。而今天，即使知道它们是如何工作的，私人助理的能力还是有一些不可思议的地方，一种真正智慧的暗示。那么缺少什么呢?怎样才能把这种离奇的感觉，这种智慧的暗示，转化为有根据的信念呢? 第三章【第二节】；认知世界

这些数字个人助理的一个主要缺点是，尽管它们有回答问题的能力，但它们对世界并没有真正的了解。例如，他们缺乏对固体物体和空间关系的常识性理解。因此，它们可能会被一些简单但意想不到的问题所抛出，而这些问题的直接答案在互联网上是找不到的，尽管互联网的知识库非常庞大。例如，考虑一下这个问题:“如果你吊着一只老鼠的尾巴，它的鼻子和耳朵哪个更靠近地面?”即使是小孩子也能轻松地解出这个小谜语。她可能从来没有把老鼠的尾巴吊起来，也没有见过老鼠被尾巴吊起来的照片。然而，人类具有可视化情景和预测行动后果的通用能力，这种能力可以处理他们以前从未遇到过的情况。 日常物理学是人类(和其他一些动物)已经掌握的一个领域，在这个领域，我们对基本原理的掌握使我们能够解决我们以前从未见过的问题。日常心理是另一回事。其他人的行为不像无生命的物体。他们有信仰、欲望和意图。人类理解这一切，并利用这种理解来制定计划、交流，有时也会欺骗。对于这两个领域——日常的物理学和日常的心理学——人类理解的深度依赖于对一组基本抽象概念的掌握，比如对一个固体物体或另一个心灵的概念。 尽管人类这些能力背后的神经机制还没有被完全理解，但可以肯定的是，它们部分是天生的，是一种进化的天赋。显然，固体物体和其他人在原始人的生活中总是显得很重要。将选择用于处理这些问题的通用机制。因此，即使固体物体的概念在出生时并不明显，如果新生儿的大脑没有倾向于获得它，那将是令人惊讶的。然而，值得注意的是，人类也能够获得全新的概念，这些概念至少与固体物体或另一个心灵的概念一样抽象，而且在我们的进化历史中没有先例，比如整数或金钱的概念。 一台机器如何被赋予同样的通用能力——掌握重要的常识领域，如日常物理学和日常心理学，以及获得全新抽象概念的能力?当然，一个答案是复制生物大脑。但是我们已经详细地讨论过了。还有其他几种可能性。就日常物理而言，一种可能性是使用计算机游戏中使用的那种物理引擎，并且已经在虚拟体现的背景下进行了简要讨论。物理引擎可以模拟物体的任何给定配置(例如，老鼠的各个部分)并模拟它们的动力学。 另一种方法是建立一个系统，根据一套用形式语言表达的常识性物理定律，对日常事物进行逻辑推理。例如，系统可能包含一个句子，表示不受支撑的物体通常会掉下来的规则，以及另一个句子，表示易碎的物体在碰到地面时通常会破碎。这些可以用来得出这样的结论:一个倒在地上的酒杯如果滚下桌子就会破碎。同样的基于逻辑的方法也可以应用于其他领域，比如日常心理学，而且与物理引擎相比，它还有一个额外的优势，那就是更能容忍不完整的信息——比如桌子和酒杯的确切形状。 然而，物理引擎和基于逻辑的方法都依赖于人类设计师提供的概念框架。关于机器人环境的信息——它周围物体的表面——可以通过四处移动、积累传感器数据(来自相机、触觉传感器等)并将数据转换成适合后续处理的形式来获取。但是，对于任何一种系统的预测能力都至关重要的实体概念，并不是通过与世界的互动而发现的。它是事先给定的，从一开始就内置在系统中。对于某些普遍重要的专业领域(如日常物理学)来说，这可能是可以接受的，但如果要应对一个无法预先知道的世界，真正的通用智能也需要能够为自己发现(或发明)抽象概念。 第三章【第三节】；机器学习方法

这就引出了机器学习的话题。机器学习从一开始就是人工智能的一个活跃的子领域。但这门学科在2000年代取得了相当大的进步，部分原因是计算能力和存储能力的提高，部分原因是理论的进步和新的学习算法。这导致了新的商业应用，例如在线营销，它可以有效地描述客户，以便更有效地针对他们进行产品推荐和广告。 机器学习系统可以通过建立基于购买和浏览习惯的客户行为的大型数据库。在这种模型的帮助下，系统可以预测，仅基于几次购买和网站访问的客户偏好。 一般来说，机器学习涉及到一个模型的构建，这个模型可以解释给定的数据集合，并可以用来预测进一步的数据。例如，假设我向您展示序列5、10、15、20，并让您猜接下来是什么。很有可能你会形成这样的假设，即数列以5为间隔增加，并预测下一个数字是25，然后是30、35，以此类推。如果数据来源于现实世界，那么数据很可能是有噪声的。 所以机器学习算法必须能够处理不确定性。假设一个移动机器人是静止的，但正被一个大物体接近。它获得一系列传感器读数，显示物体的距离:24.9厘米，20.1厘米，15.1厘米，9.9厘米。它可能会形成一个假设，即每次传感器读数到物体的距离减少大约5厘米，并预测下一次传感器读数将是5.0厘米±10%。是时候采取规避行动了! 在这些简单的示例中，发现底层模式很容易。但是，假设每个数据项不是一个数字，而是包含一千个数字。在这样的高维数据下，寻找模式、建立模型和做出预测将会困难得多。事实上，这比困难一千倍还要糟糕得多。这就是众所周知的维度诅咒。值得庆幸的是，维度的诅咒可以被解除，数据显示出已知的统计规律。例如，假设所讨论的数据是来自视频的一系列帧。在这种情况下，有一种统计趋势:(1)在任何给定帧中的一个像素具有与其相邻像素接近的值，(2)同一像素在连续帧中具有相似的值。 像这样的统计规律通常是世界基本结构的一种表现，从这些结构中提取数据。对于带摄像头的移动机器人来说，世界呈现出一种“平滑”。它充满了固体物体，其表面呈现出许多均匀颜色的连续斑块，相对较少的不连续边缘。尽管有些，关于世界结构的假设在设计时可能会被构建成一种学习系统，如其3D空间特征和普遍性在固体物体的内部，世界的大部分结构方式。它所包含的事物及其表现出的行为，都必须被发现。 因此，通过建立世界模型来学习预测传入数据的任务包含了寻找压缩数据以降低其维度的方法的挑战，例如，通过根据“动物”，“树”和“人”等概念和类别重新描述数据(这也是语言交流的有用基础)。然而，高维感官数据不能直接简化为这样的高级类别。需要一种分层方法，其中首先提取底层特征。在编制了重复出现的低级视觉特征表之后，算法可以学习如何将这些特征组合成更高级的特征。这种多层次的方法是所谓深度学习的标志。 例如，假设学习算法被设置为在一个大型图像数据库上工作，其中许多包含人脸。一张脸的存在可能是由形状独特的浅色和深色斑块的特定模式发出的信号。这些可能与我们称之为眼睛、鼻子和嘴的特征大致对应。但他们可能不会。机器不受人类语言类别的限制。它挑选出的低层次、统计上显著的视觉特征可能不适合直接的语言描述。(事实上，生物大脑的视觉感知也是如此，尽管人类的视觉感知受到语言自上而下的影响。) 学习算法掌握了数据的低级统计信息——反复出现的小尺度视觉图案——就能知道这些图案的某些组合经常出现。其中一个这样的组合对应于我们所说的脸。另一种组合(胡须、皮毛、尖尖的耳朵等)可能与我们所说的猫相对应。或者，由于猫经常被小个子人类抱着，算法可能会挑选出孩子和猫的配对。同样，机器不受人类概念和类别的限制，只受数据统计的限制。 到目前为止，一切顺利。我们已经看到了机器学习算法如何处理静态数据。但我们最终感兴趣的是世界的动态。我们一直在假设一个系统可以在静态图像数据库中发现物体的类别。但视频档案又如何呢？总而言之，具体化的学习系统需要处理运动图像，随着源源不断的感官数据的流入获得预测能力。-如果是这样的话，此外，对于具有满足欲望和目标的AI来说，只有在猫表现出独特行为的情况下才值得在世界其他地方挑选猫，特别是当这种行为与AI的欲望和目标相关时(就像老鼠一样)。 例如，如果我们的学习算法已经获得了类别“字符串”和类别“猫”，那么学习到猫经常追逐绳子就成功了一半。再说一次，我们不应该被误导，认为机器学习算法表示这条规则的方式就像人类语言中的句子一样。相反，它将是数据结构中参数值的集合，该数据结构捕获某些频繁出现的视觉特征的运动统计数据，这些特征本身将以类似的数学方式表示。但是，对于一个构造合适的机器来说，结果是一样的，对于一个了解这一事实的人来说也是如此。例如，它将使人工智能处于一个有利的位置，以制定计划，将一只猫引诱到一个篮子里，然后送到兽医那里。 第三章【第四节】；大数据人工智能

让我们来盘点一下。我们一直在讨论可以学习世界统计数据的算法，可以在未标记的多模态数据流中发现对象和行为的分层类别，并且可以使用这些类别将数据压缩成可以用来进行预测的数学描述。很容易看出，这种机器学习算法构成了一种有用的技术。但它们能让我们在通用人工智能方面走多远? 想象一个AI按照下面的思路构建。假设一种刚刚描述的学习算法被允许在互联网上爬行，就像搜索引擎一样，从它找到的数十亿张图片和数千万个视频中吸取数据。人类已经从日常生活中收集了海量的多媒体数据，任何人(或任何东西)都可以通过网络连接访问这些数据。网络上的某个地方可以找到长颈鹿做爱的电影片段，飞机绕圈飞行的电影片段、印度男人种土豆的电影片段和中国女孩修自行车的电影片段以及战斗、董事会会议、建筑工地的电影片段。你能说出它的名字，是因为有人拍了一段视频放在网上。 由于社交网络的众包力量，这个已经很大的公共数据存储库正在迅速增长。此外，其中很多不仅仅是原始的感官数据。图像和影片剪辑通常伴随着位置、时间和日期信息，并且越来越多地伴随着标记对象和事件的标签。随着越来越多的日常物品(垃圾桶、冰箱、钥匙扣等)连接到互联网，收集更多关于日常世界的信息以及居住在其中的人类和其他动物的行为信息将成为可能。 通过将强大的机器学习算法应用于这个庞大的数据库，一个系统的预测能力能有多好?为什么系统需要具体化?既然有一个庞大的多媒体数据库，记录着他人的具体活动，为什么它还需要直接与世界互动呢?回想一下，长期以来，赋予计算机对日常世界的常识性理解的困难一直被认为是实现人工通用智能的主要障碍。也许一个没有实体的人工智能可以替代地获得常识。这样的系统能多接近人类水平的人工智能? 那么，语言呢?语言是人类行为的一个非常重要的方面，如果它不能与人类的语言能力相匹配，就不能算作达到人类水平的人工智能。2010年代中期的数字个人助理已经非常擅长预测用户要说什么。但很容易争辩说，这些系统并不真正理解它们识别的单词，它们解析的句子，或者它们提供的答案。他们使用的符号不是基于与世界的互动，当他们被问到需要想象力和常识相结合的新颖问题时，这个缺点就显现出来了:“如果你用尾巴晃老鼠，它的尾巴更靠近地面，它的鼻子还是耳朵?” 机器学习，无论多么强大，肯定不能帮助我们克服这种限制吗?然而，语言只是另一种形式的行为。为什么它不容易受到暴力、统计机器学习的影响，而不是人群中的运动模式或花园中的植被模式?在这个问题上投入足够的数据和足够的计算，机器学习将能够很好地模拟相关的统计数据，从而做出可靠的预测。这个人离开售货亭后可能会去哪里?那棵树的左边可能会出现什么形状的叶子?这个人会怎么回应那个人说的话呢?我们不能忘记，与今天的数字个人助理相比，我们的学习系统正在设想将利用一个更大的数据集，一个有效的数据集，经验中的基本词汇，与世界的具体互动，尽管像是一种有点二手的寄生种类。 那悬空老鼠的例子呢?我们的人工智能需要能够处理假设、反事实和想象。这是一个基本的功能。但是，给定一个足够的世界模型，一个具有足够预测能力的模型，满足这一要求所需要的只是一种用假设场景初始化模型的方法，一种用想象对象填充模型的方法。该模型的预测能力将完成剩下的工作，从数百万个悬挂物体的视频、数千万个以无数姿势做无数事情的老鼠的图像和视频，以及数十亿个从每个可以想象的角度拍摄的耳朵和鼻子的例子中进行归纳。 比如说，数学怎么样？当然不仅仅是统计学习系统能获得数学能力吗？（哲学专业的学生会在这里可以听到经验主义和理性主义之间争论的回声。）好，我们不排除为该系统提供各种固有类别和诸如实体对象或3D空间的概念。这些可能包括数字的概念。但我们甚至不清楚这是否必要。也许，对于学习算法来说，处理大量的小学数学课堂教学记录，就足以让它自己发现数字的概念。我们很难想象学习算法处理的大量原始数据会带来什么影响，以及该系统可能会以何种方式让我们感到惊讶。 2009年，谷歌的三位计算机科学家写了一篇题为《数据的不合理有效性》的论文。这个标题暗指机器学习中一个意想不到的现象。事实证明，使用具有一万亿项的混乱数据集的机器学习可以在任务(例如机器翻译)中非常有效，而使用仅具有百万项的干净数据集的机器学习则完全无用。这是出乎意料的，因为一百万看起来是一个很大的数字。如果一个学习算法在包含一百万个样本的训练集上不起作用，那么直观的结论就是它根本不起作用。然而，事实证明，通常需要的是一个更大的训练集，只有当计算机变得足够强大，可以存储和处理如此多的数据时，这一点才会浮出水面。 这里的教训是，当面对从零开始设计的人工智能时，人工智能的运作原理与生物大脑截然不同，我们应该期待惊讶。特别是，如果一个人工智能系统依赖于如此庞大的数据量或如此快的处理速度，以至于它们很难直观地掌握，那么它可能会以我们无法完全理解的方式解决我们不期望它解决的问题。简而言之，人类级别的AI不一定要像人类。如果连人类水平的人工智能都是不可思议的，我们怎么能希望预测和控制一个超级智能的人工智能呢?一个不仅在智力事务的各个领域都能与人类匹敌，而且在每一个转折点都能智胜我们的系统? 第三章【第五节】；优化与不确定性

当然，预测能力并不能单独构成人工智能。相反，建立世界模型并利用这些模型进行预测的能力，是达到其他目的的一种手段。动物的智力表现在它的行为上。它展示了一种使命感。它有动力，比如饥饿和恐惧，它可以形成目标来支持这些动力，比如获得食物或回家。它通过对世界的行动来实现它的目标，如果它很聪明，它会做出预测来帮助它实现这些目标。当我们的猫看到一只老鼠消失在树桩后面时，它期待着它的再次出现，并耐心地等待。我们期望一个具体的人工通用智能的预测能力同样能够为目标和驱动力服务。它应该表现出自己的使命感。无论是送包裹、做饭还是做手术，只有当它有目标并有能力实现时，我们才会认为机器人具有一般智能。 没有实体的人工智能呢?好吧，即使它的目的只是回答问题和提供建议，要想成为人工通用智能，一个系统必须做的不仅仅是做出预测。虽然它本身不能直接对世界采取行动，但它应该善于找出如何采取行动以实现各种既定目标。它可能被要求构建一个有利可图的投资组合，或计划一个大型土木工程项目，或设计一种更好的药物，更大的飞机，或更快的计算机。如果它的智能真的是通用的，那么就有可能训练它做这些事情中的任何一件(或全部)，以及许多其他事情，就像一个聪明的人一样。 那么，除了预测能力之外，我们还需要什么来让机器(无论是否具有实体)执行这些具有挑战性的任务呢?AI需要能够规划行动路线，而擅长规划就是擅长某种类型的优化。事实上，优化的主题是当代从零开始设计通用人工智能的核心方法。规划不仅可以被视为一种优化形式，某些类型的机器学习和计算机视觉的各个方面以及与人工智能相关的许多其他问题也可以被视为一种优化形式。因此，有必要详细研究一下这个概念，我们将使用一个具体的例子，即旅行销售人员问题。 假设一个旅行者(或销售人员)面临着依次访问多个城市然后返回家乡的挑战。她必须访问每个城市一次，最后回到她开始的地方。但是她选择的顺序会影响她的整体旅行时间，她不想在路上花更多的时间。假设她住在旧金山，必须访问纽约、波士顿和圣何塞。因为旧金山和圣何塞相距很近，但离纽约和波士顿很远，所以从旧金山到纽约，再到圣何塞，再到波士顿，再回到旧金山是不合理的。这是次优解。如果她在纽约之后马上去波士顿，旅途时间会短一些。我们面临的挑战是找到最优的解决方案，即游览城市的最佳顺序，也就是说，使整体旅行时间最短的顺序。 旅行推销员问题只是优化问题的一个例子。一般来说，任务是找到一些数学上定义良好的结构，使某些成本函数最小化(或者，等价地，使所谓的效用函数或奖励函数最大化)。在这种情况下，数学结构是城市的排序，成本函数是总行程时间。只要去几个城市看看，这个问题看起来并不难。但是，像许多优化问题一样，旅行销售人员问题不能很好地扩展。在特定的数学意义上(我们不会深入讨论细节)，这个问题的难度随着城市数量的增加呈指数增长。 实际上，这意味着，对于大量的城市，即使是最快的传统计算机上最快的算法也可能难以在合理的时间内找到最佳解决方案。然而，有些算法可以为大量的城市找到一个好的解决方案，尽管它们可能找不到最好的解决方案。这是幸运的，因为旅行推销员的问题不仅仅是一种求知欲。它有许多实际应用，通常找到一个好的解决方案就足够了。 在我们回到通用人工智能之前，让我们考虑另一个优化问题，在这个问题中，找到一个好的解决方案就足够了。假设我们面对的不是旅行推销员，而是我们的猫Tooty。当Tooty从瞌睡中醒来时，他的任务不是参观城市，而是参观一些当地的觅食地点，他经常在那里找到食物(例如，邻居的厨房)。当然，从一个这样的地点移动到另一个这样的地点需要消耗能量，他希望尽量减少他使用的能量。他还想最大限度地增加他的食物摄入量。但令人恼火的是，当它到达觅食地点时，并不能保证它能找到食物。(邻居的猫可能先到的。)然而，根据他过去的经验，Tooty“知道”在任何给定地点找到食物的可能性。 现在，Tooty的任务是计划一次当地觅食地点的旅行，以最大化他的预期奖励，他每次旅行获得的奖励是他总食物摄入量和消耗能量的函数。与旅行销售人员的问题不同，旅游不需要走遍每一个地点。因此，一个好的策略可能是放弃遥远的、没有希望的地点。否则，此优化任务与旅行销售人员问题非常相似，并且至少在计算上同样困难。主要的额外因素是不确定性。无论Tooty想出多么好的计划，都不能保证他能得到多少食物。在糟糕的一天，他甚至可能什么都得不到。 但不确定性是生活的现实。因此，无论机器学习算法多么聪明，它都无法建立一个每次都能正确的预测模型。相反，鉴于有限的、不完整的数据，我们所能期望的最好结果是一个概率模型，一个能够预测最可能结果的模型。给定一个概率模型，根据该模型，选择的最佳行动方案将使预期回报最大化。然而，我们仍然在处理一个明确的优化任务。不确定性并没有让我们超越数学和计算的范围。它只是把我们带入了概率论的数学领域。 第三章【第六节】；通用人工智能

当然，一只真正的猫不会像这幅漫画中的猫那样。真正的Tooty不会在建立食物供应的概率模型时四处闲逛，不吃东西，然后回到篮子里，找出一条最佳路线。像任何适应能力强的动物一样，猫会在觅食时学习，在学习时觅食。探索世界的事业和开发世界资源的事业合二为一。这是正确的策略，理性的策略。正如我们将看到的，一个类似的策略，一个交织机器学习和优化的策略，是人工通用智能的一个很好的基础。 对于人工智能研究人员来说，在不同情况下尝试不同的行动，看看哪种行动最有效，从而最大化预期回报的任务被称为强化学习。旅行推销员问题和觅食猫问题是优化的非常具体的例子。任何只能解决旅行销售人员问题的算法，无论速度有多快，都不能构成人工通用智能。相比之下，强化学习的概念，以及其核心的最大化预期奖励的概念，并不局限于特定的问题。事实上，我们可以在这个想法的基础上，指定一种形式的通用人工智能。 通用人工智能的理论概念，最早是由马库斯·哈特(Marcus Hutter)提出的，类似于通用计算，这是艾伦·图灵(Alan Turing)对计算机科学最重要的贡献之一。通用计算机是一种可以计算任何给定正确程序所能计算的东西的计算机。图灵的成就在于用数学方法确定了这种计算机的概念。与图灵的抽象计算设备(我们现在称之为图灵机)不同，真正的计算机受到有限内存的限制。然而，从理论上讲，每一台已经建成的数字计算机都可以计算任何可能计算的东西。它们都继承了图灵数学公式的通用性。 类似地，一个通用的人工智能总是根据它所获得的信息选择一个最大限度地提高预期回报的行动，无论它发现自己处于什么样的世界。可以说，它是一个完美的人工智能，它的决策保证会充分利用输入的数据。就像图灵的通用计算概念一样，这个想法可以在数学上精确地表达出来。(这里我们就不详述了。)和图灵的概念一样，这个数学理想在实践中是无法实现的。相反，它是对人工智能概念的理论限制，就像图灵的概念是对计算概念的理论限制一样。 尽管它不切实际，但通用人工智能的正式概念不仅仅是数学家的玩物。首先，有一些近似的方法可以在实践中实现。但与当前讨论更相关的观察是，Hutter的数学特征意味着人工通用智能符合一个简单的通用架构。这种架构交织了两个过程:机器学习，构建世界的概率预测模型，以及优化，根据这些模型找到最大化预期回报的行动。 这种双组件架构蓝图具有非常广泛的应用。事实上，任何智能体，无论是人工的还是生物的，都可以根据其结构进行分析。需要问三个问题(或三组问题)。首先，agent的奖励函数是什么?回答这个问题将告诉我们很多关于它可能如何表现的信息。第二，它是如何学习的?它使用的是什么数据，使用的是什么学习技术，对世界的先验知识是什么?第三，它如何最大化自己的预期回报?它所使用的优化技术有多强大?他们擅长解决什么样的问题，他们的弱点和局限是什么? 考虑一种非人类的动物，比如乌鸦，它能够通过尝试和错误学习复杂的行为，也具有一定程度的创新解决问题的能力。它的奖励功能是什么?像任何动物一样，乌鸦的奖励功能有利于获得食物和水等东西，同时避免危险和不适。这些看似简单的需求。但是，在获取食物的障碍的幌子下，可以出现任意复杂的问题。 例如，为了测试乌鸦的认知能力，研究人员可能会把一只蠕虫放在一个盒子里，盒子的盖子只有通过解决一个难题才能打开。乌鸦是一种特别聪明的动物，可以用这种方式解决简单的规划问题。但更棘手的问题也可以用同样的形式。例如，一只不太幸运的乌鸦可能不得不赢得一盘国际象棋才能打开盖子。这只乌鸦肯定会挨饿的。但关键是，获得食物等资源的必要性可以被认为是一种普遍的奖励功能。在复杂的环境中，可以转化为获取简单资源的挑战的问题类别是无限的。 第一个问题就讲到这里，奖励函数的问题。下一个问题是乌鸦是如何学习的。乌鸦从通过感官涌入的数据中学习，这要归功于它与物理世界的具体互动，这个世界体现了许多物体，有生命的和无生命的，具有丰富多样的形状和动态。乌鸦学会了这些物体在被推、戳、啄、叫或被单独留下时的行为。它是如何做到这一点的，这个过程的神经基础是什么，是一个我们还没有回答的科学问题。但是动物认知研究人员已经让我们很好地了解了像乌鸦这样的动物可以形成的各种联想，它们可以做出的各种感官区分，等等。 乌鸦在寻找能最大化预期回报的行动方面有多擅长?以乌鸦为例，答案比大多数动物都要好。它具有丰富的潜在操作表，其中包括工具使用。这些构成了许多先天刺激反应行为的基础，这些行为是进化对世界有用的先验假设对乌鸦奖励最大化能力的贡献。但是乌鸦不仅仅是简单地依赖于一个查找表来映射刺激到反应(这甚至对于工具使用来说也足够了)。它可以找到新的行动序列来解决以前看不见的问题，有时还会创新出新的行为类型(例如，制造一种新的工具)。同样，这种能力的神经基础尚未被揭示。但乌鸦的优化方法，不管它是什么，似乎是非常普遍的，非常强大的，至少与其他非人类动物相比。 所有这些都告诉我们乌鸦的能力和局限性，并帮助我们预测它们的行为。例如，我们知道，乌鸦可能会掀翻垃圾箱来获取食物残渣。但我们不必担心它会侵入我们的银行账户，偷走我们的钱。为了更好地理解不同种类的人工智能的能力和局限性，我们可以问同样的问题。不同类型的奖励功能的含义是什么?人工智能可能配备什么样的机器学习技术?他们将使用什么数据?为了最大化AI的预期奖励，可以使用哪种优化算法? 第三章【第七节】人类水平和类人智能

乌鸦，像黑猩猩、狗、大象和许多其他非人类动物一样，聪明得令人印象深刻。但它们远不如人类聪明。动物级别的AI会很有用。比如，一个拥有狗智力的机器人可以完成一系列有价值的任务。但我们真正关心的是人类水平的人工智能。我们想知道如何构建一个人工智能，使其在几乎所有智力活动领域都能与典型的人类相媲美，甚至在某些方面超过典型的人类。或者至少我们希望对这样的人工智能如何工作形成一个充分的概念，以想象如果它包含这样的机器，未来会是什么样子。然后，我们可以开始考虑超级智能人工智能的可能性，人工智能能够在智力活动的各个领域胜过人类。 无论我们考虑的是人类级别的AI还是超级智能AI，我们都需要问与之前相同的三个问题:它的奖励功能是什么?它是如何学习的?学到了什么?它如何优化预期奖励?但在我们开始这个想象的练习之前，对智人提出同样的问题是有益的。首先，什么是人类的奖励功能?当然，我们和其他动物有着大致相同的潜在奖励功能。人类需要食物和水，不喜欢痛苦，享受性爱，等等。此外，人类的奖励功能是“普遍的”，就像乌鸦一样:理论上，任何智力挑战都可以以获得食物或性的名义呈现给人类。然而，值得注意的是，人类似乎能够从根本上改变他们的奖励功能。 许多动物物种会学会将物体或事件与奖励联系起来，就像巴甫洛夫的狗这个著名的例子一样，它在反复地同时受到两种刺激后，学会了将铃声和食物的到来联系起来。最后，即使在没有食物的情况下，狗也会在听到铃声时开始流口水。这种条件反射对于最大化预期奖励很有用。在竞争环境中，当听到铃声时跑向碗的狗会比不知道这种相关性的狗得到更多的食物。但在这种情况下，潜在的奖励功能并没有真正改变。它仍然牢牢地建立在生物学基础之上。 相比之下，在人类中，从童年开始，由复杂的社会线索和期望介导的层层关联可能导致奖励功能与生物学之间的明显脱节。事实上，甚至可以说，我们人性的一部分本质是超越生物学偶然性的能力。人类演奏音乐、写诗、设计花园等等。毫无疑问，从事这种活动往往是为了经济利益或社会地位，其动机可以用生物学的必要性来解释。但有时它们确实是对美好生活构成的反思的结果，因此它们本身就成为目的，而不仅仅是获取食物或避免危险或其他具有明显进化价值的东西的替代品。 这就引出了人类如何认识世界的问题，以及与其他动物相比，人类的认识是否有什么独特之处。答案是显而易见的。人类奖励功能的开放性之所以成为可能，要归功于社会、文化，但首先是语言。正是由于语言，我们才能像在哲学、艺术和文学中那样反思人类的状况。如果没有这样的反思，我们很难看到我们如何能够克服生物的必要性，我们似乎做到了。也正因为有了语言，人类才能够在技术发展中进行合作，一代技术劳动的成果才能够如此容易地传递给下一代。所以，除了学习日常的物理、自然和社会世界之外，人类还必须能够学习语言。从他人的信仰、欲望、情绪状态等方面理解他人思想的倾向，有助于让学习变得容易处理。 最后，人类如何最大化预期奖励?再一次，社会、文化和语言在这里是突出的。人类的智慧是集体的。人类技术不仅是许多个人及其劳动的产物，而且是许多代人的产物。知识、专业技能和基础设施一层一层地积累，每一代人都建立在上一代人的成就之上。因此，个人的优化能力是专门用于在社会中最大化回报的。一个人的奖赏功能是令人钦佩的还是可鄙的，一个人是圣人还是罪人，都没有区别。一个人必须想办法从别人那里得到她想要的东西，考虑到她所处的社会，并利用这个社会的语言资源来做到这一点。 无论是集体行动还是单独行动，创新能力都是人类优化奖励策略的另一个关键要素。(回想一下，在第一章中，赋予计算机创造力被认为是实现人工通用智能的主要障碍。)农业、写作、印刷术、蒸汽机、计算机等发明，都对人类健康、预期寿命和总体福祉做出了巨大贡献，从而有助于在很长一段时间内实现回报最大化。除了追求健康长寿之外，人类的奖励功能还受到性选择、社会地位竞争和其他特殊生物因素的影响。其结果是不那么明显的功利形式的创造力，如舞蹈、仪式、时尚、艺术、音乐和文学。 现在，从头开始设计的人类级别的人工智能会是什么样子?在多大程度上，这三个关键问题——奖励功能、学习和优化——对这种人工智能的答案应该与对人类的答案相似?好吧，如果一个人工智能是类似人类的，它应该大致符合上述模式，即使它的设计和结构与人类的大脑没有任何相似之处。然而，正如我们在“数据的不合理有效性”的背景下所指出的那样，人类水平的人工智能没有理由像人类一样。只要人工智能能够在大多数智力活动领域与典型的人类相匹配，甚至在少数领域超过典型的人类，它的智力就有资格达到人类的水平。 这给变异留下了很大的空间，就像我们在人类群体中发现的大量变异一样。有些人擅长数字，有些人擅长文字。有些人善于交际，有些人则更擅长科技。同样，人类水平的人工智能可能拥有非常大的工作记忆容量，或者在数据中搜索模式方面非常熟练，但却无法写出一部有价值的小说或设计一种新的音乐形式(就像大多数人类一样)。但是，如果人工智能具有某种能力，不仅能与人类匹敌，而且在智力活动的各个领域都能智胜人类，那会怎么样呢?这样的超级智能机器可能存在吗?创造它的后果是什么?这些都是下一章要讨论的问题。