【中译】默里·沙纳汉《技术奇点》（目录+前言）

译者：李浚弘

目录

1；人工智能之路

2；全脑仿真

3；工程人工智能

4；超级智能

5；人工智能与意识

6；人工智能的影响

7；天堂或地狱

系列前言

麻省理工学院出版社的基本知识系列提供了可访问的，简洁的，制作精美的袖珍书籍的主题，当前的兴趣。由著名思想家撰写的这一系列书籍提供了从文化和历史到科学和技术的主题的专家概述。 在今天这个即时信息满足的时代，我们随时可以获得各种观点、合理化和肤浅的描述。更难获得的是基础知识，这些知识能让我们对世界有原则性的理解。基本知识书籍满足了这种需求。为非专业人士综合专门的主题，并通过基础知识参与关键主题，这些紧凑的卷为读者提供了一个访问复杂思想的点。 Bruce Tidor---麻省理工学院生物工程和计算机科学教授

开场白

和其他许多致力于人工智能研究的人一样，我从小就受到科幻小说的启发。我童年时代的英雄并不存在。在阿西莫夫的小说《我是机器人》(I Robot，不是电影)中，苏珊·卡尔文(Susan Calvin)是机器人心理学领域的先驱。我比任何人都想长大后成为她那样的人。现在我已经(有点)长大了，并且在现实生活中拥有认知机器人教授的头衔，我与科幻小说的关系更加复杂。我仍然认为它是灵感的源泉，是探索重要哲学思想的媒介。然而，它所探讨的观点值得更深入的研究。科幻小说的主要目的是娱乐，尽管是以一种智力刺激的方式。用它来指导思考是错误的。 所以这并不是一部科幻小说。也不是所谓的未来学。这里的目的不是做预测。更确切地说，它是在调查一系列可能的未来情景，而不是对任何特定的前景做出承诺，也没有任何特定的时间表。事实上，即使是极不可能或遥远的情况有时也值得研究。这是正确的，例如，如果一个场景是特别反乌托邦的。在这种情况下，我们可能要仔细考虑如何进一步降低这种可能性。不太可能或遥远的场景也值得讨论，如果它们提出了有趣的哲学问题，比如迫使我们思考我们作为一个物种真正想要的是什么。因此，无论你是否认为我们很快就能创造出人类水平的人工智能，无论你是否认为奇点即将到来，这个想法都值得认真思考。 这是一本关于一个非常大的主题的短书。因此，本文只能作为导论，许多重要问题仅作简要论述。例如，关于意识的各种论点都有众所周知的反论点，而这些论点都有其自身的价值。但是一本介绍性的书必须略过这些微妙之处。此外，该书主要关注人工智能的未来，而一些重要的相关主题，如纳米技术和生物技术，几乎没有涉及。本书旨在对概念领域提供一个中立的概述，我试图在有争议的问题上概述争论的双方。然而，尽管我尽了最大努力，我自己的一些观点似乎不可避免地会透过中立的面纱被看到。 我要感谢几十年来与我讨论人工智能的许多人，不仅是学者和学生，还有参加过我演讲的公众。我想指名道姓地感谢他们，但这是不可能的。因此，我要对几位最近影响特别重要的学者表示明确的感谢。感谢斯图尔特·阿姆斯特朗、尼克·波斯特罗姆、安德鲁·戴维森、丹尼尔·杜威、兰德尔·科尼、理查德·纽科姆、欧文·霍兰德、休·普莱斯、斯图尔特·拉塞尔、安德斯·桑德伯格和扬·塔林。对不起那些我已经忘记的人。最后，我要感谢麻省理工学院出版社，尤其是鲍勃·普赖尔，一开始就鼓励我写这本书。 Murray Shanahan

简介

近年来，由于日益快速的技术进步，人类历史正在接近“奇点”的观点已经从科幻小说的领域进入了严肃辩论的领域。在物理学中，奇点是空间或时间上的一个点，例如黑洞的中心或大爆炸的瞬间，在这里数学失效，我们的理解能力也随之失效。类似地，如果指数级的技术进步带来了如此巨大的变化，以至于我们今天所理解的人类事务结束了，那么人类历史上的奇点就会出现。我们认为理所当然的机构——经济、政府、法律、国家——将无法以目前的形式生存下去。人类最基本的价值观——生命的神圣、对幸福的追求、选择的自由——将被取代。我们对作为一个个体，活着，有意识，成为社会秩序的一部分的理解，所有这一切都将受到质疑，不是通过超然的哲学思考，而是通过现实和现实的环境的力量。 什么样的技术进步可能带来这样的剧变?我们将在本书中研究的假设是，这种技术奇点可以通过人工智能(AI)和神经技术这两个相关领域中的一个(或两个)的重大进展来促成。我们已经知道如何修补生命的物质，基因和DNA。生物技术的影响已经足够大了，但与学习如何设计“思维的东西”的潜在影响相比，它们就相形见绌了。 今天，在一个重要的意义上，智力是固定的，这限制了技术进步的范围和速度。当然，几千年来，人类知识的储备一直在增加，我们传播知识的能力也随之增强，这要归功于写作、印刷和互联网。然而，产生知识的器官，即智人的大脑，在同一时期内基本没有变化，其认知能力无人能及。 如果人工智能和神经技术领域实现了它们的承诺，这种情况将会改变。如果智力不仅成为生产者，而且成为技术的产物，那么就会产生一个具有不可预测和潜在爆炸性后果的反馈循环。因为当被设计的东西就是智能本身，就是进行设计的东西，它就可以开始改进自己。根据奇点假说，不久之后，普通人就会被排除在这个循环之外，被人工智能机器或认知能力增强的生物智能超越，无法跟上人类的步伐。 奇点假说值得认真对待吗，还是只是一个想象中的虚构?认真对待它的一个理由是基于雷·库兹韦尔(Ray Kurzweil)所说的“加速回报定律”。如果技术进步的速度与技术的质量成正比，那么一个技术领域就符合加速回报定律。换句话说，技术越好，越快变得更好，随着时间的推移产生指数级的改进。 这一现象的一个突出例子是摩尔定律，根据摩尔定律，在单个芯片上可以制造的晶体管数量大约每18个月翻一番。值得注意的是，半导体行业几十年来一直坚持摩尔定律。信息技术进步的其他指标，如CPU速度和网络带宽，也遵循类似的指数曲线。但信息技术并不是我们看到进步加速的唯一领域。例如，在医学领域，DNA测序的成本呈指数级下降，而速度却呈指数级增长，大脑扫描技术的分辨率也呈指数级增长。 在历史的时间尺度上，这些加速的趋势可以在一系列技术里程碑的背景下看到:农业、印刷、电力、计算机。在更长的进化时间尺度上，这一系列技术本身之前是一系列进化里程碑，它们的出现间隔也在不断缩短:真核生物、脊椎动物、灵长类动物、智人。这些事实使一些评论家认为，人类正骑在一条复杂程度急剧增加的曲线上，这条曲线一直延伸到遥远的过去。尽管如此，我们只需要将曲线的技术部分外推到未来一小段时间，就能达到一个重要的临界点，在这个临界点上，人类技术会使普通人在技术上过时。 当然，由于物理定律，每一个指数级技术趋势最终都必须达到一个平台期，而且有许多经济、政治或科学原因可以解释为什么指数级趋势在达到理论极限之前就会停滞。但让我们假设，与人工智能和神经技术最相关的技术趋势保持其加速势头，促进了设计思维的能力，综合和操纵智能机器的能力。在这一点上，智能本身，无论是人工智能还是人类智能，都将受制于加速回报定律，从这里到技术奇点只是一个小小的信念飞跃。 一些学者自信地预测，这一分水岭将在21世纪中叶出现。不过，除了预言之外，还有其他原因可以让我们仔细思考奇点的概念，毕竟预言本身就是一件碰运气的事情。首先，从知识分子的角度来看，这个概念本身就非常有趣，无论它是什么时候出现的，甚至是是否出现的。其次，这种可能性本身，无论它看起来多么遥远，都值得今天从纯粹实用主义、严格理性的角度进行讨论。即使未来主义者的论点有缺陷，我们只需要赋予预期事件一个很小的概率，它就会引起我们最真诚的关注。如果技术奇点真的出现，对人类的影响将是巨大的。 这些潜在的技术后果是什么?如果技术奇点真的出现，会产生什么样的世界，什么样的宇宙?我们应该害怕奇点的前景，还是应该欢迎它?如果有的话，我们今天或不久的将来能做些什么来确保最好的结果?这些是接下来几页要处理的主要问题。这些都是大问题。但奇点的前景，即使只是一个概念，也有望为古老的哲学问题提供新的线索，这些问题可能更大。我们人性的本质是什么?我们最基本的价值观是什么?我们应该怎样生活?在这一切中，我们愿意放弃什么?因为技术奇点的可能性既带来了生存风险，也带来了生存机遇。 它构成了生存风险，因为它潜在地威胁到人类物种的生存。这听起来可能有些夸张，但今天的新兴技术具有前所未有的力量。不难相信，一种高度传染性、耐药的病毒经过基因工程改造后，其发病率足以引发这样的灾难。只有疯子才会故意制造这种东西。但是，要设计一种能够变异成这样一个怪物的病毒，可能只需要愚蠢一点。高级人工智能造成生存风险的原因类似，但要微妙得多。我们将在适当的时候探讨这些问题。与此同时，我只想说，考虑一些公司、政府、组织甚至某些个人在未来创造并失去对一个指数级自我改进、资源饥渴的人工智能的控制的可能性，是唯一合理的。 从更乐观的角度来看，技术奇点也可以被视为一个存在的机会，从“存在”这个词的哲学意义上来说。改造思维的能力开启了超越我们的生物遗传的可能性，从而克服了随之而来的限制。这些限制中最重要的是死亡率。动物的身体是很脆弱的，很容易受到疾病、损伤和腐烂的伤害，而人类意识(今天)所依赖的生物大脑只是它的一部分。但如果我们掌握了修复任何程度的损伤的方法，并最终从头开始重建它，可能是在一个非生物的基底上，那么就没有什么可以阻止意识的无限扩展了。 延长寿命是一种被称为“超人类主义”的思潮的一个方面。但是我们为什么要满足于我们所知道的人类生活呢?如果我们能重建大脑，为什么我们不能重新设计它，升级它呢?(同样的问题也可能被问到人体，但我们这里关心的是智力。)记忆、学习和注意力的保守性改善可以通过药物手段实现。但是，从下到上重新设计大脑的能力表明，有可能出现更激进的认知增强和重组形式。我们可以或应该如何利用这种变革力量?至少，有一种观点认为，这将减轻超级智能机器带来的生存风险。它会让我们跟上，尽管在这个过程中我们可能会变得面目全非。 从最大、最具挑衅性的意义上讲，技术奇点可能是一个存在的机会，只有完全跳出人类的视角，采用更宇宙论的观点，才能抓住这个机会。假设宇宙这个角落的物质故事在人类社会和无数嵌入其中的生命大脑中达到高潮，尽管它们是不可思议的，这无疑是人类中心思想的高度。也许物质在复杂程度上还有很长的路要走。也许在某种意义上，还有一些意识形式尚未出现，它们比我们的意识更优越。面对这样的前景，我们是应该退缩，还是应该欢欣鼓舞?我们能理解这样的想法吗?无论奇点是否接近，这些问题都值得一问，尤其是因为在试图回答这些问题的过程中，我们对自己以及我们在事物秩序中的位置有了新的认识。