欢迎光临散文网 会员登陆 & 注册

《技术奇点来临:如何在后人类时代生存》(弗诺·文奇)

2023-04-02 22:30 作者:黎昃生  | 我要投稿

The Coming Technological Singularity:  How to Survive in the Post-Human Era

Vernor Vinge

Department of Mathematical Sciences

San Diego State University

(c) 1993 by Vernor Vinge

(Verbatim copying/translation and distribution of this entire article is permitted in any medium, provided this notice is preserved.)

{原文链接:https://edoras.sdsu.edu/~vinge/misc/singularity.html}

翻译 by 黎昃生(约等于机翻)

摘要

    在未来的三十年内,我们将拥有创造超人类智能的技术。不久之后,人类纪元将走向终点。

这样的进程是可以避免的吗?如果不能避免,能不能加以引导,让我们姑且还能生存下去?这些问题便是我们要研究的。我将提出一些可能的答案(以及其进一步产生的风险)。

什么是奇点?

    技术发展的加速已成为本世纪主要特征,我认为,人类已经处在变革边缘,这个变革可以与人类在地球上的崛起相提并论。而造成这一变革的确切原因就是,技术即将创造出超越人类智能的存在。我将列举几个可能产生技术突破的科学途径(这也是我们确信技术奇点必将出现的另一个原因):

  • “觉醒”的和拥有超人类智能的计算机的发展(到目前为止,大多数关于AI的争论焦点还停留在我们是否能够在机器上实现与人类对等的智能),但如果答案是“Yes ,we can”,那么毫无疑问,更加智能的造物也会在此后不久被构建完成。)

  • 大规模计算机网络(以及他们所连接的用户)也许会以一个超人类智能实体的形式“醒来”(Large computer networks (and their associated users) may "wake up" as a superhumanly intelligent entity.)

  • 计算机/人类的界限变得如此模糊以至于用户也被理所当然地认为是超人类智能。(原文:Computer/human interfaces may become so intimate that users may reasonably be considered superhumanly intelligent.)

  • 生物科学可能会找到一种对人类智力进行提升的方法。

    前三种可能性都很大程度上都是基于计算机硬件的提升。在过去的几十年中,计算机硬件的发展奇迹般的沿着一条稳定的曲线[16]。基于这一趋势,我相信在未来的三十年内,人类将创造出超越人类智能的造物。(但是Charles Platt [19]指出,AI爱好者们在过去的三十年来一直这样说。因此我不认为相对时间的模糊性是错的,说的更具体些,如果这个事发生在2005年之前或2030年之后,我会感到惊讶。)(原文:Charles Platt [19] has pointed out the AI enthusiasts have been making claims like this for the last thirty years. Just so I'm not guilty of a relative-time ambiguity, let me more specific: I'll be surprised if this event occurs before 2005 or after 2030.)

    这一事件的后果什么?当超越人类的智能来推动进步时,这种进步将会比过去的我们人类主导的进步要快得多。事实上,似乎没有理由认为进步本身不涉及在更短的时间尺度上创造更智能的实体。我认为最好的类比是进化的历史:

    动物能适应问题和创造发明,但是常常快不过自然选择--就自然选择来说,世界充当了自身的模拟器。我们人类有着把世界内在化并在在脑海里进行“如果是这样,那该怎么办?”的模拟(或者预期)能力,我们解决很多问题的速度比自然选择快上千倍。现在,通过创造在更高的速度下执行这些模拟的方法,我们正进入一种全新的制度,正如过去的我们告别低等动物,现在也要告别过去的人类。

    从人类的视角看来,这些改变将会抛弃以前的一切规则,可能眨眼间,就会发生指数级的失控。以前被认为可能需要一百万年(甚至更长)的时间才能完成的突破很有可能在下个世纪就会发生。 (在[4]中, Greg Bear便描绘了仅仅在数小时内就发生巨变的图景)

    我认为将该事件称为奇点(本文中的“奇点”)很公平。在这一点上,旧的模型必须被摒弃,而新的现实会迎来统治。随着我们越来越接近这一点,它将在人类事务中占据越来越大的位置,直到这一概念成为一种普遍现象。然而,当它最终发生时,它仍可能是一个巨大的惊喜和更多的未知数。在二十世纪50年代,很少有人能看到这一点:Stan Ulam [27]解释了冯·诺伊曼的话:


有一次对话集中于技术的不断加速发展和人类生活方式的不断变化上,这让人感觉我们正在接近人类历史上的某个重要的奇点,在这个奇点之后,我们所知道的人类事务就无法继续下去。

冯·诺依曼甚至使用了奇点这个术语,尽管他似乎仍然在思考正常的进程,而不是创造超人类的智能。(在我看来,超人类性就是奇点的本质。如果没有它,我们不断发展的结果只会是技术过盛,却不能完全吸收(参见[24])

    在20世纪60年代,人们已经认识到了超人类智能的一些含义。I. J. Good这样写道[10]:

我们把超智能机器(ultraintelligent machine)定义为一种可以远超任何一个人所有智力活动的机器,无论这个人有多么聪明。因为机器的设计就是这些智力活动的一环,所以一个超智能机器甚至可以设计一个比它自己更“聪明”的机器;那么,毫无疑问,这会是一场“智能爆炸”,人类智能也会远远落后于他们。因此,第一台超智能机器就是需要人类参与制作的最后一项发明,前提是,机器足够温驯,告诉我们如何控制它。

---更有可能的图景不是这样,在20世纪内,超智能机器将被制成,这将是需要人类的最后一项发明。

    Good已经抓住了失控的本质,但没有进一步追究最令人不安的后果。他所描述的任何这类智能机器都不会是人类的“工具”——就像人类不会是是兔子、知更鸟或黑猩猩的工具一样。

    在60年代、70年代和80年代,对大灾难的认识开始传播[28] [1] [30] [4]。也许是科幻小说家们第一次感受到了具体的影响。毕竟,“硬”科幻作家是那些试图描绘所有技术都会对我们有益的图景的人。这些作家越来越感到未来有一堵不透明的墙。曾经,他们可以把这样的幻想放在未来数百万年[23]。现在他们看到他们最勤奋的推断导向了不可知的未来。

    曾经,银河帝国似乎是后人类的领地,可悲的是,现在即使是行星间的未来也不可知。

    那么90年代,00年代和10年代呢,当我们滑向边缘的时候?奇点的到来将如何在人类的世界观中传播?在一定时间段内,对机器智能的一般性批评将有良好的新闻报道效果。毕竟,在拥有像人脑一样强大的硬件之前,就认为我们能够创造出与人类相当(或更高)的智能是愚蠢的。(有一种牵强的可能性,如果我们愿意给予速度,如果我们愿意满足于一个实际上很慢的人工生命,我们可以用不那么强大的硬件制造出一个人类[29]。但更有可能的是,设计软件将是一个棘手的过程,涉及许多错误的开始和实验。如果是这样的话,那么拥有自我意识的机器的到来将不会发生,直到我们开发出比自然人类更强大的硬件。

    但随着时间的推移,我们应该会看到更多的征兆。科幻小说作家所感受到的困境将在其他创造性的努力中被感知。(我曾听到一位有思想的漫画作家担心,当所有可见的东西都可以由技术上的普通事物产生时,如何产生壮观的效果。)我们将看到自动化取代越来越高级别的工作。我们现在有工具(符号数学程序,cad/cam)可以把我们从最底层的苦差事中解放出来。或者换句话说:真正富有成效的工作是人类中越来越少、越来越精英的一部分人的领域。随着奇点的到来,我们看到了技术失业的预言终于成真。

    向奇点发展的另一个征兆是:思想本身应该传播得更快,即使是最激进的思想也会很快变得司空见惯。当我开始写作的时候,似乎很容易就能提出一些想法,而这些想法要花几十年的时间才能渗透到文化意识中;现在的筹备时间似乎更像是18个月。(当然,这可能只是我随着年龄的增长而失去了想象力,但我也看到了其他人的影响。)就像可压缩流体中的激波一样,当我们加速通过临界速度时,奇点会越来越近。

    那么奇点本身的到来呢?关于它的实际表观可以说些什么呢?由于它涉及到智能的失控,它可能比迄今为止看到的任何技术革命都要快。这一突发事件很可能是意料之外的--甚至可能对相关的研究人员来说也是如此。(“但是我们以前的所有模型都是紧张性精神分裂症!我们只是在调整一些参数...如果网络足够广泛(进入无处不在的嵌入式系统),那么我们的人工造物可能会作为一个整体突然觉醒了。(原文:("But all our previous models were catatonic! We were just tweaking some parameters....") If networking is widespread enough (into ubiquitous embedded systems), it may seem as if our artifacts as a whole had suddenly wakened. )

    那之后的一两个月(或一两天)会发生什么呢?我只有一些类比可以指出:人类的崛起。我们将进入后人类时代。尽管我对科技抱着极度乐观的态度,但有时我想,如果我把这些超然的事件放在一千年以前,而不是二十年后,我会更舒服些。

DeepMind和OpenAI

后面的章节尚未翻译。。。。。

奇点可以避免吗?


通往奇点的其他路径:智力放大


强大的超人类和我们所能要求的最好的

    [1] Alfvn, Hannes, writing as Olof Johanneson, The End of Man?, Award Books, 1969 earlier published as "The Tale of the Big Computer", Coward-McCann, translated from a book copyright 1966 Albert Bonniers Forlag AB with English translation copyright 1966 by Victor Gollanz, Ltd.


     [2] Anderson, Poul, "Kings Who Die", If, March 1962, p8-36. Reprinted in Seven Conquests, Poul Anderson, MacMillan Co., 1969.


     [3] Barrow, John D. and Frank J. Tipler, The Anthropic Cosmological Principle, Oxford University Press, 1986.


     [4] Bear, Greg, "Blood Music", Analog Science Fiction-Science Fact, June, 1983. Expanded into the novel Blood Music, Morrow, 1985


     [5] Cairns-Smith, A. G., Seven Clues to the Origin of Life, Cambridge  University Press, 1985.


     [6] Conrad, Michael et al., "Towards an Artificial Brain", BioSystems, vol23, pp175-218, 1989.


     [7] Drexler, K. Eric, Engines of Creation, Anchor Press/Doubleday, 1986.


     [8] Dyson, Freeman, Infinite in All Directions, Harper && Row, 1988.


     [9] Dyson, Freeman, "Physics and Biology in an Open Universe", Review of Modern Physics, vol 51, pp447-460, 1979.


    [10] Good, I. J., "Speculations Concerning the First Ultraintelligent Machine", in Advances in Computers, vol 6, Franz L. Alt and  Morris Rubinoff, eds, pp31-88, 1965, Academic Press.


    [11] Good, I. J., [Help! I can't find the source of Good's Meta-Golden  Rule, though I have the clear recollection of hearing about it sometime in the 1960s. Through the help of the net, I have found  pointers to a number of related items. G. Harry Stine and Andrew  Haley have written about metalaw as it might relate to extraterrestrials: G. Harry Stine, "How to Get along with  Extraterrestrials ... or Your Neighbor", Analog Science Fact- Science Fiction, February, 1980, p39-47.]

            

    [12] Herbert, Frank, _Dune_, Berkley Books, 1985. However, this novel was serialized in _Analog Science Fiction-Science Fact_ in the 1960s.


    [13] Kovacs, G. T. A. et al., "Regeneration Microelectrode Array for Peripheral Nerve Recording and Stimulation", IEEE Transactions on Biomedical Engineering, v 39, n 9, pp 893-902.


    [14] Margulis, Lynn and Dorion Sagan, Microcosmos, Four Billion Years of Evolution from Our Microbial Ancestors, Summit Books, 1986.


    [15] Minsky, Marvin, Society of Mind, Simon and Schuster, 1985.


    [16] Moravec, Hans, Mind Children, Harvard University Press, 1988.


    [17] Niven, Larry, "The Ethics of Madness", If, April 1967, pp82-108. Reprinted in _Neutron Star, Larry Niven, Ballantine Books, 1968.


    [18] Penrose, R., The Emperor's New Mind, Oxford University Press, 1989.


    [19] Platt, Charles, Private Communication.


    [20] Rasmussen, S. et al., "Computational Connectionism within Neurons: a Model of Cytoskeletal Automata Subserving Neural Networks", in Emergent Computation, Stephanie Forrest, ed., p428-449, MIT Press, 1991.


    [21] Searle, John R., "Minds, Brains, and Programs", in _The Behavioral and Brain Sciences, v.3, Cambridge University Press, 1980. The essay is reprinted in The Mind's I, edited by Douglas R. Hofstadter and Daniel C. Dennett, Basic Books, 1981. This reprinting contains an excellent critique of the Searle essay.


    [22] Sims, Karl, "Interactive Evolution of Dynamical Systems", Thinking  Machines Corporation, Technical Report Series (published in Toward a Practice of Autonomous Systems: Proceedings of the First European Cnference on Artificial Life, Paris, MIT Press, December 1991.


    [23] Stapledon, Olaf, The Starmaker, Berkley Books, 1961 (but from the forward probably written before 1937). 


    [24] Stent, Gunther S., The Coming of the Golden Age: A View of the End of Progress, The Natural History Press, 1969.


    [25] Swanwick Michael, Vacuum Flowers, serialized in Isaac Asimov's Science Fiction Magazine, December(?) 1986 - February 1987. Republished by Ace Books, 1988.


    [26] Thearling, Kurt, "How We Will Build a Machine that Thinks", a workshop at Thinking Machines Corporation. Personal Communication.


    [27] Ulam, S., Tribute to John von Neumann, Bulletin of the American Mathematical Society, vol 64, nr 3, part 2, May, 1958, p1-49.


    [28] Vinge, Vernor, "Bookworm, Run!", Analog, March 1966, pp8-40. Reprinted in True Names and Other Dangers, Vernor Vinge, Baen Books, 1987.


    [29] Vinge, Vernor, "True Names", Binary Star Number 5, Dell, 1981. Reprinted in True Names and Other Dangers, Vernor Vinge, Baen Books, 1987.


    [30] Vinge, Vernor, First Word, Omni, January 1983, p10.

译后记

弗诺·文奇(Vernor Vinge)是我非常喜欢的一位科幻作家,其代表作《银河界区》三部曲我亦早有耳闻,却害怕其庞大的量(字数超多,书厚,总之就是没读完),现在也只阅读了《真名实姓(True Names and the Opening of the Cyberspace Frontier)》与《彩虹尽头(Rainbows End)》并在作者简介中发现了这篇论文。




《技术奇点来临:如何在后人类时代生存》(弗诺·文奇)的评论 (共 条)

分享到微博请遵守国家法律