自动化系统下的世界:你的智商和决定权正在被剥夺

随着人工智能时代的来临,人们最为担心的就是人工智能是否会取代一部人的工作,这个问题的答案是肯定的;那么,接下来的问题就产生了——哪些人的工作会被替代?其实,我们有可能对于人工智能担心的过多了,而忽视了眼前生活中的一个可怕事实——我们的智商和决定权正在被剥夺,而这种剥夺是无形的和无情的。
被我们忽视的一个可怕事实
这两天有时间就在死磕《混乱》这本书,当看到“自动化”这个章节的时候,就想起了大学时光中的一件小事,但就是这件小事,让我记忆犹新。
那是大三的暑假,我因为考研和做实验等事由没有回家避暑,当时室外温度大概有40多度的样子,室内就更不用说了,而且院内为了节约用电,空调温度不能开的太低,因此我一边蒸着桑拿,一边做着实验,甚是惬意。
有一天,老板让我带着蛋白样品去一个研究所做检测,但这个研究所我并不知道在哪里,而且老板也没说过多细节,只说了研究所名字和联系老师姓名,剩下的工作就是查到这个研究所的地址和解决如何去的问题了。
这时,我下意识的拿出手机,打开了地图导航软件,输入了研究所名字,就出现了需要乘坐的公交车信息和下车后的步行信息,保存信息后,万事俱备,把蛋白样品放进冰盒就顶着酷日上路了。
在公交车上享受了短暂的清凉之后,按照导航下了车,开始了干煎和桑拿的双重体验。但是心想:还好有导航,如果用地图的话,得费多大的力气才能找到啊!
但是后面发生的事情,让我意识到高兴的太早了,
接下来的两个小时里,我跟着导航穿过一条又一条的小巷,走过一条又一条的大街,毫无质疑的跟着。虽然外部环境是360度全方位炙烤着,但是导航的结果却让我的心仿佛置于冷库中:在这两个小时里,我经历过死胡同,也经历过“修路中,此路不通”,最后“历经万险”才到达了研究所。
到达后,接待老师给我说“我的老板很早就给他打电话,那边说我已经出发了,为什么才到?我记得当时就说了一个词“一言难尽”;虽然这个过程很艰辛,还好最后的结果是好的,蛋白是争气的,得到了很好的结果。
虽然当时由于这件事情很生气,怒删了软件。但由于当时实验结果很不错,就没有把这件事想太多。

这两天经过阅读,让我开始重新思考这个小事,其中做了很多假设:如果当时我放弃使用导航,改用问路是不是会好一点?或者说,不是那么一味的相信导航,结合思考来判断导航是否正确,这样会不会更快的到达目的地?虽然这些假设目前无法验证,但是一点是肯定的,那就是当时如果稍微有一点质疑导航的话,我也不会一路走到黑。
的确,随着4G技术的普及,开车用着导航、走路用着导航,连真正的老司机也放弃了多年的认路用起了导航。当生活中只要遇到找路和认路的时候,我们都会习惯性的打开手机导航,输入终点,接下来我们的大脑就“退居二线”,一切交给导航指挥,不管前路是否通畅还是“此路不通”,都会坚定不移的听从导航。
虽然导航可以摆脱认路的烦恼和路痴的痛苦,给生活和工作带来了便利和快捷,但在这个过程中,也放弃了一些宝贵的东西,比如对于技术的质疑和对头脑的信任。我们不再相信看到的东西和自己的大脑,而去相信不太可靠的导航技术,去放弃最为可靠的先天优势。那么,这是技术帮助我们进化了,还是退化了?

因此,一个被忽略的可怕事实出现了——我们的智商和决定权正在一步一步的被技术剥夺,而这个过程我们是乐意接受的,或者说是无意识的。
一场空难引发的思考
2009年5月31日晚间19点29分,法航447航班从巴西里约热内卢起飞,目的地是巴黎。这原本是一趟正常不过的飞行,但是不幸的是,飞机在飞越大西洋时坠毁,机上包括机组人员228人全数罹难。
事故发生之后,事故调查即刻展开。据调查,法航447航班使用的是空客A330,这是世界上最先进的飞机之一,飞行平稳、操作简单。和其他现代飞机一样,空客A330配备自动驾驶仪,只要设定好程序,飞机便可沿着既定航线飞行。同时它还具备另一个更为先进的电子飞行控制系统——电传操纵系统(Fly by wire flight control system"(FBW))。
在老一代的飞机上,飞行员要手动操控飞机的襟翼、方向舵、升降舵和副翼来保持飞行。更多的操控就意味着飞行员必须保持极低或者避免失误的容错率和敏锐的反应。而这套电传操纵系统可以有效地降低人工失误,使飞行更加安全。

简单说,在这套系统的存在下,飞行员的操作不是直接反馈到操纵面,而是通过这套系统来检测飞行员的操作是否正确,然后再发送正确指令来动作飞机的襟翼、方向舵、升降舵和副翼。就等于说,这套系统存在于飞行员和飞机之间,像飞机上的“检察员”,一方面观察飞行员的操作,另一方面引导飞机做出正确的动作,保证飞行顺利。因此,飞行员假设做出不当动作,也不会造成危险,因为电传系统也会纠正并且控制飞行。
接下来,看看当天执飞的三位飞行员的情况。副驾驶皮埃尔,凯德里克.傅南,32岁,是个新手,没有什么飞行经验;另一个副驾驶大卫.罗伯特,37岁,飞行经验比傅南要多一些,但是由于新晋为法航经理,已经没有全职飞行,多少会有些生疏;58岁的机长马克.迪布瓦飞行时间最长,经验最为丰富,但是在当天白天,他和另一名休假的乘务员去逛了里约热内卢,据事后报道,他上飞机之前只睡了一个小时。
整个机组,两个是新手,机长是缺觉的,那么他们是什么勇气来飞航班的?正是刚才提到的电传系统给了他们信心,每个人都相信在它的帮助下,即使状态不好,也可以保证飞行顺利。而且这架A330服役的历史上,从来没有出现过事故。硬要说这架飞机存在什么风险的话,那就是它实在太过于完美了。因此,这三位驾驶员抱着侥幸的心态开始了这趟飞行,但是他们忽略了一个细节:在这套电传系统的背后隐藏着隐患,而这个隐患就存在于它一旦遭受外在环境影响或者宕机,飞行员很可能因为缺乏应对经验而手足无措。

这架航班在飞行途中,在赤道以北大西洋上遇到了雷暴天气。虽然这不是什么大事,但是机长迪布瓦太掉以轻心,做出了第一个危险举动,在晚上23点02分时留下没什么经验的副驾驶傅南,独自去休息室打盹。
面对机长的离去和雷暴天气,傅南显得有些紧张,然后就让他失去了镇定:“真是见了鬼了!”傅南之后希望可以从雷暴上方飞过去,因此他几次向空管中心提出了申请,希望批准飞机爬升到36000英尺(约10973米),但是他的申请并没有得到采纳。这是因为飞的更高的确可能避免雷暴带来的影响,但是一架飞机的飞行高度是有限的,高度越高,大气层越稀薄,越难以支撑飞机的重量,飞机这时就有可能失速。
这里得补充一个知识点,与汽车失速不同的是,飞机失速与发动机无关。简单的说,当飞机升的太快太陡,飞机机翼便会失去升力,于是飞机就会失去爬升力,以至于失去速度,最后以机头朝上的姿势坠落。

据了解,每一个飞行员在训练阶段就会学习如何控制失速的飞机:将机头压下,向下俯冲,使飞机获得升力,机翼便能正常工作,之后再将飞机稍稍抬起,结束俯冲,飞机进入正常水平飞行。但是这一操作,在后面的所有操控中都没有出现,原因就在于飞行员并没有意识到飞机正在下降。
飞机越来越接近雷暴区,机翼上开始出现冰晶。傅南和罗伯特开启了除冰系统,以防止结冰太多降低飞行速度。就在这时,驾驶舱被一股电焦味充满,随后舱内温度升高。罗伯特告诉傅南这是风暴带电的结果,并非设备故障。
突然,警报器响了,自动驾驶仪由于空速传感器被积冰堵住无法正常工作。其实,这也不是什么大问题,这意味着接下来需要飞行员手动操纵飞机。而就在此时,飞机的电传系统也因为积冰故障转换至备用程序,也就是说,系统减少了对飞行员行为的监管和帮助,将操纵权交还给了飞行员。
当电传系统“退居二线”后,飞机立刻左右开始摇摆。傅南为了稳住飞机使劲拽了一下控制杆,结果用力过猛,飞机摇摆的更加剧烈。这时傅南觉得不可思议,因为平时电传系统能够纠正一切错误操作。但在备用模式下,系统早已对任何操作毫无反应,只会以讹传讹,无论操作指令是多么的愚蠢,都会执行。但是这一切,傅南却不知道,他还傻傻的认为电传系统一直都在帮助他。
而就在此刻,傅南犯下了第二个低级错误:他一口气将操纵杆拉到底,飞机开始急速陡峭爬升。在大西洋上方漆黑一片,飞机以每分钟7000英尺(约2100米)的急速爬升,它在获得高度的同时,也在失去速度。一个自动化的声音用标准的英语咆哮着“失速!失速!失速!”
突如其来的颠簸打断了机长迪布瓦的休息,走进驾驶室,此时飞机仍然处于35000英尺(约10668米)的高空,但是正以每秒150英尺(约45米)的速度下坠,同时警报声也伴随在驾驶室中。机长面对这一切却沉默了23秒,他在搞清楚状况,但是就在这23秒里,飞机又足足下坠了1200米。
这时如果迪布瓦认清形势,意识到飞机正在失速,拯救飞机还不晚。但是,这时机头已经抬得足够高,整架飞机几乎与海平面呈90度,以致失速报警都不响了。对于这个情况,机组人员犯下了第三个致命错误——他们认为电传系统已经帮助他们解决飞机失速的状态。但是当傅南稍微调整机头方向,失速报警又开始叫了。这下飞行员们彻底懵了,开始讨论飞机到底在爬升还是坠落:
罗伯特:“注意你的速度!飞机在上升!快下降!快下降!”
傅南:“我是在下降!”
罗伯特:“不对,你在上升!”
傅南:“在上升?好吧,那我们下降。”
终于站在罗伯特和傅南后面的机长迪布瓦反应过来了:“不,不,不.......别上升!...........不...不。”
这时,罗伯特也反应过来了,立刻接替了吓懵的傅南的操控权,他迅速将机头朝下俯冲,终于飞机下坠的速度慢了下来,但是一切都晚了。罗伯特和迪布瓦都意识到飞机正在急速下坠,但是谁也没说出来,只有傅南还不清楚,说出了生前的最后一句话:“到底发生了什么?”
4秒钟之后,飞机以每小时200千米的速度撞向大海,法航447航班上的228名乘客和机组人员全部遇难。就这样,法航空客A330客机于格林尼治时间1日凌晨在大西洋海域上空失踪。客机上共有216名乘客和12名机组人员,其中包括中国乘客9人。

从表面上看,失速导致了这起空难的发生,但是电传操纵系统才是罪魁祸首。这里并不是说系统“杀害”了整架飞机,而是机组人员太过于相信该系统了,相信的都不敢去信任自己的飞行经验。确切的说,飞行员们已经对电脑系统形成依赖,离不开它了。在面临飞机失速的状态下,他们还是以为电传系统已经采取行动了,发出警告只是在知会他们飞行遇到了小麻烦,一切都在掌控之中,但是事实是电传系统已经不工作了。也只有这样才能解释整个机组人员为什么会无视多达75次的失速警报。
作家兼职业飞行员威廉.朗格维舍直接批评法航飞行员:
无能到可怕。
他在《名利场》(Vanity Fair)的一篇文章中一针见血地指出:
这些飞行员根本离不开电脑系统,经验丰富的机长迪布瓦也不例外。在事发前的6个月当中,他一共飞了346个小时,其中只有4个小时是手动飞行而且全都是在电传操纵系统正常运作的条件下完成的。
自动化悖论
这种科技越先进、人类反而越无能的现象被称为自动化悖论(Automation paradox)。它在生活中随处可见,无论你是在核电站还是办公室工作,都会遇到。举个最简单的例子,手机自从有了号码储存功能,想打电话时甚至不用拨号,选择、拨打两个动作即可。就这样我们失去了对于数字的记忆能力,不相信?现在就可以做个测试:试着复述出你男票/女票的手机号吧。

再比如,就像前文说的那样,一遇到找路和认路,就打开手机导航,这样不知不觉就失去了判别方向感的能力和养成了“路痴”的习惯。
自动化系统越先进,人工操作就越生疏,而一旦面临问题处理,就会越发的摸不着头脑,就像傅南死前还不知道发生了什么一样。《人工误差》(Human Error)的作者、心理学家詹姆斯.瑞森在书中写到:
人工操作是一种高水准的技能,任何技能都需要坚持不懈的训练才能保持水准。然而,自动化系统剥夺了操作者实践基础技能的机会......如果是小故障,一般电脑系统还能应付,而一旦需要人工接管时,意味着出大麻烦。越是这个时候,就越需要负责人有熟练、高超的技巧。
就此,让我们再来重新思考下无人驾驶汽车。就在刚刚过去的3月,Uber的无人驾驶汽车造成了历史上第一起行人死亡案件。虽然案件原因还在调查,但是其背后的原因很有可能是人为导致,具体原因我在公众号里做了解释,如果你想要了解,可以去关注我的公众号:失控的纸飞机。扯远了,回到主题,
目前在研发无人驾驶的公司有我们熟知的特斯拉、Goolge、微软,百度都着手研发。从人工驾驶汽车到无人驾驶汽车,其中是一个很大的技术突破和研发过程,而其中有一个过渡阶段——半人工驾驶过程。简单说就是驾驶员还是坐在驾驶位上,但是并不是由驾驶员操控车辆,而是由人工智能驾驶;只有当遇到突发重大事件时,人类驾驶员才会接管车辆进行避险操控,其他时候人类驾驶员就只是坐在那里,来监控人工智能做的每一个动作。

这个过程看似准备到位,没有一点隐患。但是Uber也是在同样的情况下路测发生事故。这就引发一个思考:伴车测试的技术员是否也会在过程中产生侥幸心理,对于人工智能技术迷之信任?
刚开始路测时,技术员必定会毫不分心的监控一切仪表和路面情况,为保证一切都处于可控条件下。但是在安全行驶一公里、十公里、一百公里、甚至五百公里后,还会像刚开始那样毫不分心吗?
人,不是机器,人性中是有弱点的——惰性。惰性会慢慢随着环境的变化,去产生和改变。就像在几百公里的安全行驶中,人类就会对于车辆上的自动化设备产生信任,随之产生惰性和避险技能失调。那么,这个过程中真的能保证车辆自动化设备不会发生意外吗?就像信任法航447航班上的电传操控设备一样,当失去作用时技术员能做出正确避险操控吗?这一切都无法保证。
任何技术的进步和突破都是需要时间的,而这个时间是留给人们来思考和抉择的,无论是无人驾驶还是人工智能都是一样的,这个技术趋势已经到来,我们无法阻止它的到来,但是不要忘了原本的初心——研发技术是为了帮助人类进化,而不是退化的。
智商和决定权正在被剥夺
《进化论》中的“物竞天择,适者生存”我们每个人都懂,每个人都可以像“达尔文”一样说出很多理论,但是放到现实中却是可悲的。我们之前都会猜想,人们进化到未来到底会变成什么样子,是不是会变得更加聪明、脑子更大等等。但是实际上,人类正在慢慢退化,而且这个过程很多人并没有意识到。
回想起我们的小时候,没有电视、没有电脑、也没有手机和ipad,有的只是好奇心,对于世界上一切的好奇心,有时就会一下午望着天空看或者观察地面上的蚂蚁们搬家。虽然现在觉得无聊,但是当时会感觉很有趣,因为那个过程我们的大脑在思考。而现在的孩子们呢,一出生就生活在充满技术爆炸的时代下,很小就学会了玩手机和玩ipad,那么小的小手在屏幕上指指点点,有些时候玩王者荣耀比我们还玩的6。

其他人看到这一幕,会很开心,感觉现在的小孩子都很聪明,这么小就会玩这么这么复杂的机器了,长大了肯定不得了。确实,随着生活水品的提高,现在的00后,或者10后,所接受的信息带宽,肯定远超我们90后,这点毋庸置疑。但是,这些孩子长大真的会有所成就吗?对此,我表示怀疑!
最近由于无人驾驶汽车研发进度被更多的民众得知,很多人都觉得以后考驾照已经没有用处了,反正以后也不用开车了,还废那么大的力气考什么驾照呢?就这样,今天放弃考驾照,放弃学车;
明天说不定就会放弃学习做饭和吃饭,反正以后人工智能会给人类做饭和喂饭;
后天就可以放弃学习了,反正未来有人工智能可以帮助人们做一切事情;
那么是不是有一天就可以放弃活着了?
现在我们没事就会担心人工智能未来是不是会抢走我们的饭碗,到那时哪些人会没饭吃?其实,对于这些思考,我是觉得有些可笑的。
因为在我们考虑这些的时候,自动化技术正在一步一步的剥夺我们的智商和决定权,对此却全然不知。有时想想,“剥夺”这个词已经不再恰当了,用“自动放弃”更为恰当一点,不是吗?
真到人工智能出现的那一天,不学无术的人们还在考虑这个傻问题或者在祈求人工智能不要取代我们的时候,那时的人工智能看待人类就像《三体》中三体文明看待地球文明一样:“我,不在乎!”

就像我写过的一篇文章《对于人工智能,我们人类到底在害怕什么?》中写的那样,无论对于人工智能还是无人驾驶,或者未来还有什么新的技术革新,我们都没有必要去害怕。我们与其花时间去担心这些,还不如思考下我们是否已经成为了技术的“奴隶”。
科学技术的进步,是为了帮助人类进化的,而不是成为它们的奴隶。所以,在以后开车的时候,请不要使用导航,试着自己找找目的地,说不定能看到意想不到的景色;在以后想给女票/男票打电话的时候,请不要使用预存号码,试着回忆下号码,说不定这样会让彼此更加融洽;在以后逛街的时候,请放下手机,多倾听下他们说了什么,然后给予回应,这样说不定你们一天都会开心愉快。
我们的智商和决定权只有自己做主,也只能由我们自己做主,没人有权利剥夺,因此请守护好它们。未来无论怎样,我们都要去面对。但是,真的不要被我们自己创造出来的人工智能看不起!

祝,春祺!

参考材料:
1、《混乱》 蒂姆.哈福德 著
2、The Most Important Self-Driving Car Announcement Yet.《The Athlantic》.2018.3.28
3、“我们死定了”法航447空难最后录音曝光.民航资源网.2014.10.14
4、法航447的最后4分钟:史上最神秘的空难事故.凤凰网.2014.3.10
5、A different world.《The Economist》.2018.3.19
6、周蜜.A320飞机电传操纵系统概述[J].中国科技信息,2016(12):34-35+17
7、黄国华,李洋,廉风慧.飞机电传操纵系统的发展概况[J].现代教育科学,2009(S1):414-415
8、胡剑波,褚健,蔡满意,魏瑞轩.电传操纵系统模拟[J].系统仿真学报,2000(01):47-48+69
声明:本文为作者本人原创文章,版权所属公众号“失控的纸飞机”所有,文章观点仅代表作者本人,如需转载、合作,请联系作者,微博:@Fly Levine,谢谢!