导语
由北京大学科学技术与医学史系开设的《当代科技史》系列课程第三讲于10月22日进行,我们特别邀请中国科学院自然科学史研究所主任、研究员刘益东,讲授《科技重大风险与人类安全危机:双重挑战及其引发的新科技革命》。
当前人类面临的最大危机和挑战是什么?为什么科技危机和事故增多,却没有让科技研发放慢脚步?安全危机给产业转型和社会转型带来了哪些机遇?刘益东教授从两种科技大局观切入,展开对科技伦理与风险双重挑战的论证,反思科技发展方式,探讨新科技革命下中国科技的发展机遇。
随着新兴科技快速发展,科技风险与伦理问题频发,备受关注。我国政府高度重视科技风险治理和科技伦理问题,2019年组建国家科技伦理委员会,习近平总书记强调防范七类重大风险(科技重大风险是其中之一),强调底线思维,加强体系建设和能力建设。近日,习近平总书记强调要从保护人民健康、保障国家安全、维护国家长治久安的高度,把生物安全纳入国家安全体系,加快构建国家生物安全法律法规体系和制度保障体系。2020年初,联合国秘书长古特雷斯发表声明称,21世纪人类进步和发展面临着“启示录四骑士”的威胁,其中之一就是高新科技的非法应用。重视科技重大风险治理与人类安全是当务之急。
刘益东教授简要回顾了他22年研究科技重大风险的历程,与同学们分享研究心得和体会。第一阶段主要是致毁知识增长研究;第二阶段在研究致毁知识增长基础上,又提出“囚车剑魔”四大困境;第三阶段继续深化已有研究,并研究科技伦理法律失灵,人类安全防线诸多漏洞双重挑战等问题。
主讲人:刘益东
Part 01
反思两种科技大局观:乐观顺延论与悲观末日论
目前流行的科技大局观有两种:占主流的乐观顺延派认为,现在是信息科技时代,将进入生物科技时代和智能科技时代;现在是第三次工业革命,将进入第四次工业革命。这种大局观不仅在学界、社会占据主流,上至世界各国政府的科技政策,下至企业和个人的规划,都以这样的大局观为指引。
另一种则是悲观末日的大局观。1945年原子弹爆炸,认为科技发展下去会发生毁灭性灾难、甚至毁灭人类的末日悲观论开始流行。不过,这种看法主要体现在文学和影视作品中,在主流社会中较为边缘,大多数人并不当真。
这两种大局观哪个才是正确的呢?需要注意的是,乐观派和悲观派是不对称的。悲观派的诉求就是现在科技发展太快,问题太多,我们应暂缓或中止高风险领域的研究和应用。如果悲观派错了,至多只是放缓和延迟科技的发展。反之,如果乐观派错了,则将积重难返,甚至错失人类自我拯救的最后时机,万劫不复。
在事关人类或个人安全的时候,人类有一种智慧叫做“宁可信其有”。比如有人说飞机上有一颗炸弹,尽管99%的可能都是恶作剧,但因为事关重大,所以应该停飞重新检查。在事关人类命运的问题上,底线思维要求我们应该重视最不利的情况。现在尽管科技风险很大,但人们多是乐观派。
“科技发展下去会发生毁灭性的灾难甚至毁灭人类”,这只是悲观派的直观判断和日常语言表述,在研究中是没办法论证的。除个别学者通过概率分析和描述性分析加以论证外,至今尚未出现严谨的学术论证,探讨这件事在什么条件下会发生,什么条件下可以避免。条件关系是我们做研究最重要的内容,但鲜见对这一直观判断做认真研究。
核科技风险
科技风险,人们并不陌生。比如说核科技风险,生物技术风险、纳米技术风险、人工智能风险。欧洲社会有警惕和批判科学技术的传统,从卢梭开始,人文社科学者早就对科技风险有所警惕。进入21世纪后,不止是人文学者批评,顶尖的科学技术专家也开始关注科技风险。
2000年,UNIX之父比尔·乔伊的《为什么未来不需要我们》,指出现在的危险不仅仅来自核武器、生物武器、化学武器,更危险的是基因技术、纳米技术和人工智能技术。这些技术不需要依赖稀缺原材料,就能制造毁灭性武器。不断加速的技术变革可能会在两代人的时间内带来某种类似于人类灭绝的后果。中国科学家也有对科技的反思,韩启德院士指出:“既然科学存在方向和价值问题,那就提醒人们要重视人文的作用,因为人文是科学发展的方向盘和刹车器。在发展科学技术的同时,必须大力发展科学文化。”
Part 02
科技爆发式发展与科技风险愈演愈烈
即使有这么多科学家的反思和预警,科学技术本身的发展丝毫没有受到影响。科学技术和资本的结合拥有巨大的能量,谁也阻挡不了。从下面的曲线可以看到,人工智能、纳米技术、合成生物学都发展得非常快。
自1996年以来,每年发布的人工智能论文数量增加9倍(来源:斯坦福“人工智能指数”报告)
新的合成生物学公司正不断被创建,合成生物学行业发展迅速,2016年全球已有410多家公司。(来源:SynBioBeta联盟)
科技风险和灾难的增长也非常快。刘雯和徐飞的研究显示,自1900年至2006年所发生的技术灾难共约6152起,且近30年来发生的技术灾难数量却占了整个技术灾难数量的92%。可能的科技灾难越来越多,比如最近热议的量子霸权,一旦成功,能够使现有的很多密码形同虚设。把银行里的个人存款清零都是小事,最主要是核密码,黑客可以进入核武库与核电站,启动核武器。即使量子计算机出来以后可以设置新型密码,现有的密码系统要更新也不是一两天就能完成的,存在时间差和空间差,因此存在巨大风险。甚至可以说,谁掌握量子霸权,谁就威胁整个世界。
互联网降低了科学技术的门槛,使得科技风险加剧。我们知道的黑客、创客、车库实验室,都可以利用公共研发平台和共享信息,几乎不受约束地进行发明创造与传播。人类基因组计划共享了很多研究成果,可以被善用也可以被恶用。合成生物学、基因编辑技术、人工智能、纳米技术、量子计算机等新兴科技在争议中爆发式发展,例如,2014年日裔美籍病毒学教授河冈义裕研制出H1N1流感病毒的新变种,可“绕过”人体免疫系统;2017年加拿大生物学家合成出马痘病毒(horsepox),它与天花病毒存在亲缘关系,据说在互联网上花费2.5万美元就能够“组装”出马痘病毒;2018年底美国政府机构批准了争议巨大的高危禽流感病毒改造实验项目等。加之科技冷战、军备竞赛日益加剧,如以“防御”为名的美国《生物盾牌计划》在2004~2013年财年得到美国政府拨款近56亿美元,近20年来美国一直阻挡重启《禁止生物武器公约》核查议定书的谈判等,科技伦理危机和科技重大风险愈演愈烈。本来科技风险应该通过国际合作来解决。但是现在整个国际社会的发展趋势是四分五裂,英国脱欧、美国退群……与加强国际合作背道而驰。
希望大家记住上面这个对比画面,这样就能更好的认识到目前人类面临的挑战有多严峻了:1940年代,雷达和原子弹是借助机电计算机发明的,现在随便一个计算器都比它快多少万倍了。过了70年,我们现在的研发平台是超级计算机、云计算、大数据、人工智能,互联网、物联网、纳米技术、大科学装置、超级工程。但西方某些大国的对抗思路、遵从的丛林法则却一直没有变化,甚至变本加厉。
Part 03
人类安全防线存在十大漏洞
前面列举了科技风险愈演愈烈的大量事实,但是如果人类可以防范或者化解,也可以高枕无忧。但目前观念、管理、体制机制能防范、化解科技重大的风险吗?刘益东教授研究发现,目前人类安全防控机制多是失效的。他揭示和概括出人类安全防线存在着诸多严重的漏洞,主要包括以下十大漏洞:
• 科技伦理、科技法律与安全监管存在严重漏洞
• 提高科技专家及相关人员的责任水平、自律水平和道德水平存在严重漏洞
• 确保相互摧毁不能确保自身安全,平衡战略存在严重漏洞
• 扬长难以避短:扬长避短机制存在严重漏洞
• 甄别风险与安全隐患的能力存在严重漏洞
• 广义科林里奇困境:防漏补漏机制失灵
• 知识生产与增长的选择机制存在严重漏洞
• 西方科技发展模式存在着与生俱来且不断恶化的严重缺陷与转型困难
• 囚车剑魔四大困境:知错纠错机制存在严重漏洞
• 认知存在严重不足:科技重大风险研究尚且薄弱
时间的原因,这里只列举部分漏洞。
漏洞之一:科技伦理科技法律失灵与陷阱
2018年,斯坦福、MIT等美国高校和硅谷开始出现科技伦理及法律的课程和培训,后来中国国内也出现了科技伦理研究的热潮。不过,科技伦理与法律真的管用吗?在什么条件下管用?什么条件下不管用?条件关系的分析表明,科技伦理和法律实际上是失灵的,至少在现行科技发展模式上存在严重漏洞。因为科技伦理和法律不能约束世界上所有的实验室和科技专家。在知识极易扩散的互联网时代和尖端科技领域,科技伦理与法律失灵尤为严重。
世界上233个国家和地区的法律各异,空白和漏洞很多,公海、荒岛根本没人去监管。科学的特点是,发现一次和发现一百次是一样的。比如三父母的婴儿技术美国的法律是禁止的,结果美国的研究团队还要试一试,结果在这方面没有法律限制的墨西哥做实验。第一个三父母婴儿就这样诞生了。
更可怕的是,有三类人根本不受伦理法律约束:其一是黑客、创客、车库实验室;其二是西方某些大国的军方,是在法律保护下以防御为名进行这些研究的;其三是企业实验室。当今代表新兴科技前沿最高水平的既不是大学也不是国家科研院所,而是在顶级跨国公司和顶尖企业的研发部门。比如说大数据、云计算、人工智能、生物技术。但是企业遵从的是市场规则,它是眼前利益优先的。虽然这些企业不会直接开发可怕的武器,但它即使开发的产品很容易转换成被恐怖分子利用的技术,企业也不会束手束脚。比如上个世纪60年代名著《寂静的春天》关注的普遍现象——生产杀虫剂企业的老板说我只管杀虫子,至于环境问题不是我的事。这个态度,实质上,在企业界至今依然如此。
刘益东教授对比了社会伦理和科技伦理:在社会上,少数坏人铤而走险,但他们的危害是有限的。只要大多数人都遵守规范,社会就可以正常运行,但这个思路用到科技伦理上就失灵了,因为科技上即使约束了世界上90%的实验室和科技专家都效果不佳,更何况约束比例还没有这么高。
科技伦理和法律是非常必要的,但远远不够。现在科技伦理热潮和法律热潮会给人们一种假象,好像只要加强科技伦理法律建设与实施,科技风险与伦理问题就能够迎刃而解,但实际上科研伦理热潮并没有真正影响科学家的科研行为。
漏洞之二:确保相互摧毁不能确保自身安全
确保相互摧毁就能确保自身安全的思维来自于“核平衡”。有人认为,二战之后没有出现核大战,就是因为“核平衡”发挥了作用。但是,如果深入到历史的细节当中去,就会发现“核平衡”思维完全误导了人们。一直没有出现核灾难,并不是我们有效控制了核风险,而是因为人类很幸运。研究发现,至少10次人类是因为侥幸而躲过了核战争灾难的。而且这种“核平衡”根本不能够延续到尖端武器平衡,因为人工智能武器、基因武器、纳米武器根本没办法平衡,它们不依赖稀缺的原材料,使用门槛又低。核武器之所以不容易扩散,是因为武器级的铀和钚很难搞到。但这些尖端武器用的是常规材料,一组编码,一段公式或者一个图纸就可以做出来。
再思考一个问题:虽然现在国家控制核武器非常严格,但如果出现“无主核袭击”怎么办?它可以瞬间毁灭一座城市,你可以猜测来自哪个国家,但那个国家就会说是黑客潜入造成的,我们也是受害者。在这情况下你敢不敢还击?这个问题在学术界根本没有得到认真对待。如果不还击,吃这么大的亏;如果还击,现在黑客这么猖獗,对方说确实不是有意为之,没有跟你宣战。目前这么多核武器和尖端科技武器,“无主核袭击”“无主生物武器袭击”“无主尖端武器袭击”等各种极端情况都可能发生,人类安全受到极大威胁,学术界和国际社会应该尽快制定规则以应对。
漏洞之三:扬长避短机制失灵
我们经常说科技是双刃剑,因此我们要扬长避短。但是我接触的科学家基本说到这儿就结束了,并没有深究什么条件下可以“扬长避短”,什么条件下做不到。大家知道科学最基本的东西就是条件性。研究表明,现在西方主流科技体制机制下,扬长可以,但难以避短。这个论证很困难。做学术研究主要是提出观点和论证,论证占到50%。但是扬长不能避短这个事情论证起来绝非易事。
“长”大家知道,就是生产力、造福社会的产品和服务,“短”就是科技的负面作用。负面作用多种多样,核心是致毁知识的应用。
题注:
刘益东提出的致毁知识的定义是“制造毁灭性武器等导致毁灭性灾难的各种产品或方案的核心原理、核心技术等核心知识。”比如导致原子弹发明的核裂变知识、制造核武器的图纸,用于研制基因武器的DNA重组技术,基因编辑技术等。致毁知识不是以知识的好坏来划分的,而是以其军事应用或恶用能否产生巨大破坏力来划分的,而这种破坏力是其正面应用所不能抵消和弥补的。因为现在社会条件下,一个尖端技术出来之后一定有各种应用,而各种应用当中必然有军事上的应用,以及恐怖分子破坏性的应用。
对致毁知识的研究就可以回答科技发展能否扬长避短的问题。这个问题有四个前提:
1.尖端科技知识正负效应不可抵消。比如核电站、核医学好,但是它无法抵消核战争与核事故。科学做一万件好事可能抵消不了做一件坏事的效果;
2.科技知识增长不可逆。拉兹洛、齐曼、库恩、埃吕尔、格林斯潘等都提出过类似观点,但并没有探讨这件事能推出什么结论。这意味着,你可以销毁原子弹,但是不能销毁制造原子弹的知识;
3.知识与应用具有连锁效应。R&D就是制度化连锁效应;
4.科技发展自我增强永无止境。科研一旦开启,在好奇心、优先权、竞争压力和资本驱动下,会一发而不可收,穷尽各种可能及其应用。科学家往往不是因为面向明确目标而做出发现,核裂变、DNA重组技术都是碰巧做出来的。
题注:
在四个前提下提出的问题是:在科技知识增长的同时,能否阻止其中的一类破坏力极大的科技知识——致毁知识——的增长与扩散?能否有选择地生产知识?能否有选择地进行创新?刘益东的结论是:在目前西方主流科技发展模式下,不能阻止致毁知识的出现,不能阻止致毁知识的发展,不能阻止致毁知识的应用,不能有选择地生产知识,不能有选择地进行创新,因此科技发展扬长可以,却难以避短、无法避短。
漏洞之四:知错纠错机制失灵
这个漏洞也是最严峻的漏洞。不断地调整纠错以达到目标,是人类最重要的智慧。但是这种“纠错机制”实际上是有问题的。刘益东用斯坦福科学家提出的囚徒困境加上自己提出的动车困境、双刃剑困境和魔戒困境合称“囚车剑魔”四大困境,从人类是否犯重大错误和能否认清、纠正、抵消、易犯重大错误的角度来揭示人类面临的根本性困境和人类安全漏洞。
囚徒困境:吃一堑未必长一智,随着知识增长和学习未必会减少人类要犯的重大错误。这是非常悲观的事情,人类会继续不断地犯错误。
动车困境:纠正重大错误时并不是“先暂停、再纠错”,而是以边运行、边分析、边争论、边纠错的方式进行。犹如人们在继续行驶的动车上争论、争吵,这个动车是由多种力量、多种利益驱动的,要使动车改变运行状态,至少得有四个条件:有正确的认识并达成共识;能够在利益上形成共赢的行动预期;能够采取有效的共同行动;其它有关条件同时具备。在不能达成共识的情况下,显然对主张以现有方式或以接近现有方式继续运行的一方有利。认识到错误未必能够纠正错误,重大错误尤其如此。纠正重大错误的条件十分苛刻,在巨大惯性之下,更是难上加难。
双刃剑困境:科技的正负效应、特别是尖端科技的正负效应,无法抵消、无法弥补,是一“坏”遮百“好”,科技做一万件好事可能抵消不了做一件坏事的效果;
魔戒困境:犯重大错误的门槛越来越低,人有理性所以经不住诱惑,尖端科技使小人物和机器人可以犯大错误,甚至毁灭人类。
四大困境表明,人类不断犯大错、大错误又难以纠正、无法抵消、无法弥补、犯大错误的门槛越来越低,小人物和机器人也能犯大错误。在科技发展与应用上犯的错误是最严重的错误,其他错误都不足以危及到人类的生存。
漏洞之五:思维惯性、认知落后
基因编辑技术获得了今年的诺贝尔化学奖。这项技术在伦理和安全层面争议巨大,被美国列入潜在的大规模杀伤性武器清单,但门槛很低。但是存在这么大的争议,为什么照样获奖?这涉及诺贝尔奖委员会甚至学术界恪守的“科技中立说”。
题注:
这种陈旧的观点认为,科技本身是中立的,好坏是因为使用者造成的。这种说法显然是错误的,在目前的社会条件下,门槛很低的基因编辑技术必然会用于各种用途,包括军用、恶用和滥用,发明者可以预见到。这就是为什么把它列为大规模杀伤性武器的原因。对于基因编辑技术而言,做一万件好事,也抵消不了一件坏事。
此外,在现代社会中,一项新技术会诱使和迫使人们去使用它。在整个利益结构和竞争结构当中,尖端技术一旦出现,人们就不得不去用它。比如原子弹就这么来的。爱因斯坦提建议,因为美国不做德国就做了、日本就做了,所以才做。这道理不复杂,但是好多人不听这个,因为坚持“科技中立说”对他们有利。
坚持“科学无禁区”者也承认技术有禁区,基因编辑技术是技术,本来应该禁止的。而在现实当中科学成果与技术应用具有连锁效应,因此承认技术有禁区也就必须承认科学有禁区,风险防控要从源头抓起。基因编辑技术获得诺贝尔化学奖说明,从核裂变被授予1944年化学诺贝尔奖至今,时隔76年,主流科技界的科学观没有变化!
综上所述,目前科技风险愈演愈烈,而人类安全防线存在诸多严重漏洞,人类面临前所未有的双重挑战!
Part 04
中国科技发展的新机遇:双重挑战及其引发的新科技革命
世界格局面临巨大变革与重构,刘益东教授从科技重大风险治理的角度出发,根据事态发展速度的快慢和产生后果的直接关系,提出一个“直面和回避”问题的象限模型。
人类是理性的,当事情发展很快,后果必定自负的时候,需要直面问题。比如现在的新冠疫情,回避问题就是自作自受。但是如果后果20年后才出现,未必自负,这可以不直面问题,把这个风险、成本、代价推给别人。
现在科技发展这么快,我们的决策就决定我们自己的安危。刘益东教授比较了环境问题与科技风险问题:富人可以规避环境风险,但是科技出了事以后,最直接的结果就是有人掌握了致毁知识和尖端武器,拿这个东西去谋利。富人是首当其冲的。所以面对科技风险大家都在一条船上,这件事就有解决的希望。
人类安全危机引发新科技革命、新产业革命
直面问题才能解决问题。科技危机导致人类安全危机,安全危机又会引发新科技革命、新产业革命。这意味着需要实现两大转型:其一,在观念层面上转型,用“转型图存、安全发展”的第三种未来观以超越乐观顺延与悲观末日的两种流行的未来观,强调未来发展“合作比竞争重要、安全比财富重要、方向比速度重要、行稳致远比一时繁荣重要”,坚持底线思维,在科技领域奉行“科技创新、风控先行,科学研究、伦理先行”原则,不走西方“先污染后治理、先创新后伦理”的老路。
其二,在科技与经济层面实现从粗放式研究与创新向可持续研究与创新转型,大力推进以底线安全的科学、社会科学与交叉科学崛起为特征的新科学革命,以受控技术、受控创新与可持续创新崛起为特征的新技术革命,以智库与文创产业、文化科技产业及社会企业崛起为特征的新产业革命,特别是评价方法与胜出机制变革引发社会科学与交叉科学崛起是关键;在政治国家层面从以国家安全为中心的传统安全向以人类安全为中心的非传统安全转型;社会组织层面从“经验-试错”社会进入“预演-试错”社会等。
西方主流科技发展模式难以为继
西方主流发展模式已经出现问题,从内部来看,西方科学与生俱来的缺陷正越来越凸现。第一是科学无禁区的观念,第二是缺乏关于科学发展与应用正确与否的纠错机制,第三是科技与经济一体化,科学与资本捆绑,活力十足,却眼前利益优先的体制。科技作为投资对象,既然作为投资对象了就遵从资本的逻辑运行,私利性、赌博性、非理性、集体疯狂都可能出现。第四是奖惩极不对称的管理。
从外因来看,科技与资本结合,眼前利益优先的西方市场经济与丛林法则竞争。工业革命以来形成的西方主流发展模式存在三大缺陷:以牺牲环境为代价的粗放式发展、以牺牲安全为代价的粗放式创新、以牺牲环境和安全为代价的粗放式竞争。内外因使得西方科技无力化解其内生的、不断增长的自毁因素。虽然西方科技在过去创造了辉煌成就,但在安全问题上却有很大漏洞,继续发展下去会发生毁灭性灾难。
不过,这些批评并不是全面否定西方科学技术,科学是不断发展变化的。在缺陷日益凸显之际,科技也迎来了转变和完善的机会,中国科技界后来居上,发展底线安全、可持续创新的新型科学技术。
回顾两种大局观,都有合理的部分,也有错误的部分。盲目乐观和悲观都是不可取的。这就需要我们形成第三种科技大局观:转型图存,安全发展。
目前科技发展的最高目标已经不是做出多少重大发现、获得多少诺贝尔科学奖,而是创建可持续创新的科技发展模式,确保人类安全和科技健康快速发展,继续造福社会。在即将到来的科技大转型中,我国完全有条件率先行动,因为我国具备四大优势:
1.理论优势:构建人类命运共同体,维护人类安全;
2.后发优势:不走先污染、后治理,先创新、后伦理的老路;
3.文化优势:集体主义精神,天下情怀;
4.转型优势:换道超车,引领未来。
我们常说美国领先,但“领先”是和具体的标准对应的。如果以经济增长、诺贝尔奖数量为标准,那肯定是美国领先。如果以人类安全,行稳致远为标准,美国就很落后。引领世界前沿科技的西方国家,其粗放式科技发展模式已经不能遏制内生自毁因素的增长,而难以为继。为避免科技冷战和军备竞赛造成的共同毁灭,就必须改弦易辙,但西方国家因路径依赖而难以及时转变,我国却具有后发优势,换道超车,抢占新科技革命与新产业革命先机,这将是最大的颠覆性创新。
总结 加快建设人类命运共同体,确保人类安全与永续发展
人类安全面临着前所未有的双重挑战:一方面,科技大爆发,尖端科技在争议中快速发展,科技风险与伦理问题愈演愈烈;另一方面,人类安全防控措施存在十大严重漏洞,许多防护措施和机制失灵。我国率先认清人类面临的最大危机和挑战,及时有效应对,完全可以彻底摆脱“修昔底德陷阱”,加快共建人类命运共同体,引领世界走上可持续安全、可持续创新与发展的新型发展道路。
中国的和平崛起为人类可持续安全及发展带来新的机遇和希望。万年以来,权力和财富是人类社会的两大主题,现在出现的第三大主题就是人类安全,人类社会和世界格局面临系统性变革与重构。千年变局发生之际,为有才华、有情怀、有担当的青年一代提供施展才能、建功立业的绝佳机遇和舞台!
《当代科技史》系列课程第四讲
今晚6:40 北京大学校本部309
让我们跟随周程老师一起
了解诺贝尔奖与20世纪科学
纪要整理:贾雨心
配图:贾雨心张雪梅
编辑/摄影:张雪梅