杰里米·伦特：为应对人工智能的风险，我们必须发展一种综合智能｜科技创新中伦理问题

　　编者按：2023年6月24日，中国生物多样性保护与绿色发展基金会（简称中国绿发会、绿会）生物与科学伦理工作委员会收到了来自老朋友杰里米·伦特（Jeremy Lent）的一篇佳作分享。本文的作者——杰里米·伦特（Jeremy Lent）是屡获殊荣的书籍《模式的本能：人类对意义的文化历史》和《意义的网络：融合科学与传统智慧，找到我们在宇宙中的位置》的作者。他也是“深度转型网络”的创始人。现将这篇《为了应对人工智能的风险，我们必须发展一种综合智能》编译分享如下，供我国国内AI、科技伦理研究等方面的学者、决策者和感兴趣的读者参考。

　　另外，杰里米·伦特、著名生态哲学家Freya Mathews、周晋峰三人，将于2023年7月26日北京时间早8点举办一场在线的生态文明对话。敬请关注！(编者按：Linda）

　　杰里米·伦特（Jeremy Lent）

　　为了应对人工智能的风险，我们必须发展一种综合智能

　　作者：Jeremy Lent

　　人工智能的爆炸性增长给人类带来了一种生存风险。为了应对这一风险，并有可能改变我们文明的发展轨迹，我们需要更加综合地理解人类智能的本质以及人类繁荣所需的基本条件。

　　人工智能近期的惊人崛起很可能会在不久的将来转变人类生活的方方面面，产生无法预测的影响。

　　

　　人工智能的发展速度之快几乎难以想象其潜在影响。正如人道技术中心的创始人特里斯坦·哈里斯（Tristan Harris）和阿扎·拉斯金（Aza Raskin）在他们的重要演讲《人工智能困境》中所展示的那样，人工智能的成就开始变得如同科幻小说。例如，仅仅听到一个人的声音三秒钟，一个人工智能系统就能够自动补全正在说的句子，并且声音与真实声音如此完美匹配，没有人能够区分出来。他们向我们展示，结合功能性磁共振成像技术的人工智能现在能够重建一个人的大脑正在思考的内容，并准确地以图像形式表达出来。

　　特里斯坦·哈里斯和阿扎·拉斯金展示《人工智能困境》

　　Tristan Harris和Aza Rasking呈现的《人工智能困境》中提到：

　　人工智能模型开始展示出程序员没有为其编程的新能力。一个被训练用于回答英语问题的人工智能模型突然可以理解和回答波斯语的问题，尽管它并没有接受该语言的训练，甚至连它的程序员也不知道其中的原因。令人惊讶的是，ChatGPT在其自己的程序员还不知情的情况下，被发现在研究级化学方面进行了自我训练，尽管这并不是它目标训练数据的一部分。

　　这些发展中的许多情况都在以不再以月份和年份为单位的时间尺度上展开，而是以周和天为单位。专家们将人工智能现象的重要性与核弹的发明相比较，只不过存在一个令人毛骨悚然的不同之处：核威胁的规模只能以科学家自身能力的速度增加，而人工智能正变得越来越有能力学习如何使自己变得更强大。在最近的例子中，人工智能模型已经学会生成自己的训练数据以进行自我改进，并编辑代码部分以使代码运行速度超过原先的两倍以上。人工智能的能力已经以指数级的速度扩展，这主要是因为程序员们在彼此的突破基础上进行建设所产生的分布式网络效应。但鉴于这些最新的发展，专家们预测未来的改进将以双指数的速度增长，这在图表上看起来像是一个向上爆炸的潜力垂直线。

　　用来描述这种现象的通常术语，这个术语以前一直是一种假设的思维实验，叫做“奇点”。早在计算机时代开始的1965年，英国数学家I. J. Good首次描述了这个强大而令人不安的愿景。他写道：“假设超级智能机器被定义为一台能够远远超越任何聪明人的智力活动的机器。由于机器设计是这些智力活动之一，超级智能机器甚至可以设计出更好的机器；这将无疑引发‘智能爆炸’，并且人类的智能将被远远抛在后头。因此，第一台超级智能机器将成为人类需要制造的最后一种发明。”

　　在它首次构想出来的近60年后，奇点已经从理论上的推测变成了一个迫在眉睫的存在性问题。当然，很容易列举出超级智能计算机的无数潜在好处：发现治愈令人痛苦的疾病的方法；通过复杂多样的自动化来取代人类的苦工；提供技术解决方案来解决人类最紧迫的问题。相反，观察者们也指出先进人工智能在已经岌岌可危的世界上可能带来危险的破坏性潜力：深度伪造和自动化机器人进一步极化社会；个性化的人工智能助手为了利润而剥削人们，加剧社交孤立的流行病；以及权力更加集中在少数巨型企业手中，这只是主要问题中的几个例子。但甚至超越这些严重的担忧，领先的人工智能专家警告说，先进的人工通用智能（AGI）很可能对人类文明构成严重威胁，甚至威胁到人类的存在和地球上生命的延续。

　　这个深刻风险的根源是所谓的对齐问题。我们必须问，如果一种超人智能想要实现某种与人类福祉或地球上生命存续条件不一致的目标，会发生什么？这种不一致可能仅仅是人类错误的编程结果。著名未来学家尼克·博斯特罗姆举了一个例子，一个被设计用于制造回形针的超级智能将整个地球转变为一个巨大的回形针制造设施。

　　同样可以想象，超级智能人工智能可能会发展出自己的目标取向，这很有可能与人类的繁荣相背离。人工智能可能不会将人类视为要消灭的敌人，但我们可能只是成为其自身目的的副产品，就像红毛猩猩、山地大猩猩和其他无数物种由于人类活动而面临灭绝的命运一样。例如，超级智能可能希望优化地球的大气层以提高自己的处理速度，导致生物圈无法再维持生命。

　　随着超级智能从一种思想实验转变为一场迫在眉睫的存在性危机，许多研究了这些问题几十年的领先分析师都感到极度恐惧，并试图在为时已晚之前发出警告。麻省理工学院教授马克斯·泰格马克是一位备受尊敬的物理学家，也是未来生命研究所的主席，他认为这是我们的“别往上看”时刻，这是指讽刺电影中一颗小行星威胁到地球上的生命，但拯救地球的计划被企业利益和公众对名人八卦的无法转移注意力所拖延。在一次亲密的播客采访中，泰格马克将我们的处境比作对整个人类种族进行晚期癌症诊断，宣称“我们作为人类的机会相当渺茫；在不久的将来，地球上将不再有人类——这让我非常难过。”

　　泰格马克的担忧也被其他领先专家所分享。埃利泽·尤德科夫斯基自2001年开始从事人工通用智能的对齐工作，并被广泛认为是该领域的创始人之一，他指出，“一个足够智能的人工智能不会在电脑中长期局限。在今天的世界中，你可以将DNA序列通过电子邮件发送给实验室，这些实验室将按需生产蛋白质，从而使最初只局限于互联网的人工智能能够构建人工生命形式或直接发展到后生物分子制造阶段。”尤德科夫斯基呼吁立即停止并无限期地全球范围内进一步开发人工智能，必要时通过协调一致的国际军事行动来强制执行。

　　在短期内，AI界的领导者提出了几项政策建议，试图控制人工智能日益普及的影响所带来的一些明显社会破坏。一封呼吁至少暂停六个月进一步开发的公开信已有三万多名签署者，其中包括该领域最杰出的许多人物。除了全球范围的停产，其他建议还包括要求将任何由人工智能生成的材料明确标注为这样的材料；规定所有新的人工智能源代码都要公开以实现透明度；并法律推定新版本的人工智能是不安全的，除非证明相反，将安全证明的责任放在人工智能开发者身上，在部署之前证明其安全性，类似于制药行业使用的法律框架。

　　这些建议非常明智，国家政府应迅速采取行动，而联合国支持的国际人工智能专家小组应被任命，以推荐进一步的全球采用指导方针。最终，这些指导方针的总体策略应该是限制人工智能的进一步增强，除非对齐问题本身能得到令人满意的解决。

　　然而，在AI理论家中似乎存在一个严重的误解，这个误解必须被认识到并纠正，才能在解决对齐问题上取得任何真正的进展。这与智能本身的性质有关。在AI社区更广泛地接受对智能构成的深入理解之前，我们不仅有可能无法解决对齐问题，还有可能在对齐问题的考虑中朝着错误的方向发展。

　　当AI理论家讨论智能时，他们经常从这样一种假设出发：智能只有一种形式，即在智商测试中衡量的分析性智能，它使人类能够主宰自然界的其他生物，并且如今AI威胁着超越人类。在这一假设中，AI社区并不孤立，它与现代世界中的大多数人共享，并且构成了人们对于人类本质的主流观点的核心部分。当笛卡尔宣称“我思故我在”时，为现代哲学思想奠定了知识基础，他表达了这样一种假设：概念思维的能力是人类的定义特征，将人类与其他生物区分开来。根据笛卡尔和大多数科学家的观点，动物只是没有主体性或思维的机器。

　　然而，人类的概念化能力虽然强大，却只是智能的一种形式。还有另一种形式——生动智能，它是人类认知的一部分，也是我们与地球上其他生命共享的一部分。

　　如果我们将智能理解为常见定义中的“感知或推断信息并将其应用于适应性行为的能力”，那么智能存在于生命世界的每一个角落。在高功能哺乳动物如能够通过超声波在数百英里之间进行交流、在亲属死者的骨骼上进行似乎仪式的象群中，或者在能够以复杂的“语言”进行交流并被认为“八卦”不在场的群体成员的海洋哺乳动物中，我们很容易看到智能的存在。但在植物中也存在广泛的生动智能，除了拥有自己版本的五官，植物还使用其他十五种方式感知环境。植物拥有复杂的内部信号系统，利用与人类神经递质相同的化学物质（如血清素或多巴胺）；它们被证明具有有意识和目的性的行为：它们具有记忆和学习能力，它们彼此之间进行交流，甚至可以作为一个群体分配资源。

　　生动智能（Animate intelligence）甚至可以在细胞层面上被觉察到：单个细胞有数千个传感器从外膜突出，控制着特定分子的流动，根据需要将其拉入或推出。细胞利用精细调节的信号机制与周围其他细胞进行通信，同时发送和接收数百个信号。每个细胞必须意识到自己作为一个自体的存在：它“知道”自己的膜内和膜外是什么；它决定需要哪些分子，以及哪些分子要丢弃；它知道何时需要修复内部的问题，并知道如何解决；它确定在其DNA中表达哪些基因，并确定何时是分裂和自我繁殖的时候。用生物哲学家埃文·汤普森的话说，“有生命的地方就有意识。”

　　细胞拥有丰富而复杂的内在生活。图片来源：“细胞的内在生活”动画 - 哈佛大学分子与细胞生物学系 | 生物视觉实验室

　　当领先的认知神经科学家研究人类意识时，他们也对两种形式的意识进行了类似的区分，这两种形式与智能一样，也可以归类为概念和生动。例如，诺贝尔奖获得者杰拉尔德·埃德尔曼区分了他所称之为初级（生动）和次级（概念）意识，而世界知名神经科学家安东尼奥·达马西奥也对他所称之为核心和高阶意识进行了类似的区分。同样，在心理学中，双系统理论提出了人类认知的两种形式——直觉和分析——在丹尼尔·卡尼曼的畅销书《思考，快与慢》中有着引人入胜的描述，这两种形式对应于智能和意识中的生动和概念的分离。

　　越来越广泛地认识到生动和概念智能的存在，暗示着笛卡尔将智能仅仅视为分析的观念——这种观念在绝大多数人工智能理论家中占主导地位——是非常有限和危险的。

　　甚至人类的概念智能也被证明是从生动意识的支架中产生的。正如认知语言学家乔治·莱科夫所令人信服地证明的那样，我们用来构建我们对世界的理论模型的抽象思想和概念实际上来源于我们对世界的具身体验的隐喻，如高低、内外、大小、近远、空虚与充实。与纯粹思考能力的笛卡尔神话相反，我们的概念和生动智能是密切相关的。

　　相比之下，机器智能确实是纯粹的分析性智能。它与生命的充满感知力之间没有连接支架。无论其复杂程度和能力如何，它只不过是一个模式识别设备。人工智能理论家倾向于将智能视为基质无关的，这意味着组成智能的模式和链接可以原则上从其物质基础中分离出来，并在其他地方进行精确复制，就像将旧计算机上的数据迁移到新计算机上一样。这对于人工智能是正确的，但对于人类智能来说则不然。

　　将人类定义为仅由概念智能来界定的主导观念，在很大程度上导致了当今社会面临的许多重大问题所基于的二元世界观。不断加剧的气候危机和对自然界造成的生态破坏最终是由主导的工具主义世界观所引起的，这种观点认为人类本质上与其他自然界分离，而自然界仅仅是人类消耗的资源。

　　然而，一旦我们认识到人类拥有概念和生动智能，这就可以改变我们作为人类的身份感。最受重视的人类品质，如同情、正直或智慧，并不仅仅源于概念智能，而是源于复杂的思想、感受、直觉和感觉的融合，构成了一个完整的整体。通过学习有意识地调和我们生动意识进化的信号，我们可以发展一种综合智能：将概念和生动完全融入我们自身的身份、价值观和生活选择。

　　一旦我们拥抱我们自己的生动智能，自然而然地我们会将注意力转向外部，并欣赏到来自所有生物的生动智能。承认我们与生命的共同智域可以带来一种与生动世界密切相连的强大感觉。如果概念智能是区别我们与其他动物的认知巅峰，那么我们的生动智能则延伸到存在的其他领域，邀请与生命的共同合作。

　　其他文化长期以来一直拥有这种认识。中国传统哲学家认为理性与情感之间没有本质区别，并使用一个特定的词“体认”来表示对某事的了解，不仅仅是在知识上，而是贯穿整个身心。如同新儒家圣人王阳明所说：“心是没有身体就不存在的，身体是没有心就不存在的。”全球各地的土著文化都意识到他们与所有生物的深刻相关性，使他们将其他生物视为延伸家族的一部分。然而，对于现在作为全球主导价值观来源的西方文化来说，这种面向综合智能的取向虽然罕见，但却极其需要。

　　这些区别，虽然在理论上可能看起来很重要，但在考虑先进人工智能的出现以及如何应对对齐问题时，它们具有至关重要的意义。经过更仔细的检查，对齐问题实际上涉及两个本质上不同的问题的混淆：如何将人工智能与人类繁荣相一致的问题，预设了人类繁荣所需的基本问题。如果没有一个坚实的基础来阐明人类福祉的条件，人工智能对齐问题注定无法解决。

　　幸运的是，关于这个问题已经做了很多工作，并且它指向了人类繁荣源于我们作为一个深度整合的有机体，融合了概念和生动意识的身份。智利经济学家曼弗雷德·马克斯-尼夫的开创性工作提出了一个全面的人类需求分类法，包括生存、情感、自由、安全、参与等十个核心要求。尽管这些需求是普遍的，但根据特定的历史和文化条件，它们可能以多种方式得到满足。此外，正如地球系统科学家们已经令人信服地证明的那样，人类系统与更大的生物和行星维持生命的系统密切相关。持续的人类福祉需要一个健康、充满活力的地球，具有能够快速恢复自身丰盛的完整生态系统。

　　我们可以问，一个AI如果被编程为与能够让所有生命，包括人类文明，在一个健康的地球上繁荣的原则相一致，会是什么样子？

　　然而，当我们考虑到远离繁荣的要求在当今世界广大地区的绝大多数人中仍未得到满足时，这凸显了对齐问题实际上不仅仅局限于人工智能的领域，而是一个根本问题，潜藏在经济和金融系统中，这些系统主导着我们的现代世界。正如我在其他地方所讨论的，全球资本主义，如同以有限责任公司为体现的那样，可以被理解为一种未对齐的人工智能的雏形形式：其中最高目标是最大化股东价值，这目标已经完全忽视了基本的人类需求，并导致了当前由不

　　平等加剧、技术失控、气候崩溃和生态破坏加速等多重因素交织而成的超危机。在这方面，社会哲学家丹尼尔·舒马赫滕伯格指出，先进的人工智能可以被视为加速超危机各个方面的根本原因。

　　

　　我们的“不对齐”的经济系统已经导致我们突破了地球界限。来源：Johan Rockstr?m等人，“人类安全操作空间”，《自然》461（2009年）：472–75。

　　从这个黑暗的预言中出现了一线希望，为实现一个以生命为基础的未来提供了一些希望。当分析家们考虑当今人类面临的重大困境时，他们经常将其描述为“棘手问题”：高度复杂、相互关联的问题纠结在一起，缺乏明确定义的解决方案，并随着时间的推移逐渐出现，这对我们在草原上进化而来的认知系统来说，并没有呈现出明确的紧急情况。作为我们全球系统中已经存在的不对齐的加速剂，先进的人工智能是否能够作为一种存在即危险的存在，唤醒我们作为一个集体人类物种，对已经迫在眉睫的文明灾难有所觉醒？它是否能够激励我们作为一个地球社区，重新调整方向，去寻求传统文化中的智慧以及存在于我们自身生动智慧之中？

　　有时候人们说，团结人类所需的是一个显著的共同威胁，比如假设敌对的外星物种来到地球，威胁我们的生存。也许此刻正是这样一个时刻——一个外星智能从我们自己的策划中出现。如果存在真正积极的未来希望，它将从我们对于作为人类的理解中出现，我们既是概念性的又是生动的存在，并与这个宝贵的星球上的所有生命紧密相连，而且我们集体具备发展真正整合的文明的能力，为所有生命在一个重生的地球上繁荣创造条件。

　　科技创新中伦理问题前瞻研究

　　作者：Jeremy Lent

　　译者：Ahua

　　编辑：绿茵

　　日期：2023-06-24

　　[1] Vinge, V. (1993). “What is The Singularity?” VISION-21 Symposium(March 30, 1993); http://en.wikipedia.org/wiki/I._J._Good.

　　[2] For an in-depth discussion of this historical process, see my book The Web of Meaning: Integrating Science and Traditional Wisdom to Find Our Place in the Universe, Chapter 3.

　　[3] Carl Safina, Beyond Words: What Animals Think and Feel (New York: Henry Holt and Co., 2015), pp. 92, 211, 236–7; Lucy A. Bates, Joyce H. Poole, and Richard W. Byrne, “Elephant Cognition,” Current Biology 18, no. 13 (2008): 544–46; Kieran C. R. Fox, Michael Muthukrishna, and Susanne Shultz, “The Social and Cultural Roots of Whale and Dolphin Brains,” Nature Ecology & Evolution 1, November (2017): 1699–705; Katharina Kropshofer, “Whales and Dolphins Lead ‘Human-Like Lives’ Thanks to Big Brains, Says Study,” The Guardian, 16 October, 2017.

　　[4] Paco Calvo, et al., “Plants Are Intelligent, Here’s How,” Annals of Botany 125 (2020): 11–28; Eric D. Brenner et al., “Plant Neurobiology: An Integrated View of Plant Signaling,” Trends in Plant Science 11, no. 8 (2006): 413–19; Anthony Trewavas, “What Is Plant Behaviour?”, Plant, Cell and Environment 32 (2009): 606–16; Stefano Mancuso, The Revolutionary Genius of Plants: A New Understanding of Plant Intelligence and Behavior (New York: Atria Books, 2018; Suzanne W. Simard, et al., “Net Transfer of Carbon between Ectomycorrhizal Tree Species in the Field,” Nature 388 (1997): 579–82; Yuan Yuan Song, et al., “Interplant Communication of Tomato Plants through Underground Common Mycorrhizal Networks,” PLoS Biology 5, no. 10 (2010): e13324.

　　[5] Boyce Rensberger, Life Itself: Exploring the Realm of the Living Cell (New York: Oxford University Press, 1996), pp. 62–6; Brian J. Ford, “Revealing the Ingenuity of the Living Cell,” Biologist 53, no. 4 (2006): 221–24; Brian J. Ford, “On Intelligence in Cells: The Case for Whole Cell Biology,” Interdisciplinary Science Reviews 34, no. 4 (2009): 350-65; Evan Thompson, Mind in Life: Biology, Phenomenology, and the Sciences of Mind (Cambridge, MA: Harvard University Press, 2007), p. ix.

　　[6] Gerald M. Edelman, and Giulio Tononi, A Universe of Consciousness: How Matter Becomes Imagination (New York: Basic Books, 2000); Antonio Damasio, The Feeling of What Happens: Body and Emotion in the Making of Consciousness (New York: Harcourt Inc., 1999); Daniel Kahneman, Thinking Fast and Slow (New York: Farrar, Straus & Giroux, 2011).

　　[7] For a lucid explanation of why human intelligence is not substrate independent, see Antonio Damasio, The Strange Order of Things: Life, Feeling, and the Making of Cultures (New York: Pantheon 2018), pp. 199–208.

　　[8] Donald J. Munro, A Chinese Ethics for the New Century: The Ch’ien Mu Lectures in History and Culture, and Other Essays on Science and Confucian Ethics (Hong Kong: The Chinese University Press, 2005), p. 24; Yu, N. (2007). “Heart and Cognition in Ancient Chinese Philosophy.” Journal of Cognition and Culture, 7(1-2), 27-47. For an extensive discussion of the integrative nature of traditional Chinese thought, see my book The Patterning Instinct: A Cultural History of Humanity’s Search for Meaning (Amherst, NY: Prometheus, 2017), chapters 9 and 14.

　　[9] Four Arrows (Don Trent Jacobs), and Darcia Narvaez, Restoring the Kinship Worldview: Indigenous Voices Introduce 28 Precepts for Rebalancing Life on Planet Earth (Berkeley, CA: North Atlantic Books, 2022).

　　[10] Max-Neef, M.A., 1991. Human Scale Development: Conception, Application and Further Reflections. Zed Books, New York; Johan Rockstr?m, et al., “A Safe Operating Space for Humanity,” Nature 461 (2009): 472–75; William J. Ripple, et al., “World Scientists’ Warning to Humanity: A Second Notice,” BioScience 67, no. 12 (2017): 1026–28.

　　举报/反馈