马斯克等大佬联名呼吁暂停GPT训练，我们在蒙着眼睛冲向未来吗？
从ChatGPT引发广大普通人的关注，到马斯克等人联名发出呼吁希望全行业暂停比GPT-4更强大的人工智能系统培训，GPT在短时间从业内走入大众视野，引发空前关注与讨论。
专家学者为何联名呼吁暂停GPT研究？AI“狂飙”有哪些潜在危机和伦理禁区与风险？AI又将如何改变人类社会生活？知识万象邀请美国伊利诺伊大学人工智能博士瞿炜、同济大学哲学系副教授余明锋、商汤智能产业研究院院长田丰、前北京科技大学教师季燕江，详解AI的发展与隐忧。
核心要点
一、逾万人联名暂停GPT训练，公开信的背后是什么？
季燕江：近日，美国研究机构生命未来研究所（Future of Life Institute）（编者注：该机构2014年成立于美国波士顿，重点关注人工智能技术开发过程中的潜在风险）发布一封联名公开信，呼吁立即暂停训练比GPT-4更强大的人工智能（AI）系统至少6个月，在此期间全社会应当对人工智能研究进行反思检讨并就新技术条件下如何推进AI研究的原则达成初步共识。
联名人数从一千人增长至逾万人（截止北京时间4月6日），提出神经网络霍普菲尔德模型的霍普菲尔德教授，特斯拉、SpaceX的CEO马斯克，苹果的共同创始人Steve Wozniak，新锐政治人士Andrew Yang等重量级人物均参与其中。大家如何看待这封公开信？
田丰：越多人关注科技伦理当然是非常好的事情，因为如果大家不予以关注并产生误读，那可能会抑制生产力创新。
首先我们确实需要观察AI的长期可持续发展能力，越重视科技发展伦理，它的可持续发展和长期价值回报就越大。
其次，公开信中提到了阿西洛马人工智能二十三原则（Asilomar AI Principles），认为“AI首先要为整体人类而不是某一国家或某一小群体服务，一定要惠及最大多数人类”，这一点我完全同意。
最后，在研发过程中要设置检查点和风险风控的体系，运行过程中做相应监督改进。GPT3.5到GPT4只间隔六个月时间，但花了大量人力改进保护机制，负面问题的相关问题反馈降低了82%。所以在负责任、技术可控的条件下越多人使用这种大模型应用，越容易帮助大模型应用服务平台纠偏，伦理风险会持续改善。反之，暂停或禁止大规模使用则并不会从根本上解决持续变化的风险问题。
余明锋：公开信背后的生命未来研究所值得大家注意，这一成立于2014年的非营利组织立场和阵营比较清楚，马斯克就是顾问委员之一，据说还是发起人和主要赞助人。
按照官方说法，这个机构意在引导变革性技术远离极端的大规模风险。有关这封公开信，具体来说，有三点值得我们注意：
第一，这些机构和专家发声有一定道理，当代技术发展确实在突破自然边界，他们对风险感知比普通公众甚至政府部门可能都早一些，提供了第三方话语。
第二，信中的众多专家对AI技术的担忧其实是不同的。比如AI大牛盖瑞·马库斯（Gary Marcus），他的担心包括两方面：一方面是所谓的“平庸人工智能风险”（Mediocre AI）；另一方面，则是GPT这一强大工具可能为犯罪分子、恐怖主义带来极大便利。这第二方面可能是马斯克等人也会认同的，但第一方面才是马库斯特别强调的。大语言模型或许并不会带来他所希望的人工智能，他心目中的“正轨”可能受到这一“岔路”的严重排斥。这是他真正的担忧。
第三，生命未来研究所的担忧多少有一些商业竞争上的考虑，比如马斯克声称自己的脑机接口项目主要是为了针对AI风险，他以对抗AI来为自己的脑机接口寻找正当理由。
当然，突破边界的科技确实潜藏风险，在此意义上呼吁更广范围的公共讨论和可能的监管、增强我们对伦理问题的重视，是科技自身发展的必要面相。
二、AI飞速发展引恐慌，我们在蒙着眼睛冲向未来吗？
季燕江：我们讨论技术风险时，一般包括长期风险和短期风险。长期风险即是否会有与人类匹敌甚至更强的AI出现。现在我们面对人工智能，可能不仅仅是技术本身的问题，即人工智能在未来不仅仅是工具属性的东西，它有可能自我觉醒成为一个独立的他者，人类有可能在未来被这种新的智能替代。短期风险即我们使用ChatGPT是否会导致隐私泄露、或犯罪信息更易获得等。
我观察到很多人会担心这个长期风险，这个问题无法像过去一样从技术中立或技术发展的角度解决，所以很多人担心我们在蒙着眼睛冲向未来。当我们真的看到危险征兆的时候，可能已经为时已晚。
新技术带来社会普遍恐慌的现象历史上早已有之，蒸汽机刚发明时甚至有工人破坏机器。尽管现在恐慌气氛并没有到顶，但已经可以拿来类比。毕竟人本身对未知事物、黑盒子、潜在风险等很敏感，生命现象本身就是一种亚稳态的现象，人类社会一路走来两边可以说都是万丈深渊。互联网科技发展了二三十年，人们在一路乐观向上的气氛中产生出一些这样的恐慌与反思，我认为也是好事。
那么AI研究的长期风险是否值得严肃对待？还是新技术发展过程中伴随的恐慌，很快可以得到解决？各位老师如何看待？
瞿炜：我持中立态度。AI飞速发展确实会引起恐慌，前段时间《三体》很火，大家开始思考外星文明如果真的来了人类该怎么办？我们真的都是火鸡吗？
展望未来，人其实无法被完全替代，AI可以替代人类工作，却替代不了人的情感。其实国外大概六七年前就已经开始讨论AI伦理问题，但我们国内的AI甚至还没发展到需要讨论伦理的程度，五到十年内还是要拼命发展AI，同时相关法律法规也要跟上，要抓住这次发展机会。
对AI，我们更多讨论的是如何利用神经网络或计算机来实现算法，可能现在连发展初期都算不上。其主体性确实已经体现，但这种主体性某种程度上其实是一个巧合：元模型达到一定规模、将全网数据囊括进来后会出现类人性。大家的恐慌来自于感觉AI有意识，这种“意识”其实来自于AI“取了巧”，加上了给予人类反馈强化学习的机制。
所以理工和人文相结合的AI就会让大家恐慌，认为它似乎是有意识的主体。其实，深入了解后你会发现它不是未知事物，自然不会再恐慌。
田丰：这是一个很好的时代。理工科可以打造新一代生产力工具，文社科可以跨领域参与生产力浪潮中。
我国提出发展权是首要基本人权，所以AI的发展也应是负责任的可持续健康有序发展。第一考虑其给人带来的影响，第二考虑其给环境带来的影响，第三则是技术自身，治理体系如何可控相当关键。短期内发现了风险和问题，快速修正，反而利于长期发展。
现在AI其实没有意识，人脑这么复杂的系统我们都还没有研究清楚，说人工智能像是新的生命体、有意识，那可能就是用一个尚未清晰的概念来定义另外一个概念。其实AI它还是个工具，只是效率非常非常高。我们对它的恐慌主要来自于了解不深入。
和AI新技术与旧技术竞争类似，历史上也出现过很多次新生产力与旧生产力竞争的情况，竞争中就可能出现错误的伦理问题认知，技术本身无错。
中国人始终关心饭碗问题，动态博弈过程中，公平与效率都需要考虑。因未知风险暂停国之重器的研发，那本身也会成为一种风险。
因此，我们要抱着人文关怀的心来研发和应用新技术，在巩固好目前生产力、保住底线的同时拥抱新技术。当一个技术成为社会新一代基础设施时，大势所趋，无人可挡，要明确认识全球多元化竞争的态势。当然，伦理层面一定要考虑大多数人的利益和福祉，将新技术用在正向的方向上，而不是简单地将工具类比成武器而判定其有罪，也不能掉以轻心。评估到了伦理风险就采取相应措施、弥补缺漏，打造开放、多元的科研生态。
余明锋：我也认同积极应变的健康心态，但我们恐怕还需要进一步辨析。
第一，我赞同季燕江老师对长短期风险的区分。我们很难说人类走到今天是有规划的。如果我们认同长期风险说的话，意味着事物在相当程度上不可知。但也正是因为如此，这些不可知要素，在国家和企业间的竞争中容易被忽视。比如核能，我们现在很难列出来一个清单说明“核能最后给我们带来什么”，AI同样如此。
相对“风险”这一听起来偏消极的词汇，我更愿意用经济学的一个中立性说法“外部性”来形容（编者注：外部性指一个人或一群人的行动和决策使另一个人或一群人受损或受益的情况，分为正外部性和负外部性）。意大利直接暂时禁止ChatGPT的使用，德国等国家也迅速跟进、对此事进一步考量。在这个意义上，技术不只是一个中立的概念，而关系到了其他人。我曾在《还原与无限》中强调，AI技术发展不单是工具上的改进，还是社会组织方式的变化（社会再组织），日常生活方式会随之变革，这一点相信大家在互联网和智能手机使用中已经深刻体会到。它并不是一个我们想用就用、不想用就可以不用的中立性工具。
第二，是主体性问题。AI目前确实没有产生自我意识，如果我们了解一些哲学上对于自我意识的讨论，就会知道简单的智能叠加并不会产生自我意识，从这个角度，AI并不具备人类意义上的主体性。但同时我更认为，不能忽视AI的某种类主体性。原因有二：首先，ChatGPT基于深度学习进行发展，会产生“暗知识”，比如AlphaGo下棋是调下棋参数来使其获胜，并非真的知道怎么下棋，在此基础上产生并非科研人员传授的知识。这个意义上，AI自身在“黑箱化”，有某种类主体性。再者，很多流媒体平台的投稿者会根据AI对用户的推送偏好来调整自己的投稿关键词，以获得更多流量和曝光率，那么AI在此过程中显然具有某种主体性。AI尽管尚未具有自我意识，但仍会对人类行为产生影响。
三、对话之外，GPT将带领我们去何方？
季燕江：请各位开开脑洞，ChatGPT未来会有什么有趣的发展或应用？
瞿炜：ChatGPT能干什么？ChatGPT目前只是个语言模型，但它实际上囊括了全网数据并建立模型，这样就可以根据个人意图或兴趣做文本生成。就像扔骰子，它会根据不同权重进行计算，既有随机性，又有你对掷骰子的理解。现在它很像玩具，是因为它还在早期采样阶段，后期国内外各行业一定会基于ChatGPT或国内自创大语言模型来提高生产力，形成一波产业浪潮。
AI包括感知、分析决策、执行等步骤，若ChatGPT能再加上机器人的执行部分，未来可期。因为已经解决人机交互问题，那海量知识的生成当然也可以应用于机器人作为末端执行，这才是真正的AI前景所在。
田丰：当年莱布尼茨就说“世界一切都能计算”。人类目前只有两件事在计算的极限：人类整体知识边界和星球能源边界。
人工智能可以打造一个世界模型并在数字孪生实验室里验证，从而节省大量物理实验室里的验证，所以人工智能可以大胆假设，人类负责认真求证。我们可以想象，国产化GPT出现后，是否代表中国14亿人只要会中国话、会提问，就可以使用这种以前沿人工智能工具？这样中国的人工智能红利是巨大的，以前是只有工程师才能编代码，未来或许14亿人的想象力和创造力都能释放出来，这是巨大机会。
人工智能其实分两类，一类提升生产效率，现有的很多工具确实做到了，但它们还是在人类思想文本化数据化后重新排列组合，不产生新知识。
另一类是科学智能，会产生新知识，比如利用算法模型寻找蛋白质空间结构，可以快速求解，之后我们去验证，是迅速提高新药物研发进展的有效途径。
对人工智能等科技从业者来说，现在是软件2.0时代，未来不排除大模型向自动驾驶方向发展的可能。我认为它会成为我们的个人助手，用自然语言描述出我们的想法，它直接帮我们生成最终可执行的程序。人也可以在调优和纠偏的过程中成为AI训练师。
余明锋：GPT未来的发展，可能会产生三个方面问题。
第一是关于教育的问题。目前我们的教育主要是重视存量知识的熟练掌握，但未来更需要重视的是提问，并且向AI提问和向人提问是不同的，必须知道如何才能问出它的知识来，从这个角度说，未来可能会有新的教育形式出现。并且哲学会在教育中扮演新的角色，因为哲学就是提问的艺术和反思的学问。
第二是关于数学的问题。数学能否全然解释世界？用数学“破解”世界，其实是把世界黑箱化的过程，不追究世界本质，而是仅通过把世界还原为数学问题来达到对世界控制的目的。但这会带来很大问题，比如GPT对自然语言的突破并不是了解语言的本质，而是通过统计将复杂事情简单化、处理语义关系。这是“还原论”的思路，并不去追究事物本质，从而更好控制世界。然而并不是我们的控制力增强，幸福感就会增强。
第三是关于文明的问题。有三种技术对文明史的进程有决定性影响：一个是文字本身，可以说有了文字才有了严格意义上的人类文明；第二是印刷术，有了印刷术才有宗教改革、启蒙运动及一系列现代性的发生；第三是互联网。这三者都是关于人类文明载体的媒介性技术突破。从这个角度来看，GPT对自然语言的突破意义重大，因为这意味着AI和人类的交互界限被突破，而这将意味着文明载体的改变。
四、强人工智能出现，究竟是进化还是退化？
季燕江：我们常说人类是进化的，但也有“退化论”的说法，指生物本来都在通过变异改变自身性状来适应环境，但拥有语言能力的智人最近几万年的脑容量和体格等并没有变，即人类失去了身体进化的能力，一定程度上是“不进则退”了。不过，尽管我们身体上没有进化，掌握了语言的我们依然在思想上传承、创新，或体现为思想上的多样性。
然而，技术发展到ChatGPT的时代，当我们输入关键词或提问，不同于搜索引擎提供诸多链接让我们自行判断、点击浏览，ChatGPT会直接输出一段文字，效率更高，文字观点平均化，或许不是最好但一定不是最差。
那么像ChatGPT这种由某一IT公司打造、基于其内部伦理规范提供的不出格的“唯一输出”的产品，或许可以提高效率，但是否会让我们丧失选择？若一代人使用它二三十年，是否会“被规训”、失去思想的多样性？人的思想被单一巨头规定或限制后，虽然我们还在不断生产知识，但人类的思想（包括：伦理规范和价值观等）却被限制死了。这种退化论的远景是我们欲求的吗？
瞿炜：我原来觉得Z世代是“愤青”的一代，但当B站UP主大概一年的时间内观察下来，我觉得他们有新鲜的观点和视角，是足够有希望的一代。现在流媒体平台的硬核视频远不如娱乐话题流量高，但仍有越来越多同学带着思辨精神去踏踏实实地做科普和技术类产出，同时梗还可以玩得很花很有趣。所以尽管新技术出现后，我们担心的事情一定会发生，但大多数人还是有足够应变能力的，随着越来越多的人掌握深度学习、积极学习、强化学习等人工智能原理，在拥抱技术的同时发现它的玩法和价值、漏洞和局限，就能达到螺旋式上升，问题在此过程中得到完美解决。
田丰：我不担心机器像人一样思考，毕竟人是多元的，我担心的是人像机器一样思考，这就涉及到传统教育和新教育的问题。工业时代传统教育讲究标准答案和套路样板、强调权威，AI时代新教育讲究提问探索和体系性思考、强调反权威。
数据库已经比人类记忆强，甚至可以帮助分析，那我们就要培养新的思辨能力（critical thinking）和自由探索精神。我们的“新脑”用逻辑的空间模型帮助我们认识复杂概念和抽象逻辑，学习也需要建立在自己的认知体系上，所以我们要创建和挑战自己的认知体系。层出不穷的新工具就可以提高我们探索世界的效率、帮我们拓宽认知渠道。
余明锋：狭义上的伦理问题是一定技术条件和组织条件下形成的规范，广义上的伦理问题则是“人之为人该怎么活”的问题，这第二个问题关系到我们对文明方向本身的判定，是更为根本的伦理问题。
而古代——无论东西方，都对技术保持高度警惕。近几百年，人类才以科技为社会基础和进步力量。现代人生活在一种增长强制之中，有着近乎本能的进步信仰。而古人很清楚，技术进步一寸，社会就要重组一次。
而现代世界则是科技不进步、生产力就不发展、人类就受到有限资源约束。所以现代文明与传统文明的巨变究竟是进化还是退化，那就涉及到了更根本的伦理问题。
此外还有技术突破潜在阴暗面的一点。比如随着技术进步的deepfake（编者注：深度伪造技术，如AI换脸、语音模拟等）问题、人口失业问题等。我们对公共空间并没有以往那么信任，因为互联网充斥着不负责任甚至不可信任的言论，ChatGPT的进一步发展恐怕会进一步削弱这种信任，若信息本身牵涉造假甚至被人为控制，那这个问题就很大了，这意味着基于信任的公共空间本身的瓦解。
整理：王嘉欣