“暂停AI实验”发起人首度回应质疑：不这么做，几十年后就没人类了
划重点：
编辑引言：
他来了，搅动风暴的那个男人走出了幕后。
3月29日，未来生命研究所(Future of Life Institute) 的一份“暂停6个月AI研究”的公开信如同一声惊雷，给正在狂飙突进的AI研究领域投下了一片浓重的倒影。
这篇公开信的影响堪比洪钟大吕，余音绕梁。在这半个月的时间里，各路AI界宿老，如，都接受采访参与论争；OpenAI的CEO，Google CEO还有新近偷摸成立X.AI杀入战局的也都连番呼吁监管和自查。
但发布这篇檄文的未来生命研究所却在这半个月内寂静无声，任凭学界商界吵得甚嚣尘上，也没有接受过一次相关采访，直到近期，这个研究所的创始人：来自MIT的Max Tegmark教授终于走上前台，一次接受了来自Lex和DW的两场采访。作为《生命3.0:人工智能时代》的作者，他毫无疑问是最适合讲述他们发布暂停AI宣言的逻辑和背后的隐忧的。在这两次访谈中，他的回答清晰的解释了为什么是现在，为什么要干预，为什么AI是危险的和AI的未来应该去向哪里的问题。
以下就是依不同主题整理的两次相关采访的核心内容：
这不是科幻小说。智能不是只存在于人脑中神秘的东西，我们也可以建造它。当我们能够建造它时，我们也可以很容易建造远远超出我们能力范围的东西。我们基本上在建造这些比我们更聪明的外星人大脑，我们将不得不与之共享这个星球。-Max Tegmark
为什么要现在暂停AI : 就差一个接口，它就可以走向自我进化，控制一切系统
DW：
在我们真正深入具体探讨之前，我想请您尽可能简洁地回答一个普遍的问题：是否有几家公司正在引领我们走上一条危险的道路？
Max：
是的。够简洁吗？
DW：
额，那么，让我们继续。
最近几个月里，情况迅速发展。去年年底，美国公司OpenAI公布了其文本生成模型ChatGPT聊天机器人。而在最近几周，OpenAI基于更高级AI模型GPT-4的最新聊天机器人也问世了。
与此同时，各大互联网公司都争相发布自己的AI聊天机器人，并计划将其集成到网页浏览器和其他应用程序中。在深入探讨之前，我想问一个问题，类似ChatGPT这样的新一代生成式AI模型代表了多大的突破？
MAX：
这在媒体看起来像是一个突破，但实际上这是AI工作持续稳步前进的结果，AI的进展已经持续很长时间了。
上世纪60年代，MIT的一位教授创造了“人工智能”这个词。一直以来，人们都说创造一个AI比想象的困难得多，但渐渐地，人类可以做到而机器无法做到的清单正在变得越来越短。
阿兰·图灵著名的“图灵测试”终极目标就是像人类一样掌握自然语言对话的智能机器。而这正是我们在GPT-4和类似AI模型中看到的重大突破。
DW：
您在五年多前的书《生命3.0》中写到了AI的潜力。目前我们看到的发展与当时您写那本书时的预期相比如何？
MAX：
不得不说，进展速度比我在写那本书时预期的还快，但不幸的是，政策制定者跟上进度的速度比我希望的慢得多。我们需要真正有意义地管制这一切，确保所有的东西都保持安全。
真正让人恐惧的是，GPT4只是婴儿级别的技术。微软最近公布了一篇论文，标题大概是“AGI的火花”。这篇论文基本上是说，这是婴儿人工智能，它会长大。
OpenAI和其他公司将研发出更强大的AI系统，但它们将沿用这些婴儿系统的所有主要设计思想。
我们可能还没意识到，人类将会像那些最后的尼安德特人那样绝望，因为他们最后发现自己被（人类的祖先智人）取代了。
LEX：
您提出的一个有趣观点是，有可能GPT4已经是一种可以通过编写程序来改变一切的系统。
MAX：
是的，我害怕的系统不是什么大型语言模型，而是那种一旦有人找到更好的技术方法，它就会不断替换升级自己软件代码的系统。
从我们对这些系统工作原理的了解来看，它们像是最小可行的智能单元；它们现在以一种愚蠢但还算管用的方式做每件事。所以，如果他们能替换自己的软件代码，速度会比你学习瑞典语快得多。此外，它们的思考速度也远远快于我们。如果需要更多的硬件，它们只需再租用更多的云服务。
我们人类没有每纳秒或几纳秒就进行一次逻辑思考的能力，我们也无法突然在云中大规模提高我们的硬件，我们太受限制了。
LEX：
我们还没有看到整个软件系统被取代。目前，编程还是以零散的方式完成。利用Copilot，GPT4能做很多原本我需要做的事情，但仍然需要人工干预来管理整个设计，管理生成内容的提示这样的事，做一些基本的代码调整，做一些调试，等等。
但是，如果能在GPT4之上添加反馈循环，让它进行自我调试，改进代码，然后将该系统发布到互联网上，一切都互联互通，让它做事，与人互动，然后得到反馈，考虑到现在有这个巨大的人类生态系统。。。
这也是为什么最近伊隆·马斯克在推特上表示每个人需要支付7美元来使用Twitter的原因。
MAX：
以确保他们是真实的。
LEX：
以确保他们是真实的。我们现在生活在一个机器人变得越来越智能的世界，智能程度如此之高，以至于我们无法区分人类和机器人。现在，机器人的数量可以超过人类100万比1，这就是为什么马斯克坚持认为必须支付费用来证明使用者是人类，这是目前仅有的机制，这令人沮丧。
MAX：
是的，我觉得我们必须记住，作为个人，我们不时地问自己正在做什么，以及为什么这么做；而作为一个物种，我们也需要这样做。
所以，如果我们正在建造的机器超过我们并且越来越超过我们，逐渐取代我们在劳动力市场上的位置，不仅是取代了那些危险和单调的工作，还取代了包括写诗和艺术创作等许多人认为真正有意义的事情；那么必须问自己为什么，我们为什么要这样做。
答案是，Moloch（注：莫洛克神；比喻要求重大牺牲的可怕力量 ，Max用来表达“恶魔的诱惑”）正在诱导我们这样做。这是一个如此巧妙的诡计，即使我们看到这个诡计，我们仍然无法不上当。
你提到使用Copilot辅助编程的速度提高了多少倍？是不是提高了两倍？
LEX：
实际上我不知道，因为这是一个全新的工具，我不知道速度是否有显著提高。但感觉我离5到10倍的速度只有1年的时间。
MAX：
如果这对程序员来说是典型的情况，那么你已经看到另一种递归自我改进的情况了。因为以前代码的一次迭代需要一个（典型的）人类研发时间规模；现在如果时间缩短5倍，那么开发下一代工具所需的时间也会减少5倍，如此等等。这些正是智能爆炸的开始，早期阶段人类可以深度参与，然后对人类的需求越来越少，机器可以更多地自行前进。你说的正是这些事情的确切例子。
另一件事是，我在想象自己躺在精神病医生的沙发上，说出我对人工智能系统的担忧。
我多年前提到的三个担忧是：1）教会代码连接到互联网，2）然后教会它操纵人类；3）构建一个API，代码可以控制所有超强大的东西。（笑）这非常不幸，因为这就像GPT4这样的系统。
GPT4在某种意义上是一个神谕，它们只是回答问题，没有机器人连接到GPT4，GPT4不能根据自己的想法进行股票交易。它不是一个智能代理。智能代理是一种吸收来自世界的信息，处理信息以根据其目标确定采取什么行动，然后对世界做出反应的东西。
但是，一旦有了API，例如GPT4，没有什么能阻止人们建立真正的智能代理，这些代理只需在某些内部循环里不断调用这些强大的神谕系统，这就会使得它们本身变得更加强大。这是另一种不幸的发展，我认为我们最好推迟这样的发展。
我不想针对任何特定的公司，我认为它们都面临着赚钱的巨大压力。再次说明，我们呼吁暂停的原因是给所有人机会做正确的事情，在这一点上放慢速度。
为什么这些人工智能工具会导致渐进的加速？我们一直在使用昨天的技术来构建明天的技术。当不断这样做时，自然会产生（技术）爆炸。这就是科学中的爆炸定义，不是吗？
有两个人，他们相爱；现在有四个人；然后他们可以生更多的宝宝；现在有8个人，然后16个，32个，64个，等等。这个我们称为人口爆炸。
核反应中，裂变的原子核可以产生不止一个中子，这些中子继续裂变其他原子核，我们就会在所谓核爆炸中看到指数级别的增长。
所有的爆炸都是这样的，智能爆炸就是同样的原理，一定量的智能可以产生比它更多的智能，然后重复，你总是会得到指数增长。
为什么要干预：现有的AI规范都很愚蠢。没有新的激励机制，公司在竞争的引诱中停不下来
LEX：
你的直觉是什么？你提到一些技术原因，说明它不会在某个点停下来。你有什么直觉可以解释它可能会停止？
MAX：
显然，当它碰到物理定律的限制时，它会停止。不管你有多聪明，有些事情你就是做不了。
LEX：
物理定律，是的。
MAX：
塞思·劳埃德写了一篇非常酷的论文，讨论了计算的物理限制，例如，如果你投入太多的能量和有限的空间，它会变成黑洞，你无法以光速传输信息，很难存储比某个有限数量的比特更多的信息等等。但你知道，这些限制远远高于我们现在的数量级。
当然，如果我们想要控制的东西是核反应堆，你要放中子吸收剂进去，确保核反应堆不会失控。
当我们做生物学细胞实验时，我们也试图确保它不会失控。我们也可以这样对待AI研究，问题是我们还没有实现。
Moloch正好相反，只是鼓励每个人更快，更快，更快，否则其他公司会赶上你，其他国家会赶上你。我们必须这样做，我们必须要这些东西。
我不相信只要让人们看看自己的内心就会做正确的事情；这说起来容易，但如果你的公司正在受到其他公司的竞争破坏，你就知道这是一个非常困难的处境。
正确的做法是改变整个激励机制，这不仅仅是老生常谈。我可能应该再说一点关于这方面的问题，
自从有人类文明开始，Moloch一直是人类的头号或者第二大敌人。我们提出了一些非常棒的应对措施，首先，在至少10万年前，进化就意识到人们不停地互相残杀是非常无益的。是的，它在基因上给予了我们同情和怜悯，使得如果两个醉鬼卷入无意义的酒吧斗殴，他们可能会把对方打的鼻青脸肿，但他们很难会直接杀死对方。
同样，如果明天你出去晨跑，发现有个宝宝躺在马路上，你会停下来把它捡起来，即使这可能会让你迟到。
进化给了我们这些基因，使我们自私的激励与更大群体或部分的利益更加一致。
然后，当我们变得更复杂，发展语言时，我们发明了小道消息，这也是一个极好的反Moloch措施，因为它真的会阻止说谎者，软弱者和骗子，人们自身的激励会阻止这样做，因为消息很快就会传开，人们不会再邀请这样的人共进晚餐或相信他们。
然后，当我们变得更复杂，社会变得更大时，我们发明了法律制度，即便陌生人无法依靠流言和类似的东西，也会以某种方式对待对方，现在那些酒吧斗殴的人，即使有人如此醉酒以至于真的想杀死另一个人，他的脑海中也会有一个小想法：我真的想花10年的时间在一个小房间里吃很差的食物吗？我只是要冷静下来。
我们同样试图通过制定法规和各种监督措施为我们的公司提供这些激励措施，以使他们的激励与更大的利益一致。我们真的努力过。
问题在于，我们现在失败的原因不是没有尝试，而是技术发展的速度远远快于监管机构能跟上的速度。监管机构现在做的AI法案有点可笑，之前欧盟监管机构有一个小的豁免条款，把GPT4完全排除在监管之外。真是一个神奇的想法。我们面临的挑战是，技术通常比政策制定者快得多。许多政策制定者也没有技术背景。我们真的需要努力教育他们关于正在发生的事情。
DW：
您是否考虑过公司面临的压力，他们要迅速竞争并以彼此为竞争对手？
MAX：
是的，比如9年前，当我们举办了有史以来第一届AI安全会议，将这些企业领导人与怀疑论者联系在一起时，我们的噩梦情景就是我们会得到这种竞赛，我们说“不要竞赛，不要陷入一场竞赛，你觉得你必须牺牲速度和安全。”
可悲的是，这正是我们现在所面临的情况。尽管当我与各公司的领导人交谈时，很明显他们理解风险，他们想做正确的事情，应该赞扬他们在公开场合明确表达过风险；但他们无法停下来，没有一家公司能单独停下来，因为如果停下来，他们的午餐就会被竞争对手吃掉，他们的股东会杀了他们。
为什么是6个月时间：因为相信会在这6个月里有个基础方案
DW：
几周前，一大群AI专家签署了一封公开信，敦促AI实验室暂停他们在高级模型上的工作至少6个月。
签名人包括伊隆·马斯克和苹果公司的联合创始人史蒂夫·沃兹尼亚克。这封信警告说，高级AI所带来的危险正在被忽视，正如马克斯所讲的，公司正争相开发这些技术。信里问到，是否应该由未经选举的技术领导者来主导生命的未来。
生命未来研究所发表了这封信。您是生命未来研究所的主席。这封信的效果是否达到您的预期？您到目前为止看到了什么？
MAX：
是的，这封信的效果达到了我的个人期望。
我十分希望这封信能帮助主流媒体慢下来，如果主流媒体能讨论我们是否真的需要第一次放缓最危险的研究。例如，深度学习的“教父”之一乔舒亚教授签署了这封信，他是第一位签字人。事实上，他和其他许多AI研究者一起签署了这封信，这真正使我们进入了主流。没有人可以再说这只是些想减速的无知的技术拒斥者。是这一领域的奠基人想减速。
他们完全理解AI可以带来的巨大潜力，它可以帮助我们治愈癌症，和更多其他的东西；但是我们只有在能确保这项技术的监管和引导能与技术进步的步伐保持同步的时候，才能获得这种潜力。
DW：
6个月够吗？为什么选6个月，是不是只是为了写一个时间框架而随意选择的。
MAX：
是的，你得从某个地方开始，这将是我们第一次真正放缓这个领域的任何进展，并真正给人们喘息的机会。然后我们可以从那里继续前进。
我想我们需要始终牢记更大的图景。这有点像电影《 Don't Look Up》，如果你看过，电影讲了有颗行星要撞向地球。但不抬头望天的人就不担心。。。而长期以来，科学家一直担忧有更大的类似撞击威胁，就像担心气候变化一样。
事实上，如果我们建造比人类更聪明的机器，有些人可能会利用它来杀死我们和接管我们的文明。不久之后，随着机器变得更加智能，一些人类很可能会完全失去对机器的控制。
所以，我们基本上是在建造这些比我们聪明得多的外星人大脑，我们将不得不与之共享这颗星球。
与比我们聪明得多的外星人大脑共享地球，而他们不在乎我们，这可能真的很不方便。问问尼安德特人(被现代智人消灭的人类近亲)，看看他们是什么下场。
DW：
是的，确实如此。
MAX
我把人工智能定义为非生物智能。按这个定义，一个公司也是人工智能，因为公司不是人类，而是系统。
如果一位烟草公司的首席执行官决定不销售香烟，他们（董事会）会换另一位首席执行官。对个人的激励进行调整是不够的，这是人工智能安全研究的内容，您还必须使公司的激励与更大的利益一致。有些公司变得如此之大和强大，以至于在许多情况下，他们的说客甚至会对监管机构产生影响，而不是相反。
LEX：
我们在推动的“暂缓人工智能研究”是希望给监管机构足够的时间来赶上，还是希望给公司足够的时间喘息和理解如何正确和安全的应用人工智能？
MAX：
我认为两者都对，但我认为成功的路径是首先给这些公司的领导人一个喘息的机会。他们想要做正确的事情，他们都有安全团队。也给他们一个机会与其他公司会面，外部压力也可以帮助催化这一点。大家一起制定合理的安全要求，并在未来将推出的系统里实施。学术界和公司外部的许多人也可以加入其中，并提出各种好想法。
然后，我认为在6个月内，这些人会提出一份白皮书，我们都认为这是合理的。汽车造成了许多人死亡，但人们并没有禁止汽车，而是很多人在一起讨论并决定，为了允许出售汽车，它必须有安全带。
为什么觉得AI很危险：以它的进化速度，只要没有限制，几十年之后就没有人类了
DW：
批评者称这是AI炒作。他们说，像ChatGPT这样的聊天机器人本质上是工程成就，并不像你说的那样是一个突破。你说这些公司正处于一场危险的竞争中，你说“是的，这很危险”。
为什么这很危险？这些工具令人惊叹，公众第一次看到它们会感到“哇”很惊艳，但事实上这些AI还远不是AGI通用人工智能。
MAX：
当然，这还远不是AGI，那种可以比我们更好地完成所有工作的通用人工智能。最大的危险不在当前系统，而在于它们很快会导致的结果，除非我们放慢速度。
这有点像在1944年警告核武器一样，你知道你可以建造它们，但它们还没有完全建造起来。
对于那些说这是炒作的人，我想：好吧，写下一些你确信AI在一或两年内无法做到事情的预测，我们来打赌。
对于那些说这还不危险的人，那比利时人自杀的事情怎么算？这可能是与聊天机器人交谈的结果。一些更低技术的AI，比如推荐算法，已经制造了可怕的(信息)过滤泡沫和我们所看到的极化，这真的是让更多的仇恨偏见而不是相互理解来碎片化我们的社会。
这些都是AI已经造成的实实在在的危险。这只是我们越来越失去对社会控制的一个小小警告而已。除非，我们去建立良好的安全措施，而这是我们完全有能力做到的。
DW：
您说这是一个警告，举一个关于AI将来能力令您担心的例子，或者您到目前为止看到的某些AI做的事情，能显示AI的进一步发展有失去控制的潜在可能。
MAX：
不久前，WHO就使用AI来开发药物，帮助治愈疾病，看看如何使人们活得更久。作为一个测试，我们用一个减号代替了加号，打算试着让它杀死人，而不是拯救人。很快，它发明了VX，这是人类已知的最强烈的化学武器之一。这就证明了，只要有智力，就有权力。
智力本身不是善或恶，它是一种工具。我们真的需要确保坏人不将其用于恶意用途。你不会在超市出售手榴弹，因为不是每个人都有足够的智慧来妥善管理它。
如果认为AI与生物学或物理学有任何不同，这会很疯狂。我们不在超市出售核武器，我们有安全法规规定谁可以进行危险的合成生物学研究。我们需要对AI做同样的事情。当然有来自公司的商业压力，就像有商业压力阻止企业规范烟草买卖一样。
DW：
对于如此复杂的技术，如何精确地创建一个框架？如果它本质上是积极方面所带来的反面，那么是否有可能创建一个控制AI的框架？这个框架到底是什么样的。
MAX：
我们成功地禁止了生物武器，成功地禁止了人体克隆和操纵人类生殖。我们知道如何做到这一点。
我们需要把所有的关键参与者召集在一起，进行建设性的对话，从这开始，我们只需要多一点时间让这一政策制定过程追上进度，这就是我们的公开信呼吁暂停6个月的原因。
我们人类应该确保采取安全措施，以便对这些机器保持控制，使其有助于人类繁荣昌盛，而不是成为我们可能失去控制的风险事物，尽管在所谓的AI对齐方面进行了非常谨慎的技术工作，但到目前为止，作为一名AI研究人员，我必须承认我们尚未解决这个问题。
我们需要多一点时间，否则在未来几十年内，地球上可能根本就不会有人类。
DW：
一些观众包括我自己，有时会觉得，AI甚至显示出一定程度的欺骗。您觉得这（忽视AI危险性）仅仅是因为人们目前还没看到难以理解的事情吗？随着他们看到这些应用，您觉得他们会开始理解吗？您觉得这会增加更多政策的紧迫性吗？
MAX：
是的. 但是不幸的是，当人们看到比我们聪明得多的AI时，可能已经太晚了。
我们人类已经在地球上使一半以上的哺乳动物物种灭绝。对于其他物种来说，现在已经太晚了，它们不能说：“哦，人类比我们聪明，他们正在砍倒我们的雨林，我们应该做点什么来对付他们。”它们应该在失去对我们的控制权之前就考虑这一点。
现在是我们的机会来真正做对这件事。我不想听起来太悲观，我们这里讨论的不是像核战争那样只有坏处没有好处。如果我们能把这件事做对，其实好处很大。我喜欢的文明产品都是人类智慧的产物。我们能用机器智能来增强我们的智力，用它来解决气候变化，治愈所有的疾病，消除贫困，帮助人类繁荣昌盛。这不仅仅是为了下一届大选，而是为了几十亿年之久，那会很棒。
我们不应该因一时的急于发布而错失这些机会。我们应该谨慎地这样做，以便安全地做到这一点并获得所有这些好处。
AI的未来：各国间必须合作，为人类制造可限制的AI，而不是为了赢
DW：
考虑到公司相互竞争，考虑到目前还没有监管......您甚至说过，即使有更多的公共认识，监管也不会及时到来。考虑到国家相互竞争，这里显然有军事应用，您在看待这个问题时相当悲观。
MAX：
悲观不是因为我们没有解决这个问题的方法，悲观是因为基本上每个人都在驱动这场赛跑朝着悬崖进发，却否认悬崖甚至(灭绝生物的)彗星的存在。这最终不是任何人都能赢的比赛，如果我们进行失控的比赛，我们所有人都会输。
对德国来说，让人类灭绝的失控AI是否是美国的、德国的还是中国的，并不重要。真正重要的是没有人这样做，我们可以利用所有这些惊人的技术来帮助地球上的所有人类生活质量显著提高。
这不是一场军备竞赛，这是一场自杀式竞赛。我认为，如果我们能教育人们这一点，那么每个人都会有正确的动力来停止竞赛，想办法使这一切变得安全。
DW：
我有一个技术问题。您已经把这件事比作核扩散和生物武器，例如，我们这里讨论的技术类型能扩散吗？或者它如此复杂和昂贵，以至于真正控制这件事的将是国家行为？
MAX：
它很容易扩散。
核武器之所以不太扩散，是因为钚或铀真的很难获得。而AI更像生物武器，一旦有了代码，它就是小巧便宜的东西。目前开发所谓的大型语言模型需要花费数亿美元，一旦有人拥有它，如果能访问到它，就可以复制它。软件从来不尊重边界，就像新冠病毒一样。
必须确保不开发最危险的东西，目前政策上正在就此进行大量讨论，比如讨论如何监管计算方面。
当你建造这种东西时，花费25万美元或其他费用，您无法隐藏6兆瓦的计算服务器功率，这可以从太空中看到。这是一个很好的起点。然后，我们当然也可以使用许多工具，包括AI工具来识别危险的东西，防止扩散。
这不是技术问题，这真的是政治和社会学问题，大多数人不会理解，如果没有人愿意合作，下行风险会有多大。
DW：
好的，谈到不同国家为AI选择不同道路，让我们简单看看中国。本周，中国网信办发布了草拟规则，旨在管理公司如何开发生成式人工智能产品，如ChatGPT。这些规则规定，AI生成的内容需要反映社会主义的核心价值观，不应该颠覆国家权力。
MAX：
我们看到，欧洲、中国和美国正在采取不同的监管方法。欧洲一直走在监管方面，最初的欧盟人工智能法案由一些说客设法加入漏洞，声称ChatGPT和GPT4将完全豁免。我们努力关闭这一漏洞，因为这太荒谬了。美国一直很抗拒监管任何事情，我认为这是因为美国有很成功的技术游说。中国政府实际上已经相当严格地监管这些内容，我认为他们很清楚地看到，这可能会导致失去控制，而他们不想失去控制。所以，他们限制了公司随意地用不太理解的东西进行实验的自由。
DW：
我正要问您，也许他们采取的方法更接近您提倡的方法，而西方国家没有这样做，因为这对他们的体系构成巨大威胁。但是，与此同时，他们也在和世界其他国家进行军事竞争，这是否会推动他们采取某些可能危险的人工智能应用，并造成扩散？
MAX：
是的，您对所有的风险都看得很准确。但您知道，苏联和美国也不完全是最好的朋友，他们不会一起喝酒，也不太信任彼此，但他们仍然能够避免核战争，并想出各种有用的方法来降低风险。因为他们都看过核爆炸的视频，他们都知道那是什么状况。
如果更多的政策制定者意识到AI达到某个点，如果完全失去对超级智能机器的控制，将比核战争更糟糕，中美两国的军方也会意识到，他们应该合作以防止他们不想要的情况。
DW：
到那个时候已经太迟了，不是吗？您不是说一旦出现大规模认知智能事件，无论如何都可能太迟了吗？
MAX：
不，我说一旦这些机器存在，就太迟了。所以，我非常希望我们可以帮助他们意识到这些机器的临近，而不是真正建造它们。
我们现在仍然还没到所谓的AGI通用人工智能的程度，这是使机器可以在基本上所有的工作任务上超越我们的圣杯，但我们正在以很快的速度接近它。事实证明，建造这个东西比10年前的人们想象的要容易得多。
10年前，大多数人认为，也许需要50年，也许30年，甚至更长时间。
现在，您会看到该领域的许多顶级专家给出的时间表要短得多。例如，我们已无法反驳AI已经掌握了人类语言。所以，我希望这会使许多政策制定者意识到，这不是科幻小说。
智能不是只存在于人脑中神秘的东西，我们也可以建造它。当我们能够建造它时，我们也可以很容易建造远远超出我们能力范围的东西，就像我们远远超出昆虫的能力范围一样。
显然，我们正在建造这个；我们应该是由人类为人类建造AI，而不是为了机器以后过得开心。
所以，确保我们真正给自己时间，并确保控制这些机器，或者至少确保它们具有我们的价值观，并按我们的意愿行事，这是人类现在做出的最重要的选择。