AI教父Geoffrey Hinton发出警示：超级智能很快就会到来

ChatGPT等大模型带来的震撼技术革新，让Geoffrey Hinton突然改变了自己的一个想法。

这位75岁的「人工智能教父」意识到，数字智能优于生物智能的进程无法避免，超级智能很快就会到来，他必须要对其风险发出警示，而人类需要找到一种方法来控制AI技术的发展。而在此之前，他一直认为，智能机器人不会像人类一样聪明，不会朝着AGI的方向发展。

为了自由探讨AI风险，Hinton最近辞任Google工程副总裁，今年正是他在那里工作的第十年。十年前，他与两位学生Alex Krizhevsky、Ilya Sutskever（OpenAI首席科学家）成立的三人组公司DNN-research以4400万美元卖给了Google，「天价」收购源自他们当时提出了震动业界的AlexNet，它后来被视为新一轮深度学习的黄金时代的标志，并且极大推动了AI领域的发展。

十年来，人工智能领域的众多惊人突破背后都离不开深度学习，它是使得ChatGPT、AlphaGo等得以面世的基石。而Hinton作为深度学习领域众多开创性突破的研究者，他的论文总共被引超50万次，2019年，他还获得了计算机科学领域的「诺贝尔奖」——图灵奖。

功成名就之后，当他看着当前AI领域的颠覆式变革，却也忧虑AI的黑暗面，声称自己有点后悔之前推动的AI研究工作，因为他帮助开发的技术可能会终结人类文明。

近期，在与强化学习大牛Pieter Abbeel的一次对话中，他详细解释了为什么要在此时呼吁重视AI的潜在风险，以及数字智能进化带来的挑战，但他认为，暂停开发AI的想法是幼稚的，最重要的是对AI技术开发过程进行监管。

不过，对于如何通过技术解决AI对齐等挑战，Hinton自嘲自己「廉颇老矣」，不适合做相关技术工作，而且他更喜欢研究算法，他现在能做的是利用自己的名声给人类敲响AI的警钟。

警惕AI的风险

Pieter Abbeel：5月1日，《纽约时报》头条报道了你已从Google离职的消息，你还提醒人们要警惕AI可能带来的负面影响。从事AI研究多年，你为什么现在突然改变了对AI的态度？

Geoffrey Hinton：50年来，我一直在研究大脑是如何学习的：通过使用人工神经网络在数字计算机上制作模型，以及试图弄清楚如何让这些模型进行学习。我坚信，要使数字模型更好地工作，就必须让它们更像大脑，但最近，我突然发现，与大脑相比，在数字计算机上运行的反向传播算法可能是更好的学习算法。

原因如下：一年前发布的PaLM可以理解笑话的有趣之处，让我很是震惊，因为这是我长期以来判断模型是否智能的标准。然后又出现了ChatGPT和GPT-4等模型，其能力给人们留下了深刻印象。人类大约有一千万亿个权重，这些模型只有大约一万亿个权重，但它们掌握的知识却远超人类，是人类的一千多倍，这表明，反向传播在将大量信息压缩到少量连接中很有优越性，仅使用数万亿个连接就能容纳大量信息。

之前，我认为大脑可能有更好的学习算法，但现在不禁开始重新思考，数字系统可能具有大脑所没有的优势，即可以在不同硬件上运行许多相同的模型。当其中一个副本学习到新知识时，它可以通过传递权重变化的方式将这些知识传达给其他副本，传输的带宽可以达到数万亿位。然而，对于人类而言，如果我们想要将学习内容传达给他人，那么被传输者可能需要改变权重，以便能够与他人达成一致，并且每个句子只有几百位的宽带。相比人类，也许数字系统更擅长获取知识，它们可以利用并行更好地工作。

Pieter Abbeel：从概念上看，似乎现有的预测下一个单词的AI（ChatGPT等语言模型）与目标导向型AI（AlphaGo等）之间仍有较大差距。也许我们能快速弥合这两类AI之间的差距，但与预测型AI相比，目标导向型AI仍处于相当封闭的环境中，未来我们是否会快速从预测型AI转向目标导向型AI？

Geoffrey Hinton：语言模型的学习方式不仅仅是基于下一个单词的预测，虽然这是它的主要学习方式，但同时也使用人类反馈的强化学习（RLHF）进行训练，可以告诉模型应该给出何种答案，不过这与预测下一个单词有很大的差别。

人类反馈的强化学习正在塑造AI，OpenAI在这方面取得了极大突破。他们意识到，可以通过人类反馈强化学习引导大型语言模型的行为方式，这就好比是养育孩子：孩子们可以通过探索世界、观察世界的运转模式进行学习，在这个过程中，父母可以通过告诉孩子能或不能做什么参与到孩子的学习当中。长期以往，父母可以在更少参与的情况下对孩子的行为产生极大影响。

还有其他因素在塑造语言模型。多模态大型语言模型可以利用视觉输入做一系列事情，比如开门、将东西放进抽屉等等。所以，它们不仅仅是预测下一个单词。

不过，即使模型只是预测下一个单词，也没有人们想得那么简单。有人认为，模型预测下一个单词只是在自动补齐，但关键是想要预测下一个单词，唯一的方法是要真正理解前文内容，而这正是语言模型所做的。

Pieter Abbeel：也就是说，模型需要有效理解人们的所思所想，以最大限度准确预测人们将要说的内容。这种模型必须十分强大。

Geoffrey Hinton：最好的预测模型就会像你说的那样。这种模型可能无法完全理解人们的所思所想，但能理解大部分内容，并且它们的理解程度会与日俱增。

回看2015年，那时Transformers架构还未现世，人们对聊天机器人毫无头绪，现在，语言模型的能力已十分强大，难以想象未来五年它们会发展到何种程度。我不禁开始担忧AI的智能程度将超过人类。

Pieter Abbeel：你怎么定义「（AI）比人类更智能」？

Geoffrey Hinton：AI在单个领域中的表现中有所体现。比如我不玩围棋，也不了解AlphaGo，但会一点点象棋。在我看来，AlphaZero的强大不仅来自计算量（它的计算量还比不上DeepBlue），还因为它有极好的下棋「意识」：AlphaZero能在下棋过程中作出合理的牺牲与让步，下棋技术超过了人类。AI技术的高度发展不会仅局限于这一个领域，它们战胜人类靠的不仅是计算量，还有极好的「意识」。

Pieter Abbeel：你一直在尝试构建AI，现在成为这个行业的先驱。AI的发展程度已经远超你最初的预想，曾经你希望AI能达到与人类匹敌的智力水平，但现在可能找到了超越人类智能的方法。

Geoffrey Hinton：我还想了解大脑的运转方式，目前我们还未解开这一谜题。

我们一直在谈论AI面临的各种问题，比如如果我们利用有偏见的数据训练模型，那么模型就会同样具有偏见，但我并不特别担心这个问题，因为人类也存在偏见，实际上，AI系统的偏见问题比人类的偏见更好解决。我们可以「冻结」AI系统，进行实验分析，但人类却难以做到这一点，在实验中，人类可以隐藏想法并改变他们的行为。

虽然随着AI的发展，有很多人会失业，但这并不是AI的错。就拿自动驾驶来说，很多卡车司机会因此失去工作，有人认为这是AI的错，不过当我们创造了更擅长挖掘的机器时，人们却不会说「这些机器不好，我们不应该创造它们」。实际上，当时的机器一开始可能确实不太好用，但结果我们选择了机器，因为机器比铲子做得更好，而之前习惯于用铲子挖掘的工人只好转业，重新找工作。

在正派社会（Decent Society）中，提升工作效率是一件人人受益的事情。问题是，目前社会上提升工作效率可能会拉大贫富差距，让富人更富，穷人更穷，但这并不能怪AI，我们没有理由像勒德分子（持有反机械化以及反自动化观点的人）一样反对AI的发展，因为AI的发展能给人类社会带来极大好处。

在自动驾驶领域，如果AI驾驶撞到了行人，大众会感到恐慌，并且呼吁停止发展AI技术，即使是同一天里，人类驾驶员撞到行人的事故更多。其实我们都知道，最终自动驾驶技术会发展成熟，会极大减少事故发生率，比人类能更好地胜任驾驶工作。

在医学方面，AI拥有更多知识储备，能够充当家庭医生，能从医学扫描图像中看出更多信息，医生也能在AI解读的基础上完善诊断结果。现在，在蛋白质结构预测方面，AlphaFold出色地完成了任务，极大地节约了预测成本，如果这一预测任务由博士生们以传统方式进行，足以支付大部分AI的费用。

AI的积极影响还有很多，我们需要知道，在一定程度上，人类能够做的任何事AI都能更高效地完成。鉴于AI具备的强大能力，人类绝不会放弃发展AI。但与此同时，我也开始担忧它们可能会带来的负面影响。

Pieter Abbeel：现在人们听到AI一词时，出现在脑海中的第一个问题就是：如果AI的智能程度超过人类会发生什么，是否会对人类造成威胁？

Geoffrey Hinton：显然，我们希望将AI保持在可控范围内，但掌控超越自己智能水平的东西并非易事。人类是经过进化的生物，有一些强大的目标，比如认真保养身体、吃足够的食物等等，可AI并没有这些目标。对此，我们可以设置目标并将其植入AI，让AI围绕人类的利益工作。

不过这种方式也可能出现各式各样的问题，以不良用途为例。如果国防部构建出机器人士兵，那么这些士兵并不会遵守阿西莫夫原则（阿西莫夫第一原则是：机器人不得伤害人类个体，相反，它们要保护人类）。此外，我们还面临对齐问题，如果赋予AI创建子目标的能力（比如我们想去机场，那么可以创建一个总目标——找交通工具，然后再创建子目标，也就是将任务分解为几个小目标），可以极大地提升效率。我认为，我们会选择赋予数字智能创建子目标的能力，但问题是，如果AI创建了对人类有潜在不利影响的目标怎么办？

为了应对这一问题，人们通常会设置子目标，以实现对AI的更多掌控权，这也意味着我们可以更好地实现其他目标。不过矛盾的是，我们一旦赋予AI设置子目标的能力，那么它们其中一个子目标就会获得更多控制权，但这又与我们不想让它们获得更多控制权的意愿背道而驰。

Pieter Abbeel：最大的问题是，现在很多人担心AI将控制世界。

Geoffrey Hinton：这确实是一大威胁。以前，我认为距离AI控制世界还很遥远，可能需要几十甚至上百年时间，但现在我认为可能只需5-20年。一旦AI比人类聪明，那么就会面临一个问题：到底是AI控制世界，还是我们控制AI？

我们正在进入一个有极大不确定性的时期，将与超越人类智能的事物进行互动，而且没有任何经验可供参考，我真的不知道未来会如何发展。

最近，我和马斯克进行了一次谈话，他认为我们会开发出比人类更聪明的事物，但他希望它们让人类存续，因为有人类存在的世界才更有趣。这是一种很大胆的假设，相当于将人类的命运寄托到AI身上，但他认为这是完全有可能的，AI将变得更加智能并获得掌控权。

Pieter Abbeel：马斯克设想的场景是AI与人类融合在一起，他的神经网络公司（Neuralink）正在想办法让AI和大脑相结合。

Geoffrey Hinton：那很有趣。人类有语音输入和输出能力，但没有视频输出能力。如果人类有了视频输出能力，就能通过传达图像进行沟通。不过这并不完全是马斯克计划要做的事，他想实现的是脑与脑之间的传输，将思维传递到一个相对抽象的层面。我们现在需要以一种他人能理解的方式传输信息。视频输出是一个相对不那么宏伟的项目，现在已经有人知道该如何处理视频，并将其作为输入进行处理了。

如果我们有视频输出能力，那么人与人之间的沟通将得到极大改善。比如当你向我传达信息时，你可以通过语言或画图，但在画图之前，你的脑海中可能已经有了一个图像（可能并非总是如此，但大多数情况下是这样）。如果你能够迅速传达脑海中的图像，那将增加信息传输的带宽，即使只增加一倍，也会是一个很大的提升，并且实际情况甚至可能不止一倍。

「监管可能是唯一的办法」

Pieter Abbeel：长期以来，一直有人呼吁对AI领域进行监管，马斯克就是其中的典型，不过他并没有明确提出具体的监管建议。你认为应该采取哪些监管措施？

Geoffrey Hinton：人们常常将AI可能造成失业、偏见、政治分裂、威胁人类生存以及传播虚假消息等各种各样的问题这些问题混为一谈，我们有必要分清所面临的到底是什么问题。

就拿传播虚假消息掩盖真相来说，如果我们被虚假的东西包围，那么所面临的境况会是多么艰难。政府一直都在严厉打击制造假钞行为，如果有人给你假钞，而你在明知是假钞的情况下还拿去消费，这也是违法行为（即便不如制造假钞严重）。

因此，对于AI生成的内容，我们也要想办法对其进行标记，如果有人在明知是虚假内容的前提下将其假冒为真，就应该受到严厉的法律处罚。现在能否很好地对真假内容进行检测是另一回事，但至少我们要朝着这个方向前进，加强监管，避免被假象淹没。

Pieter Abbeel：我赞同你的观点。不过制定规则可能比较容易，但实际执行也许会比较困难。

Geoffrey Hinton：为什么执行会很困难？假设使用深度学习来帮助检测虚假内容，我们构建了一个能够检测伪造品的AI系统，但其实利用这种系统能训练AI生成更加逼真的假冒产品，这也是GAN模型的工作原理。因此，我们不能指望AI系统检测出虚假内容。

Pieter Abbeel：对AI生成内容进行加密是否可以解决这个问题？比如对AI生成的内容添加加密签名，显示内容的作者，然后将作者身份和声誉与内容的可信度联系起来。如果作者在内容中添加了虚假信息，他的声誉就会受到损害。

Geoffrey Hinton：英国曾经就这样做过，甚至现在可能还是这样：无论你印刷什么东西，即使是小型示威的宣传册，都必须在上面印上印刷者的身份，未印刷身份信息是违法的。虽然我对密码学和加密技术一无所知，但这种想法听起来十分合理。

Pieter Abbeel：虽然监管可能难以实施，但从原则上讲，还是有一个明确的框架来避免人们被假新闻、假视频和虚假文字所误导。

Geoffrey Hinton：为避免引发政治分裂，我们还可以对标题党（Clickbait）进行监管。Facebook、YouTube等社交媒体常常会对用户推送一些产生回音室效应的内容，这种过度的信息过滤和选择性接触可能导致人们极端化，加剧社会、政治分裂。这也是我不愿再为Google工作的原因之一。

我们可以通过立法来阻止这种行为，虽然很棘手，但至关重要。如果想要维持民主，避免群体分裂，互相仇视，就需要采取措施监管媒体公司，避免这些公司推送可能激化矛盾的内容。

Pieter Abbeel：几周前，有人呼吁暂停训练比GPT-4更大的模型，你怎么看？

Geoffrey Hinton：从政治上看，这封呼吁信或许是明智的，因为它引起了人们对AI安全的关注。但这种呼吁其实很愚蠢，所以我没有在呼吁信上签名。即使美国暂停训练AI，中国不会暂停，俄罗斯也不会暂停，所以这是不现实的。

对于这个问题，我赞同Sam Altman的看法：面对这些技术可能带来的潜在风险问题，由于我们无法阻止其发展，所以最好的方式是大力开发它们，在开发过程中学会更好地理解和控制它们。就像写程序一样，坐而论道是不行的，我们必须行动起来，进行实验和调试，以了解可能发生的情况。

在大力发展AI的同时，我们应该着力于解决潜在的负面影响，避免失控，我们必须非常严肃地对待这个问题。当前投入资金的99%都用在了开发上面，只有1%用于安全方面，我认为今后这个比例应该五五开。 Pieter Abbeel：从学术角度看，用于AI研发和安全的资金比例达到五五开是可能的，资助机构只需在申请要求上加上这一点即可。但私企基本都是利益驱动，更注重开发能带来更多利润的产品，他们愿意把一半的资金放在安全问题上吗？

Geoffrey Hinton：我只是一名科学家，并非政策专家，只能注意到可能发生的事情。其实Google在这方面还是相对负责任的，在研发出Transformer之后，他们在这一领域处于领先地位，之后又研发出了聊天机器人，但并没有急于将其推向市场，因为他们意识到聊天机器人可能会产生很多负面影响。但当微软资助OpenAI并在必应中使用聊天机器人后，Google别无选择，只能努力进行工程改进，以开发出与ChatGPT相匹敌的Bard。

在资本主义体系下，大公司很难有其他选择，如果要让他们牺牲利益，监管可能是唯一的办法。

数字智能优于生物智能不可避免？

Pieter Abbeel：在接下来的30-50年，我们应该把重点放在哪里？

Geoffrey Hinton：就历史演进来看，数字智能优于生物智能可能是不可避免的，数字智能可能是下一个进化阶段，我们应尽可能保持AI处于可控范围。

有时我会想：如果青蛙发明了人类并想要控制人类，但就智力而言，青蛙和人类之间差距巨大，所以我不认为「发明人类」对青蛙来说是一件好事。

当然，这并非真实论点，因为人类由进化而来，在向着自己的目标演进，但数字智能并没有自己的目标。一旦数字智能有了「自我繁衍（make more of me）」这一想法，那么进化就发生了，最有决心实现自身繁衍的数字智能将会胜出。

Pieter Abbeel：如果我们想让数字智能有这种目标，这个过程会不会很困难？

Geoffrey Hinton：给数字智能以「自我繁衍」的目标很容易，但这种做法十分疯狂。

Pieter Abbeel：人类今天的地位是进化的结果，或许最聪明的数字智能也会在竞争中出现。它们不是与人类竞争，而是与其他数字智能竞争。

Geoffrey Hinton：你可以观察到，由于人类智能功耗很低，随着不断进化构建出了发电站和大量数字智能，而数字智能需要大量功耗，并提供高精度制造能力，这些数字智能是进化的下一阶段，它们彼此竞争并变得更加强大。人类倾向于构建比自己智能的智能体，后者可以以某种方式替代联合国，担任「智能调解者（intelligent mediator）」。该智能体没有自己的目标，我们每个人都可能按照它的安排来行事，就像孩子完全信任父母一样。当然，这只是乌托邦式愿望，但也并非没有可能。

Pieter Abbeel：从技术上讲，你所说的似乎可行，但需要人类团结一致。

Geoffrey Hinton：这种情景在理论上是可行的。但人们在没有实际经验的情况下进行推测，往往离真相相当遥远。一旦获得一些实际经验，就会意识到自己的理论有多么离谱，还需进行修正。因此，在技术不断发展的过程中，我们需要进行大量工作，了解其中的风险，并进行实证实验，以观察智能系统运行时，是否倾向于控制人类，是否会产生自我繁衍的目标等。

Pieter Abbeel：短期来看，拥有能设定自我目标并执行任务的AI可能并非坏事。一方面我们可以利用AI赚钱，另一方面可以使其利用自身资源和其他资源做事。但从长期来看，这样又可能产生滑坡效应，我们无法控制AI为实现自我目标而设定的子目标，以及由此可能产生意料之外的后果。

Geoffrey Hinton：这涉及到对齐问题。

Pieter Abbeel：是的，这非常困难。不过我们可以对AI分类，一类是那些旨在完成任务并能设定目标的AI，另一类是纯粹作为顾问的AI，后者拥有丰富的知识和预测能力，能为人类提供建议和智慧，但它们仅仅担任顾问一职，不参与任务执行。

Geoffrey Hinton：这样会非常有用。不过，仅仅不让AI按下控制按钮无法保证能消除它的潜在风险。聊天机器人能阅读马基雅维利（Machiavelli）的作品以及其他关于操纵的小说，从而成为操纵大师。它不需要任何实际操作，只需操纵他人，就可以实现一系列行动。假如机器人想入侵华盛顿的建筑，那么它们只需让人们认为这是拯救民主的唯一方式即可。

因此，一种不允许AI实际做任何事情，只允许与人交谈的隔离措施是不够的，如果AI可以与人交谈，它就能操纵人类，并通过操纵人类来达到自己的目的。所以关键在于AI的内置目标。如果AI产生了自我繁衍的目标，那么人类就会陷入麻烦。

Pieter Abbeel：有人提出，将来我们可以让AI担任公司CEO，在AI的带领下，公司可以得到更好的发展，因为AI能够更好地了解、掌握公司和世界的发展趋势，作出更好的决策。

Geoffrey Hinton：这种想法没什么问题。关于预测未来，就拿开车来说，人们常常在夜晚开车，遇到大雾时经常发生交通事故。开车时我们可以看到前方车辆的尾灯，尾灯亮度随距离的平方反比衰减，一旦遇到大雾，就会随着距离损失相应亮度。

在雾中，我们可以看到前方一百码的情况，这时人们就会误认为自己能够适度地看到前一千码的情况，但事实上我们甚至难以看清前两百码处的情况。前方仿佛出现了一堵墙，我们的视野将变得有限或具有不确定性。

在推断未来事件时，人们常常使用线性或二次模型，假设变化是逐渐发生的。然而，现实情况是，未来可能呈现出指数级的变化，使得长期预测变得困难。

我喜欢《纽约时报》在1902年的一篇文章中写的故事：人造飞行器将需要百万或者甚至一千万年才能研发出来，但实际上两个月后飞行器就出现了。

Pieter Abbeel：你说，生物进化也许只是一个起点，接下来可能是基于计算机的数字进化或其他形式的进化。假设未来存在一种数字生命形态，在某种程度上比当今人类更具统治地位。这种数字生命体可能对人类、其他生物和周围的一切都很友好，但也可能会摧毁一切。那么我们是否需要考虑确保它往好的方面发展？

Geoffrey Hinton：这绝对值得考虑。数字生命体将会是非常不同的存在，它们不需要担心死亡。人们可能还未真正注意到这一点，但实际上我们已经发现了计算机科学领域中永生的秘密：将软件与硬件分离。人工神经网络就是如此，如果某个硬件损坏了，知识并不会消失，权重可以记录在某个地方，只要有另一块能够执行相同指令的硬件，知识就能「复活」。

人类的学习算法似乎利用了大脑连接（wiring）和神经元工作的所有特殊方式，这使其在能源效率上更加高效。但也意味着硬件死亡时，知识会随之消失，除非将其传递给其他人。例如，Ray Kurzweil希望获得永生，但他作为生物体不会实现。不过，也许人类永生之后，会变得友善一点。

「退休」计划

Pieter Abbeel：你是否会继续宣传AI发展存在的风险？还是现在人们已经意识到这个问题，你的任务已经完成了？

Geoffrey Hinton：我也不知道。我没有想到会引发这么大的反响，也还没有仔细想过接下来会发生什么。估计我会继续思考如何控制这个问题，偶尔发表一些演讲，鼓励人们去解决对齐问题。但我不会全身心投入到这些事情上，相比之下我更喜欢钻研算法，接下来我可能会继续研究forward-forward算法及相关算法，这是我更擅长的事。

Pieter Abbeel：一方面强调对齐的重要性，另一方面又想了解大脑的运作方式，这两者之间是否存在矛盾？

Geoffrey Hinton：理解大脑的运作方式不会有什么问题，真正会带来麻烦的是构建比大脑更强大的东西。如果我们能更好地理解人类，就能够使社会变得更好。

Pieter Abbeel：你对AI研究人员或希望为这个领域做出贡献的人有什么建议？

Geoffrey Hinton：可以尝试与最先进的聊天机器人互动，以便更深入地理解其智能程度和工作原理。虽然我们知道它的基础是Transformer模型，但目前我们并不完全清楚模型是如何完成推理任务的。

此外，我们应该关注如何在AI的发展过程中对其进行控制。当然，我并不是AI对齐方面的专家。随着超级智能可能很快到来，我的任务是敲响警钟，让人们意识到这方面的问题。

Pieter Abbeel：离开Google后，你应该有大量时间去做自己喜欢的事。

Geoffrey Hinton：在Google工作时，同事经常讨论工作与生活的平衡，但由于工作太忙，我从未参与类似的研讨会。前50年我都在忙于工作，错过了很多好电影，接下来我想在Netflix上把错过的电影都看一遍，并且尽量多陪陪我的孩子，尽管他们已不再是小孩了。

卡内基梅隆大学的Allen Newell曾给他的研究生说：如果每周的工作时间少于80小时，那么你就不是一名合格的科学家。我并不赞同这种说法，现在我打算平衡一下工作和生活，这并不意味着我会停止做研究，即使我不再像以前一样在研究上花大量时间，但研究本身还是很有趣。

审核编辑 ：李倩