人工智能时代的秩序、安全与和平

　　从军事战略的重新调整到外交的重建，人工智能将成为世界秩序的关键决定因素。人工智能不受恐惧和偏袒的影响，为战略决策带来了新的客观性可能性。但这种客观性，无论是由作战人员还是和平缔造者掌握，都应该保留人类智慧的主观性，而这对于负责任地行使武力至关重要。与其说人工智能是对未知事物的进一步发现，不如说它是对我们现有状况的揭示。战争中的人工智能将揭示人类最美好和最坏的表现。甚至在实现重大突破之前，人们就会认识到人工智能在多大程度上既可以成为冲突的手段，又可以成为冲突终结者。

　　人类长期以来一直在努力构建越来越复杂的体系，以使任何国家都无法完全主宰其他国家，这一努力已成为一条连续不断的自然法则。在一个主要参与者仍然是人类的世界里——即使配备了人工智能来通知、咨询和建议他们——我们仍然应该享有一定程度的稳定性，这种稳定性基于参与者之间共同的行为准则，但会随着时间的推移而不断调整。

　　但是，如果人工智能成为一组实际上独立的政治、外交和军事实体，那么古老的权力平衡将被迫被一种新的、未知的不平衡所取代。民族国家的国际协调——过去几个世纪实现的脆弱且内部不断变化的平衡——部分是由于参与者的内在平等而得以维持。一个严重不对称的世界——例如，如果一些国家比其他国家更容易接受人工智能进入政治领导地位——将变得难以预测。在某些人类可能与一个高度人工智能化的国家或人工智能本身在军事或外交上对峙的情况下，人类似乎无力生存，更不用说竞争了。这样的中间秩序可能会见证一个内部的社会内爆和外部冲突无法控制的爆发。

　　除了最低限度的安全保障，人类长期以来一直为追求胜利或捍卫荣誉而参与战斗。但机器——目前——缺乏真正的胜利或荣誉概念。它们可能会发动一种人类历史上独一无二的战争。但人工智能会做出什么选择？它们可能永远不会发动战争，而是选择（例如）立即、仔细划分领土，并根据相对战略优势的复杂计算进行转移？或者它们会——重视结果而不重视个人生命——陷入人类消耗战？在一种情况下，人类可能会发生彻底的转变，完全避免人类行为的残酷性。在另一种情况下，我们会变得如此屈从，以至于回到野蛮的过去。

　　难道就没有别的办法了吗？迄今为止，无论是耐心的外交努力还是令人震惊的战争恐怖，都未能永久地在人类（更不用说其他物种）心中植入对毁灭的厌恶。然而，在人工智能时代，永久和平的条件是否最终能够实现呢？

　　间谍和破坏活动

　　各国在寻找确保技术安全的方法的同时，也在思考如何“赢得人工智能竞赛。” 从某种程度上来说，这种反应是可以理解的。文化、历史、交流和观念共同造成了当今主要国家之间的外交局势，加剧了各方的不安全和猜疑。人工智能是全球未来的一个主要特征，它在本已不稳定的组合中形成了一个低点，双方都认为，增加战术优势可能对其长期利益具有决定性作用。

　　如果出于自我保护的本能，每个人类社会都希望最大限度地发挥其单边地位，那么敌对军事力量和情报机构之间的心理较量就会出现，而人类从未面临过这样的情况。今天，在第一个超级智能到来之前的几年、几个月、几周和几天里，一场生存性的安全困境正在等待着我们。任何拥有这种能力的人类行为者的第一个合乎逻辑的愿望可能是试图保证单一的持续存在。任何这样的行为者也可能默认合理地认为，其对手在同样的不确定性和同样的利害关系下，也会考虑采取类似的行动。

　　即使一个占主导地位的国家没有发动战争，超级智能人工智能也可以颠覆、破坏和阻止竞争程序。例如，人工智能既可以以前所未有的威力增强传统病毒，又可以以类似的彻底性伪装它们。就像计算机蠕虫 Stuxnet 一样——据说这种网络武器已经摧毁了德黑兰五分之一的铀在检测到之前先对离心机进行攻击——人工智能代理可以通过掩盖其存在的方式破坏对手的进展，从而引导敌方科学家走上徒劳的调查之路。

　　具有独特的能力，可以大规模操纵人类心理的弱点，它还可以劫持竞争对手国家的媒体，制造大量令人震惊的虚假信息，从而激起大众对该国人工智能能力进一步发展的反对。或者，对于另一个国家的首席人工智能科学家，它可能会针对性和个性化通信，使他或她对个人悲伤的感受过于强烈，从而削弱有效领导的能力。

　　评估竞争状况将更具挑战性。目前最大的人工智能模型正在与互联网其他部分断开的安全网络上进行训练。一些高管认为，人工智能开发本身迟早会迁移到坚不可摧的堡垒中，这些堡垒中的超级计算机由核反应堆驱动。现在甚至有人正在海底建造数据中心。很快它们就可能被隔离在环绕地球的轨道上。企业或国家可能会逐渐“隐身”，停止发布人工智能研究成果，这不仅是为了避免让恶意行为者得逞（如公开规定的那样），也是为了掩盖自己的建设进度（如私下打算的那样）。为了扭曲其进展的真实情况，其他人甚至可能会故意发布误导性的研究成果，并借助人工智能来制造令人信服的谎言。

　　这种科学诡计是有先例的：1942年，苏联物理学家格奥尔基·弗洛洛夫在注意到美国和英国突然停止发表有关原子裂变的科学论文后，正确地推断出美国正在研制核弹。然而，如今，由于衡量智能等抽象事物的进展的复杂性和模糊性，这种竞争将变得更加难以预测。尽管有些人认为“优势”与他们拥有的人工智能模型的大小相称，但较大的模型并不一定在所有情况下都占优势，也不一定总是胜过规模部署的较小、较差的模型。较小、更专业的人工智能机器可能会像一群无人机对抗航空母舰一样运作——无法摧毁它，但足以抵消其大部分能力。

　　对于某些行为者来说，实现某种能力可以表明整体优势。这种思路的问题在于，人工智能仅仅是指机器学习的过程，它不仅嵌入在单一技术中，而且嵌入在广泛的技术中。因此，任何一个领域的能力可能由与另一个领域的能力完全不同的因素驱动。从这个意义上讲，通常计算的任何“优势”都可能是虚幻的。

　　此外，正如近年来人工智能能力的指数级和不可预见的爆炸式增长所表明的那样，进步的轨迹既不是线性的，也不是可预测的。展望未来，专家们对人工智能的未来仍存在分歧。超级智能的发展：这仅仅是扩大和实施现有学习基础设施的问题，还是超级智能需要额外的创造力和科学创新？可以想象，从狭义智能到通用智能再到超级智能的转变可能会在没有明显进化迹象的情况下完成——特别是如果人类没有形成统一的寻找目标的概念。即使可以说一个参与者“领先”另一个参与者大约几年或几个月，关键领域在关键时刻的突然技术或理论突破可能会颠覆所有参与者的地位。

　　在这样一个世界里，没有哪个领导者能够相信他们最可靠的智慧、最原始的本能，甚至现实本身的基础，任何真正的超级智能竞争者都不应该因为从极度偏执和怀疑的角度采取行动而受到指责。毫无疑问，领导者已经在做出决定时，假设他们的努力受到监视或隐藏着恶意影响造成的扭曲。在最坏的情况下，任何处于前沿的参与者的战略考量都是优先考虑速度和保密性，而不是安全。由于人类感知无法检测或防御人工智能的压制企图，人类领导者可能会陷入一种恐惧之中，即没有第二名。迫于压力，他们可能会过早加速部署人工智能，以威慑外部破坏。

　　如今，我们仍然处于一种不由自主的无知之幕之后。人工智能主导地位之争的最终赢家（如果可以定义赢家的话）尚不清楚。每家追求领先地位的企业都是潜在的竞争对手。这种不确定性会产生不稳定因素。

　　传统上，新大国崛起后，必然要经历一场血腥的争夺，然后对手才能达成至少各方都能接受的新现状。然而，在一个因人工智能而迅速重构的核武器世界里，可能没有机会通过既定的战争原则和手段来验证新的共识。

　　如果胜者的身份确实明确，单纯的竞争可能会演变为绝望和恐惧所驱动的冲突。在这种情况下，确定性可能比预防措施更不稳定。总而言之，完美的威慑加上无限的速度和最大的准确性意味着彻底的胜利。历史上对武力垄断的追求通常会导致其他人的暗中计划随之而来。当在一个不稳定平衡的世界背景下考虑这些能力时，一些国家可能会认为人工智能的出现足以威胁到需要进行核回应。在避免了常规战争之后，人工智能会把我们拖回核战争吗？

　　在以往的军备竞赛中，进化本能与发明者之间的竞争相结合，使得创建和操作旨在保护本土社会的工具。在这里，防御性人工智能系统也可以抵消对手的攻击，例如通过更新目前易受攻击的软件和其他系统，或者，如果负责监视竞争程序，则通过充当预警系统。然而，在这种情况下，新的威胁——人工智能生物武器、突然的核扩散，甚至是失调的人工智能本身——可能会如此迅速和悄无声息地出现，造成如此大的破坏，以至于抢占任何反应的先机。

　　尽管我们可能还没有进入这样的时刻，但应该提前做好准备，以应对人工智能时代的生存竞争及其伴随的风险。一个意志坚定或绝望的行动者，拥有次要但相当大的实力，将警惕更强大的人工智能。如果这个次要行动者感知到——即使是错误的——占主导地位的对手已经掌握了全面的能力，它可能会发动先发制人的电子或物理打击，引发难以想象的升级和报复循环，以及相互毁灭的可能性不断上升。

　　至少就目前而言，我们的不确定性中有一线希望。模糊性可能是培养对话的沃土。由于不确定今天做出的人工智能决策会给任何一个国家或团体带来什么好处或坏处，全球领导人有机会就人类集体生存的基础展开讨论。

　　应对紧急情况

　　如果未来是一场争夺单一、完美、无可争议的主导智能的竞争，那么人类很可能要么在多方竞争中失去对生存竞赛的控制，要么遭受不受传统制衡约束的胜利者行使最高霸权。获胜的差距越小，人类误判的可能性就越大。

　　单极可能是一条可以最大程度降低灭绝风险的途径。如果现有的领先者能够将其领先优势扩大到其他实体认为不可能缩小的阈值，那么确保一定程度的稳定可能会更加确定。至少在一段时间内，世界秩序的基础——不断追求平衡力量之间短暂而脆弱的平衡——可能不再可取。

　　或者，也许可以——尽管这取决于人类自然本能的抑制——在竞争实体之间达成协议，以确保商定的合作期限，甚至将处于领先地位的多个竞争努力合并为一个单一的企业。但要实现跨越地缘政治和商业敌对状态的统一，需要非凡的勇气和远见。任何在前线或前线附近的行为者都希望被纳入胜利的行列。在这一主要类别中，优柔寡断或仍处于落后地位的行为者自然会取得胜利参与该协议的其他国家将获得最大利益，从而占据优势地位，获得同等地位，并可能领先。相比之下，其他主要国家可能会发现牺牲自己的领先地位是无法忍受的，他们对利他主义的信任可能过于脆弱，无法抵挡彻底背叛的诱惑。

　　类似的选择是通过谈判分配和授权权力。当确信胜利在即时，处于最有利位置的一方可能会试图说服对手投降，保证他们有权使用超级人工智能。但人类对同胞的承诺从来都不是永远的，更不用说对前对手的承诺了。如果人类克服一切困难达成这样的协议，那么如何实施它还远不清楚。

　　事实上，仅仅将知识“岛屿”上最尖锐的山峰聚集起来，可能会加剧其整合最初旨在防止的动态。人类历史上还没有出现过这样的尝试，更不用说成功的记录了。此外，这样的安排需要对外交战略进行重大调整。从历史上看，世界秩序的基础是通过不断追求平衡力量的微妙平衡来维持的。相比之下，民族国家将追求一种人类实践中很少见的霸权停滞状态。占主导地位的国家集团可能是人工智能系统的最初创造者和其最关键部件的供应商，以及开发和改进人工智能的人才的生产者。非主导多数派可能会被降为附庸国，提供数据和其他商品，并获得一定程度的人工智能发现、治理系统和防御能力。

　　无论如何，这种情况既不是我们的偏好，也不是我们的预测。相反，我们相信世界上将不仅仅存在一种至高无上的人工智能，而是存在多种超级智能实例。在这种情况下，将出现一组不同的可能未来。我们最强大的创造物作为制衡力量，可能比人类更有能力在全球事务中发挥和维持平衡，这种平衡受到人类先例的启发（但不受限制）。因此，非人类智能至少在国家安全和地缘政治领域可以管理自己的出现。

　　但人工智能能否实现可持续的统治权划分？有可能。外交谈判在人类情感和心理的层层掩映之下，其核心是一种应用博弈论，而博弈论本身又是数学的一个分支。即使外交实践起源于一种艺术形式（尽管是人类行为领域独有的），它也可能逐渐演变成一门科学。在确定和寻求妥协机会方面，它可以超越人类外交的复杂记录。西方早期的人工智能模型已经显示出在应用战略方面的巨大潜力，至少在游戏玩法方面是如此，而中国则更进一步，利用人工智能来机器智能履行人类外交官的职责。

　　人类的外交传统始于在社会之间安全可靠地传递信息的简单需求。渐渐地，远方的使节开始享受特殊待遇，而违反新规范的国家很少能逃脱制裁。当薛西斯的代表要求希腊城邦做出臣服的象征时，波斯外交官被扔进坑里和井里。希罗多德记载，诸神后来会因为这一行为惩罚斯巴达。大约十七个世纪后，当一位蒙古高级外交官按照波斯沙阿的命令被处决时，成吉思汗命令他可怕的部落摧毁整个花剌子模帝国作为报复。尽管如此，保持沟通渠道畅通已成为一种习惯，即使在战争时期也是如此；随着时间的推移，人们形成了一项基本共识，即倾听信息比杀死信使更好。

　　如果人工智能在它们之间进行外交，它们可能会被有意训练接受相同的习俗，或者它们可能会偶然产生偏向，偏向于这些习俗所保证的额外信息。当然也会有异常情况。虽然可能不会有人被解雇，但机器可能会找到一种同等的方式来追求它们狭隘的利益。在这里，如果人类能够接受，它们的完全理性可能会增加至少更安全开端的可能性。

　　然而，为人类的基本问题（如外交和安全）提供机器解决方案将自然而然地导致对人工智能能力的进一步依赖——如果人类必须果断干预国际事务，这种依赖很难被打破。至少人类的治国方略，无论应用得多么不完美，都迫使我们对自己的选择负责。相比之下，选择依赖人工智能可能会降低我们对基本人类判断的信任能力，而在我们更可预测但原始的过去，我们可以依靠这种判断可靠地生存。

　　为什么要冒这样的风险？一方面是为了避免相互毁灭的竞争困境或超级智能出现带来的霸权，另一方面也是为了保护我们自己免受其他即将出现的威胁。随着每一年的过去，随着每一项新技术的突破，摧毁整个人类社会的最低门槛都在降低。

　　北欧神话讲述了神奥丁和王后弗丽嘉的儿子巴德尔的故事，他被关于他们的儿子即将遭受惨死的预言所惊吓。弗丽嘉女王决心保护他免受未来的命运，她不知疲倦地走遍了地球上的九个王国，对每一种动物、元素、植物和瘟疫施展强大的魔法，这样就没有人能用来对付他了。但是伪装成老妇人的骗子神洛基从女王那里骗来了一个信息，说她的神圣保护斗篷覆盖了地球上的所有东西，除了槲寄生，最无害的杂草。在庆祝巴尔德尔的豁免权，诸神为了炫耀女王的精湛技艺，轮流向他发射各种武器。然而，洛基强迫他的盲人兄弟霍德尔射出一支带有槲寄生的箭，刺穿了巴尔德尔的胸膛，用瓦尔哈拉唯一不受女王全面监护的物体杀死了他。

　　这句古老神话对于我们现代困境的意义简单而又令人不寒而栗：随着威胁变得越来越模糊和复杂，人类对它们的防御必须更加完美，因为最轻微的错误或疏忽都可能导致失败。而要达到这种完美程度，我们很可能需要人工智能的帮助。

　　因此，要决定哪种风险较低，因此应该优先考虑：在人工智能发展中生存下来，在合成生物学出现等其他平行革命中生存下来，还是在剧烈气候变化等潜在灾难中生存下来。诚然，小型人工智能可能会协助鲁莽地发明现有技术；即使这些新手段的创造者本身受到完美和适当的监管，其他人也可能不那么谨慎，危害更大。但大型人工智能可以帮助防御同样的技术，使战术防御决策真正完美。

　　例如，如果开发出个性化的生物防御系统，即人工智能纳米机器人将被部署在我们的血液中，以清除任何未能匹配公认的生物特征——将比我们以前对生物威胁的反应更敏捷。同样，人工智能可能会产生新材料和新工艺来减少碳排放，降低气候灾难的风险。

　　毫无疑问，让人工智能承担其诞生之初的物种和社会的早期和持续责任是有风险的，但传统的路径要求人类表现完美，风险可能更大。在我们目前看来，最好的办法是让人工智能在人类不得不面对新的生存威胁扩散之前而不是之后发挥作用。根据这一假设，适当的问题是：人类如何才能加速人工智能理想的路径，同时延缓不理想的路径？

　　人工智能是一种不加选择的不稳定力量；如果不加以控制，它的出现会给其创造者和使用者带来同样大的风险。这恰恰可能迫使最初不情愿的竞争对手考虑原本不切实际的协议。我们认为，在外交、国防和其他领域，只有人工智能本身才能成功管理人工智能的一些风险。潘多拉魔盒已经打开；即使没有打开，人工智能的好处似乎仍然大于风险。

　　因此，我们认为，我们的“脆弱世界”（借用尼克博斯特罗姆的话）很可能需要人工智能的干预，才能应对人工智能技术发展带来的一些挑战和威胁。问题依然存在：人类必须如何行动当我们面对一个同时要求和禁止我们继续控制的未来时？

　　战争的新范式

　　在人类历史上，战争几乎都是在特定的空间内进行的，人们可以相当确定地知道敌方军队的能力和位置。这两种属性的结合为双方提供了一种心理安全感和共识，使他们能够明智地克制杀伤力。只有当开明的领导人对战争可能如何进行的基本理解统一时，敌对势力才能控制是否应该进行战争。

　　速度和机动性一直是决定任何军事装备能力的最可预测因素之一。早期的例子就是大炮的发展。狄奥多西城墙建成后，在一千年的时间里，它保护了君士坦丁堡这座大城市免受外来入侵。后来，在 1452 年，一位来自匈牙利王国（当时受拜占庭宗主权管辖）的炮兵工程师向君士坦丁十一世皇帝提议建造巴西利克大炮，这是一门从防御墙后发射的巨型大炮，可以粉碎外来入侵者。但这位自满的皇帝既没有物质手段，也没有远见认识到这项技术的重要性，因此拒绝了这项提议。

　　不幸的是，这位匈牙利工程师原来是一名政治雇佣兵：他改变了策略（和立场），将设计升级为更机动的——至少需要 60 头牛和 400 人才能运输——并接近皇帝的对手、土耳其奥斯曼帝国苏丹穆罕默德二世，后者正准备围攻这座坚不可摧的堡垒。这位富有创业精神的匈牙利人声称这门火炮可以“摧毁巴比伦城墙”，赢得了这位年轻苏丹的兴趣，并帮助土耳其军队在 55 天内攻破了古老的城墙。

　　这场 15 世纪戏剧的轮廓在历史上一再出现。在 19 世纪，速度和机动性首先改变了法国的命运，拿破仑的大军压倒了欧洲，然后又改变了普鲁士的命运，在赫尔穆特·冯·毛奇（老）和阿尔布雷希特·冯·罗恩的领导下，他们利用新开发的铁路并采用分布式控制来实现更快、更灵活的机动。同样，闪电战——德国军事原则的演变——将在第二次世界大战中用于对抗盟军，产生了巨大而可怕的效果。

　　在数字战争时代，“闪电战”有了新的含义，也无处不在。速度是瞬时的。攻击者无需牺牲杀伤力来维持机动性，因为地理位置不再是制约因素。尽管这种组合在很大程度上有利于数字攻击中的进攻，但人工智能时代可能会看到攻击速度的提高并重新启用与网络攻击相称的网络防御。

　　在动能战争中，人工智能将引发另一次飞跃。例如，无人机将非常快速，机动性超乎想象。一旦人工智能不仅用于引导一架无人机，还用于操控一队无人机，无人机云将形成并同步飞行，形成一个单一的、有凝聚力的集体，同步性完美无缺。未来的无人机群将毫不费力地解散并重组为各种规模的单位，就像精英特种作战部队由可扩展的分队组成一样，每个分队都能够独立指挥。

　　此外，人工智能将提供同样快速灵活的防御。用传统炮弹击落无人机舰队是不切实际的，甚至是不可能的。但人工智能枪支发射光子和电子（而不是弹药），可以重现与太阳风暴相同的致命致残能力，太阳风暴可以烧毁暴露卫星的电路。速度和机动性将再次超越人类的能力——并且可能在防守和进攻上持平。

　　由于速度和机动性不再是决定变量，竞争实体之间的能力差距现在将取决于精确度、直接影响和战略应用。

　　人工智能武器将达到前所未有的精确度。长期以来，对手地理知识的局限性限制了人工智能武器的能力和意图。任何敌对一方都无法做到这点。但科学与战争的结合已经确保了我们仪器的准确性不断提高，而人工智能有望再次取得突破——甚至多次。因此，人工智能将缩小初衷与最终结果之间的差距，包括在致命武力的应用方面。无论是陆基无人机群、部署在海上的机器军团，还是可能的星际舰队，机器都将拥有高度精确的杀伤人类的能力，几乎没有不确定性，而且影响无限。潜在破坏的界限将只取决于人类和机器的意志和克制。

　　因此，人工智能时代的战争将主要归结为评估对手的能力，而不是对手的意图及其战略应用。在核时代，从某种意义上说，我们已经进入了这样的阶段——但随着人工智能证明其作为战争武器的价值，其动态和重要性将得到更清晰的关注。因此，关键问题是：人工智能指挥官想要什么和需要什么？

　　由于涉及如此宝贵的技术，人类不太可能被视为人工智能战争的主要目标。事实上，人工智能可以完全取代人类作为战争中的代理人，使战争不那么致命，但可能不会削弱决定性。同样，领土本身似乎不太可能激起人工智能的侵略——但数据中心和其他关键数字基础设施肯定会。（超级计算机可能会被隐藏起来，情报存储分散，以确保有更大的机会进行作战连续性并防御机械的“斩首打击”。

　　因此，投降不会发生在对手人数减少、武器库空无一物时，而是发生在幸存者的硅盾无法挽救其技术资产，最终无法挽救其人类副手时。战争可能演变成一场纯粹的机械死亡游戏，决定因素是人类（或人工智能）的心理力量，他们必须冒险一试，或者放弃以阻止彻底毁灭的突破时刻。

　　甚至新战场的主导动机在某种程度上也是陌生的。GK 切斯特顿告诉我们“真正的士兵战斗不是因为他憎恨眼前的一切，而是因为他热爱身后的一切。” 15人工智能战争不太可能涉及爱或恨，更不用说士兵勇敢的概念了。另一方面，它可能仍然包含自我、身份和忠诚——尽管这些身份和忠诚的性质可能与今天不一致。

　　战争中的算计总是相对简单的：哪一方首先发现对手的威力所造成的折磨是无法忍受的，哪一方就会被征服和改变，然后也许才会进行谈判。对自己缺点的认识可靠而自然地产生了克制。如果没有这样的认识，也没有痛苦的感觉（因此无法完全忍受痛苦），人们不禁会想，到底是什么会促使人们在战争中克制自己。被引入战争的人工智能，以及它所引发的冲突将以何种结局收场。如果下棋的人工智能从未被告知游戏结束的规则，它会下到最后一个棋子吗？

　　地缘政治重组

　　在人类的每个时代，几乎就像遵循某种自然法则一样，正如我们中的一个人曾经说过的，会出现一个整体，“它拥有力量、意志以及智力和道德动力，能够按照自己的价值观塑造整个国际体系”。在该实体出现后，其他单位以新的方式相互联系，在危机时期建立不可预测的依赖关系，并不断威胁到地缘政治力量平衡。在某些情况下，由此产生的系统颠覆了现有的权威；在其他情况下，它巩固了这些权威。

　　人类文明最熟悉的安排是传统意义上的威斯特伐利亚体系。然而，主权民族国家的概念只有几个世纪的历史，它起源于十七世纪中叶统称为《威斯特伐利亚和约》的条约。它不是预定的社会组织单位，可能不适合人工智能时代。事实上，随着大规模虚假信息和自动歧视引发人们对这种安排失去信心，人工智能可能构成一个固有的挑战国家政府的权力。使问题更加复杂的可能是心理迷失和可能逃避现实，本书前面已经详述过。或者，人工智能可能会重置当今体系中竞争对手的相对地位。如果人工智能的力量主要由民族国家自己掌握，人类可能会被迫走向霸权停滞，或者走向人工智能赋权的民族国家的新平衡。但它也可能成为更根本转变的催化剂——转向一个全新的体系，在这个体系中，国家政府将被迫放弃其在全球政治基础设施中的核心作用。

　　一种可能性是，拥有和开发人工智能的公司将获得全面的社会、经济、军事和政治权力。当今的政府被迫应对其作为私营企业的东道主和啦啦队的艰难地位——借出其军事力量、外交资本和经济实力来促进其本土利益——同时还要支持那些对垄断贪婪和保密心存疑虑的普通人。这可能是一个站不住脚的矛盾。而且，正如本书前面所详述的那样，人工智能的出现将使任何既定机构的治理变得更加困难。

　　与此同时，企业可以结成联盟，巩固其本已相当强大的实力。这些联盟可以建立在互补优势和合并利润的基础上，也可以建立在开发和部署人工智能系统的共同理念上。这些企业联盟可能会承担传统民族国家职能，但它们并不寻求界定和扩大有边界的领土，而是培育分散的数字网络作为自己的领域。

　　还有另一种选择。不受控制的开源传播可能会催生出规模较小的帮派或部落，这些帮派或部落拥有低于标准但相当强大的人工智能能力，足以在有限的范围内管理、供养和保护自己。在那些拒绝既定权威、支持分散金融、通信和治理的人类群体中，原始无政府状态可能会胜出。或者这样的群体可能会包含宗教层面，也许是由上一章探讨的人工智能和神性概念之一驱动的。毕竟，就影响力而言，基督教、伊斯兰教和印度教都比历史上任何一个国家都更大、更持久。在未来的时代，宗教教派，而不是国家公民身份，可能会成为身份和忠诚的更相关框架。

　　无论是由企业联盟主导的未来，还是分散到松散的宗教团体中，每个团体所宣称的新“领土”——以及它们将为之而战的领土——都不是几英寸的土地，而是数字设备，这是个人用户忠诚度的信号。这些用户与任何政府之间的联系——无疑受到人工智能对传统中央集权政府地位的复杂影响——将颠覆传统的公民观念，并且实体之间的协议与普通的联盟不同。

　　从历史上看，联盟是由个别领导人建立的，在战争中可以增强国家实力。相比之下，在和平时期，公民身份和联盟（或许是征服或十字军东征）的前景围绕普通民众的观点、信仰和主观身份构建，这将需要一种新的（或非常古老的）帝国观念。这还将迫使我们重新评估宣誓效忠所涉及的义务和退出选择的成本（如果在我们与人工智能纠缠的未来中确实存在退出选择的话）。

　　和平与权力

　　民族国家的外交政策，以及国际体系，都是通过平衡理想主义和现实主义而建立和调整的。回顾起来，我们的领导人所达成的暂时平衡并非最终状态，而只是当时的短暂（如果必要的话）策略。随着每个新时代的到来，这种紧张关系产生了不同的政治秩序构成表达。领导者不能仅仅实现现有和已经考虑过的范围内的选择。相反，统治者必须做出至少一些源自（或似乎源自）灵感的选择——经常鼓励追求超出实际实现范围的目标。

　　追求利益与追求价值观之间的矛盾，或者说某个民族国家的优势与全球利益之间的矛盾，一直是这一无休止演变的一部分。历史上，小国领导人在外交上反应直截了当，优先考虑自身生存的需要。相比之下，那些拥有实现额外目标手段的全球帝国的领导人面临着更痛苦的困境。

　　自文明诞生以来，随着人类组织单位的不断壮大，它们也同时达到了新的合作水平。但今天，也许是由于我们面临的地球挑战规模巨大，以及国家之间和国家内部明显的物质不平等，对这一趋势的反弹已经浮出水面。人工智能能否证明自己与人类治理规模相称，能够细致而准确地看到全球的相互作用，而不仅仅是国家的要求？我们能否指望它们比我们以前更精确地计算我们的利益和价值观，然后计算它们之间的正确比例和关系？

　　正如我们其中一位之前所说，期望人类领导人能够可靠地“将我们的行动限制在我们的伦理、法律和军事立场完全和谐，以及合法性最符合生存要求的情况下”是不现实的。对于人类来说，这仍然是正确的。然而，我们希望人工智能能够为国内外的政治目的而部署。国外的人工智能可能不仅仅能阐明平衡的权衡。理想情况下，它们可以提供新的、全局最优的解决方案，在更长的时间范围内发挥作用，并且比人类能够做到的分辨率更高，从而使我们相互竞争的人类利益保持一致。在未来的世界里，机器智能驾驭冲突和谈判和平可能有助于澄清甚至克服我们的传统困境。

　　然而，如果人工智能确实能解决我们本应希望自己解决的问题，我们可能会面临信心危机：即一些人过度自信，而另一些人缺乏信心。对于前者，一旦我们了解了自我纠正能力的局限性，可能很难承认我们已经将太多权力交给了机器的智慧来处理人类行为的存在问题。对于后者，意识到仅仅从处理我们事务中移除人类的代理就足以解决我们最棘手的问题，这可能会过于明显地揭示人类设计的缺陷。如果和平一直只是一种简单的自愿选择，那么人类不完美的代价就是永无止境的战争。知道解决方案一直存在，但我们从未构想出来，这将摧毁人类的自尊心。

　　就我们的安全而言，与我们在流离失所中的安全不同，在科学或其他学术活动中，我们可能更容易接受机械第三方的公正性必然优于人类的自私自利——就像人类很容易认识到在有争议的离婚案中需要调解人一样。我们相信并希望，在这种情况下，我们的一些最坏的特质将使我们展现出我们最好的特质：人类追求自身利益的本能，包括以牺牲他人为代价，可能会让我们做好准备，接受人工智能超越自身利益。