人工智能技术迅猛发展，安全领域挑战不容小觑

人工智能技术和应用飞速发展，推动经济社会创新发展的同时，也在重塑人类安全的未来。作为2018世界人工智能大会的重要组成部分，题为“人工智能安全：挑战与机遇”的安全高端对话9月18日在上海国际会议中心举办。此次对话活动由上海赛博网络安全产业创新研究院、中国信息通信研究院安全研究所联合承办，上海社会科学院互联网研究中心等协办。

对话围绕伦理问题、国家安全、网络安全三大主题展开，研判人工智能时代的安全挑战，探索人工智能安全发展的创新之道，促进人工智能产业的健康发展，确保人工智能发展造福人类未来。

1

人工智能技术迅猛发展

军事历来是推动技术变革的主要力量之一，特别是在一些战略性领域，新技术与军事变革之间的互动，不仅推动了技术的发展，也影响了军事变革。算法上的突破、数据数量和质量的不断提升以及计算能力的增长为人工智能在军事领域的应用提供了无限的想象空间。

从现有的技术条件来看，人工智能至少可以在机器人、战场环境的分析和目标识别、后勤组织计划、情报分析、信息管理、信息行动等方面在一定程度上提升或改变原有对军事的认知。

人工智能的发展可以减少军人的伤亡程度、增强指挥决策、控制战争的杀伤范围方面改变未来的战争形态。

第一，当越来越多的无人驾驶飞机、坦克、汽车，以及自主决策武器开始走向战场，军人直接暴露在战场杀伤环境将会减少，军人的伤亡率较传统的战争也会下降。这会使得跟传统军人形象迥异，一群戴着眼镜，像在网吧中玩着网络游戏的新的职业军人和军事单元出现在战斗序列中。

第二，人工智能在辅助战场决策可以发挥重要作用，包括制定军事计划、后勤组织保障、战场环境实时信息获取、分析、目标的图像识别等方面可以大幅度提高战场的指挥决策能力。

第三，人工智能时代战争将更多是特种战争，而非全方位的战争。人工智能在网络战、信息战，以及类似的“斩首行动”“定点清除”等特种作战领域将会发挥重要的作用。这从很大程度上而言这也会改变战场的形态，人工智能领域的特种作战将会先与大规模冲突的爆发，改变人们传统上认为，战争就是工业化时代的大规模飞机、坦克、军舰等武器之间直接对抗的印象。

鉴于人工智能在军事领域的重要作用，各国的军队和政府都高度重视从国防角度来看待人工智能，越来越多的国家开始发展和使用人工智能武器，制定人工智能国防领域的发展战略。

2016年2月，时任美国情报总监詹姆斯·克莱伯在参议院武装力量委员会的听证会上认为，人工智能系统的欺骗性和破坏性难以预测和理解，将会对国家安全和关键信息基础设施带来巨大风险。特朗普政府开始加大对人工智能国家战略的制定和资源的投入，美国国防部门的国防创新咨询委员会和国防科学委员会不遗余力地推动美国军方向人工智能转型，并且成立了国防部联合人工智能中心；近期，美国国防高级研究计划局（DARPA）作为美军重要的技术创新部门宣布对人工智能的投资增加20亿美元，用以布局下一代人工智能。

俄罗斯也高度重视人工智能在国防领域的发展。俄罗斯国防力量积极的开发人工智能武器，包括超级坦克、无人蜂群、无人导航水下航行器等，根据媒体报道，俄罗斯已经开始在叙利亚战场中使用基于人工智能的武器系统。在美俄之外，包括中国、英国、澳大利亚、韩国、印度等越来越多的国家开始重视人工智能在军事领域的发展和应用。

2

安全领域挑战不容小觑

人工智能拥有巨大潜能，但事情往往具有两面性，为了获取战略竞争优势，各国人工智能在国防领域的竞争，也带来了安全方面的风险——包括为了获取竞争优势而忽视人工智能的伦理问题、人工智能技术扩散，以及过度强调人工智能的国家安全属性对正常的技术发展和商业所带来的威胁挑战。

首先，致命性自主武器的伦理问题。致命性系统是一种直接或间接地对人类造成伤害或死亡的系统。现有系统如装备了武器的无人机，就在某种程度上将自动化与致命性结合起来，但是这一系统需要人类的参与。完全自主的致命性自主武器系统还需要能够识别和选择目标，确定拟对目标施加的武力级别，并在特定范围的时间和空间内对目标实施规定的武力。半自主、全自主系统包括杀伤人员地雷、反舰雷达、各种精确制导导弹、鱼雷、巡航导弹、反卫星武器、空中和海上无人机、无人机群以及网络蠕虫。从不含情报的地雷到精确制导导弹以及依据地形的巡航导弹，这些系统中的情报数量差异巨大。

国际社会存在着很大的反对发展致命性自主武器的声音。如此众多的自主武器带来的问题是机器是否有权力去自主决定杀伤目标，以及由于算法黑箱或者自主武器失控而导致的误杀和误伤成为致命性自主武器发展必须要面临的伦理问题。虽然战争和伤亡是需要极力去避免的，但是由机器来决定伤亡则更加难以接受。不仅如此，人工智能的应用会在一定程度上降低战争的门槛，这会鼓励减少自我约束，采取进攻性的行动来达到相应的目的，但同时也会对国际安全形成新的不稳定因素。

其次，作为人工智能发展核心的算法和数据都存在着潜在的安全问题，这会导致人工智能决策的风险。从编程的角度来看，任何的代码都是由人编写，因此无法确保程序完全安全、可靠、可控、可信。从数据角度来看，人工智能依赖大数据，同时数据的质量也会影响算法的判断。军事数据质量获取、加工、存储和使用等环节都存在着一定的数据质量和安全风险，从而增加了军事领域使用人工智能的安全风险。

再次，人工智能技术扩散给全球安全带来的威胁。伴随着人工智能武器的开发，国际社会面临的另一大难题就是反扩散问题，恐怖主义组织以及不负责任的国家获取人工智能武器，并威胁国际安全和平。人工智能从某种意义上而言，也是一种程序和软件，因此，它面临的扩散风险要远远大于常规武器。类似于美国国家安全局的网络武器库被黑客攻击，并且在暗网交易，最后被黑客开发为勒索病毒的案例，也有可能在人工智能武器领域重现。

最后，人工智能的军备竞赛会对技术逻辑和商业逻辑产生破坏。人工智能具有军民两用性质，其发展最初的目的是为了发展经济，增加社会福利。过度的强调军事用途会对人工智能的全球研发体系和产业链造成严重威胁。近期，美国政府对《外国投资审查法案》进行修订，其中重点就是要阻止其他国家对美国人工智能初创企业的并购。法国政府也采取了相应做法提高外国企业对法国人工智能技术、人才的并购门槛。再加上，出口管制和人才交流限制。人工智能技术尚未发展成熟，各种鸿沟已经在各国之间开始构筑，会严重影响正常的技术研发，并且破坏全球化的商业逻辑。

3

治理机制构建刻不容缓

人工智能在军事领域的发展和应用已经成为很多国家的国家战略，相应的治理工作应当在现有的国际安全架构开展。今年9月在日内瓦召开的联合国常规武器公约的讨论中，各方并未就制定禁止人工智能驱动的致命性完全自主武器的条约达成共识。全球约有共26个国家支持全面禁止人工智能武器，而绝大多数国家还在观望。在规则不确定和大国战略竞争的背景下，人工智能在军事领域发展面临的风险和威胁在不断增加。加强人工智能的国际治理工作，降低军备竞赛风险则是当务之急。

经过2014年和2015年的两次非正式会议后，在2016年12月16日关于特定常规武器公约的联合国会议上成立了致命性自主武器系统（LAWS）政府专家组（GGE）。该小组的任务是研究致命性自主武器领域的新兴技术，评估其对国际和平与安全的影响，并为其国际治理提出建议。

人工智能引发的安全问题是专家组的一大重要分歧，技术强国与弱国之间存在截然不同的观点。技术弱国认为应当完全禁止致命性自主武器的开发使用，技术大国则持相反意见，认为开发致命性自主武器可以降低人员损伤，有利于打击恐怖主义和维护国家安全，并且很多系统已经在战场上进入实战。

军事是推动技术进步的重要因素，互联网就是由美国军方所发明，人工智能的技术发展背后也有军事因素的强力推动。但是，人工智能的科技竞赛也非技术之福，特别是致命性自主武器的扩散会造成更为严重的后果。因此，从联合国层面制定相应的规范，并且促成大国之间在发展致命性自主武器上达成一定的军控条约是当务之急。

联合国政府专家组应制定致命性自主武器系统和人工智能军事应用的目标。其中，最重要的一个目标是制定相应的国际法，在国际法不明确的情况下，各国应克制在军事领域使用人工智能武器。联合国政府专家组也应考虑对国际法此前未曾预见的情况追加法律限制，并以道德或伦理为由尽量减少对人和平民的伤害。更进一步的目标包括管理以下情况的操作风险，包括降低使用武力门槛、意外导致不应有的伤害、造成意外的升级螺旋式增长以及产生军备竞赛和扩散。

当然，从联合国角度来达成一项谈判可能需要十年甚至更长的时间，鉴于越来越多的风险，大国之间应当及早就人工智能在军事领域应用可能带来的潜在风险开展对话，及早启动相应的军控进程。短期内促成技术强国在谋求战略优势和国际安全体系稳定之间的妥协。

各国政府在制定人工智能在军事领域的战略时，还应当高度重视人工智能的治理工作。比如，无论是半自主和全自主的武器系统的设计，应允许指挥官和作战人员在使用武力方面作出适当的人为判断。为保证这一要求的实现，需要严格的设计、对设计的测试和评估、操作验证和测试，解决系统错误和故障的安全工程以及避免人为错误的认知工程。

在决定是否使用人工智能武器时，应当制定明确的规范和流程，避免造成不可预测的后果。同时，还应当加强对人工智能武器的安全性，避免安全泄露，或者是随意转让相关技术。无论是无意或者有意地扩散都会增加军备竞赛的风险，威胁国际安全体系。