人机混合智能的视角：军事人工智能的沿革与发展

摘要：

随着技术的快速发展，战争的形态也在不断变化，军事智能化的议题越来越重要。人类智能与机器智能的有效协同在战争中会扮演越来越重要的角色。本文梳理了美军发展演进的作战概念后，结合当前人工智能的特点和不足进行了深入探讨，指出了当前人工智能在底层理论支撑上存在的局限性。最后，针对军事智能中有人—无人协同的问题进行了深入思考和分析，以期找到未来军事智能发展的真正趋势和端倪。

军事智能化将在战场上发挥越来越重要的作用。不仅要求对战争和军事拥有足够认识，同时需要提升对智能的认识，深刻理解智能在军事应用中的优势和局限性，进而在军事方面实现人和人工智能的有效协作。这涉及到众多领域的探索研究和协调配合，是一个重要的人-机-环境系统工程。

1 美作战概念与军事智能发展态势

从上世纪80年代以来，美国国防部、陆军、海军、空军等单位陆续提出了一系列作战概念。例如从20世纪80-90年代的“空地一体战”，“非对称作战”，“有人/无人协同作战”，“网络中心站”等，到21世纪00年代的“认知电子站”“电磁频谱站”等，再到21世纪10年代的“全球一体化作战”“多域战”“马赛克站”等作战概念。

在军事领域中，机械化主要通过增强武器的机动力、火力和防护力提升单件武器的战斗力，以武器代际更新和扩大数量规模的方式提升整体战斗力［1］。信息化主要是通过构建信息化作战体系，以信息流驱动物质流和能量流，实现信息赋能、网络聚能、体系增能，以软件版本升级和系统涌现的方式提升整体战斗力。智能化则是在高度信息化基础上，通过人工智能赋予作战体系“学习”和“思考”能力，以快速迭代进化的方式提升整体战斗力。

从美作战概念的演化中，可以看出作战的机械化早已成熟，信息化程度越来越高，智能化也在不断推进。不仅覆盖的范围越来越广，对多域范围内的统一沟通协作要求也越来越高。智能化的重要前提是信息化，依托的物质基础主要是高度信息化以后提供的海量数据资源。随着近几十年美国相关作战概念的提出与普及，其智能化的基础也越来越坚实，同时人工智能的技术也在社会各方面的重视中飞速发展。

另一方面，美国在引导国家在人工智能发展方面发布了一系列战略规划书的同时，积极引导军事领域与人工智能进行深度融合，发展军事智能。例如，2016年10月，美国国家科技委员会连续发布了《为人工智能的未来做好准备》和《国家人工智能研究与发展战略规划》，战略文件。2017年初，美国公布的《2016—2045年新兴科技趋势报告》以明确了最值得关注的科技技术，其中就包括云计算、人工智能、量子计算等。

综上所述，我们可以看出，美国作为人工智能和军事方面的强国，对人工智能的未来发展以及与军事的融合充满了信心，并且努力想要维护自身的领先地位。在了解其军事智能发展态势之后，我们更清晰的看到军事智能发展的重要性。

2 人工智能分析与思考

无论是“军事智能”还是其它智能，我们首先需要对“智能”和“人工智能”有深刻的认识。“智能”概念中暗含着个体、有限对整体、对无限的关系。针对智能时代的到来，有人提出，“需要从完全不同的角度来考虑和认识自古以来就存在的行为时空原则”，如传统的人、物、环境关系等。

2.1 “模型”的有效性决定智能水平

世界是多元而复杂的，这其中包括了对象的多样和复杂，以及不同对象之间关系的多样与复杂。智能，可以对或多或少的这些对象和关系产生认识和建模。对于同样的对象或现象，不同的人可以对其建立起不同的模型，同一个人也可以对其建立不同的模型。例如在地球上认识到的“昼夜”和“春夏秋冬”，而在太阳系中去观察其实是“公转”“自转”等运动学规律。很多时候不同的视角，也就是用不同的模型去进行解释的行为。军事环境下，由于关乎生命和国家安全，我们对这些智能模型的可靠性和可解释性要求比起民用领域显然更高。

在人类的认识中，会出现“悖论”或者“矛盾”这样的现象。其中“悖论”的一个特征是会对模型赋予导致无解的约束，并且约束往往是简单的。对同一个事情的不同解释出现“矛盾”则是由这些解释模型的多样性和差异性所产生的。前面我们讨论到人类智能在环境中必然存在局限性，而这些必然的局限性导致了所产生的模型也总是存在着或多或少的局限性，一定具有边界并且通常不是必然有效的。所以会出现面对同样的问题，各种具有不同边界和效果的“模型”相互竞争的情况，这种竞争既出现在个体中，也出现在群体中。在个体中，往往体现为“纠结”“沉思”“艰难的选择”等等。在群体中，小范围内可能是“辩论”，大范围可能是不同理论或者共识的竞争与传播。

机器学习中也有集成学习的思想，方法是把多个估计器的预测结果结合起来，从而获得比单个估计器更好的泛化能力/鲁棒性。但是机器学习中集成的多个估计器往往是同样或类似的结构或模型，如果是模型本身不利于去表示这些数据的信息，那么再之后也没办法通过集成的方式进一步提高了。并且数据往往是给定的，问题也是封闭的，即没有其它的额外信息可以给予启发，是“身在此山中”而无法“识得庐山真面目”的状态。这不同于人类认识事物的过程。人类对事物的认识追求的是最终“识得庐山真面目”，所以总会去寻找某个模型可以在某方面绝对正确的解释现象，我们姑且可以称之为“真理”。

从历史来看，人类不仅有这个动力去寻找这样的模型，而且竟然还真的有能力寻找到一些，虽然过程中也付出了巨大的代价，但最终借此形成了当前整个发达的科学体系。人类所做到的这些事情真的令人惊奇而赞叹。在这个过程中，数学发挥了巨大的作用。但数学本身也是人类认识世界的模型之一，它在帮助人们认识世界和产生对世界的认知的各种模型的同时，人们也在不断发展和完善数学这个系统化的模型本身。

2.2 智能水平提升的动力：挑战复杂性

时下的人工智能系统还远远不能达到人们的期望，因为大部分人没有感觉到人工智能在生活中对他们有太多帮助。而另一方面，在很多具体领域的从业者却可以清晰的感知到人工智能技术进步带来的很多激动人心的成果。例如，利用AI算法实现的高质量实时翻译，工业缺陷或者异常检测，图像根据文字指示生成高质量图像，智能安防，辅助驾驶等等。所以，总得来说，人工智能还没有像历史中的几次工业革命那样普遍性的改变我们生活的方方面面，但在很多领域又已经表现了相当强大的能力和潜力。这反映的是当下人工智能系统的通用性的不足，即当下的人工系统无法用于帮助乃至辅助绝大多数人去解决各式各样的问题。

人工智能这个概念提出以来，一直都面临着通用性不足的问题，可是为什么迟迟没能解决呢？

一个原因可能是从前低估了“智能”的复杂性。实际上“复杂”这个词语从文字上就很好了体现了形成复杂性的两个根本成因：“复”和“杂”。其中“复”代表着大量同质事物运行的问题，“杂”代表的是大量不同质事物的处理问题。由此，高效和大量的计算应对“复”，而算计用于处理“杂”。当下我们所创造的人工智能可以说对“复”问题的解决能力远高于对“杂”问题的处理能力，所以智能系统算计能力的不足可能是导致通用性难以实现的一个重要原因。

另外，是否构成人工智能的底层原理中存在根本性的缺失或者缺陷呢？实际上，当前构造人工智能的基础是当代数学和一些诸如反向传播的算法。虽然凝结了数学家，神经科学家，认知科学家，心理学家，计算机等领域的学者的共同努力，但我们认为这还远远没有形成真正站得住脚的关于智能的整体理论和大逻辑体系。

2.3 未来人工智能设想

1）兼顾事实与价值

从数论到图论再到集合论，从算数到微积分到范畴论的数学体系无一不是建立在公理基础上的数理逻辑体系。数学发展的过程是从具象走向越来越抽象的过程，同时推理过程又始终要求符合严密的逻辑。结合这样的数学基础以及多种算法所形成的人工智能系统，与从自然中演化而形成的智能体在运行机制上似乎有根本性的区别。我们认为，从性质上讲，真正的智能逻辑体系应当既能包括数理逻辑和演绎推理，也能包括辩证逻辑和类比推理。

真实智能从不是单纯脑的产物（如狼孩），而是人、物（机器是人造物）、环境相互作用的产物，如一个设计者规划出的智能系统还需要制造者认真理解后的加工实现，更需要使用者因地制宜、有的放矢地灵活应用等等，所以一个好的人机融合智能涉及三者之间的有效对立统一，既有客观事实（状）态的计算，也有主观价值（趋）势的算计，是一种人、物、环境的深度态势感知系统。而当前的人工智能无论是基于浅层次学习方法的还是基于深度学习，在运行时依然是相当静态的计算，而缺乏就像人类的算计的动态结合与嵌入，进而就远离了智能的真实与灵变。

2）兼备理性与感性

如果拿理性思维与人文艺术作对比，就会发现自然科学及数学等理性工具是每个人都能够学会的普遍化工具，本质上是一种主体悬置的态势感知体系，而最能真正欣赏到人文艺术作品的往往是作者本人或者与作者有相似体悟的人，这常常是一种主体高度参与的态势感知体系。

毫无疑问，自然科学及数学等理性工具这类主体悬置的态势感知体系非常重要，没有这些我们人类就难以可靠描述世界运作中的很多机制。但这是就结果而论的，实际上我们认为智能体要获得更高智能性的一个关键是主体有动力参与环境和与环境有意识的交互，如此智能体才能涌现出那些真正能被其灵活使用的知识。

纵观人类智能整个诞生的历史也可以发现，从自然中演化出人类智能的过程，实际上是先具备主体参与和与环境互动的能力，然后逐渐才产生抽象的对符号的认识，然后产生文化，最后才产生出自然科学及数学等这些理性工具。如果用“计算”和“算计”分别来粗略的表示自然科学及数学等理性思考模型和主体高度参与的态势感知模型，那么算计就可以说是人类带有动因的理性与感性混合，也是已有逻辑形式与未知逻辑形式的融合筹划。

3）灵活处理意外情况

人类智能本身是在自然环境中演化而来，这注定了人类在环境中具有的局限性，所以必然会有面临处理“意外”事件的情况。这里说“意外”不是侧重于外部环境的变化性，而是想揭示智能在复杂的环境下生存时具有必然的局限性，从而对智能体而言的“意外”事件必然普遍存在，无法被根本被解决的情况。

人往往能根据更依靠记忆的“经验预测”或更依靠推理的“模型预测”去处理生活中的各种事件。当出现“意外”，也意味着与自身经验或者所认知的模型均不吻合。这些意外的处理情况可以分为两种，一种可以等待进一步丰富或修正经验和调整模型（也就是学习）来将“意外事件”变成能认知并有效处理的事件之后再处理，一种是当下没办法学习而必须立即处理这个“意外”。对于后一种情况，人类往往可以通过被描述为“直觉”、“想象”等的过程比较有效的解决，这个过程往往让人惊叹。

对于现有的人工智能系统而言，要实现类似于人的前一种“意外”处理过程，需要重新调整计算机的算法以及得到的模型，是一个复杂和耗费时间的过程：研究，评估，再重新部署运行。至于后一种处理过程，人工智能暂且做不到。

“战场”这类高动态变化的场景，本身就存在诸多“意外”，鉴于上述对人和人工智能的讨论，可以看到当前的“人工智能”很难在战场环境下提供灵活且有效的决策，需要人与人工智能发挥各自优势，进行有效的协作。

3 军事智能化

战争的形式随着时代发展也在不断发展，从冷兵器战争到热兵器战争、机械化战争、信息化战争。而现在，随着半导体技术、计算机技术和人工智能等技术的快速发展，智能在战争中可能会扮演越来越重要的角色，军事智能化也成为一个越来越重要的议题。可以预见的是，随着军事智能化的不断深入以及智能化装备的大量使用，战争形态不仅将会从技术上产生巨大的变化，作战制胜的机理与传统作战也会产生不同程度的差异。因此，在继续进行智能化武器研究的同时，也要提高对军事智能化系统的认识。在军事智能化的问题中，我们认为以下一些问题特别值得关注。

3.1 自主系统

在军事智能化的研究中，一个重要的方向是自主系统的研究。按照期望，自主系统应当可以应对非程序化的或者非预设的态势任务，并且这样的系统是具有一定的自我管理和自我引导能力的系统。对比于自动化设备与系统，自主性设备和自主系统能够应对更加多样化的环境，并且能够完成更广泛的操作和控制，具有更加广阔的应用潜力。一般而言，自主化需要应用传感器和复杂的软件系统，使得设备或系统在较长时间内不需要与其它具备自主性的系统通信或只需有限通信，从而实现无需其他外部控制就能够独立完成任务。也因为这样，自主系统能够在未知环境中自动进行系统调节，保持性能优良。如果把自主化看作是自动化的外延，那么自主化就是智能化和更高能力的自动化。从另外一个角度，“自主”是基于信息甚至是基于知识驱动的。在执行任务的状态中，自主系统可以根据任务需求，自主完成“感知—判断—决策—行动”的动态过程。

自主武器系统方面，美国走在世界的前列。二战期间开发的空投被动声自导鱼雷是其第一个大规模生产的具有自主作战功能的武器系统。Mk24“Fido”于1943年5月首次亮相作战。其使用鱼雷中部周围排列的传感器对盟军跨大西洋航运的德国U型潜艇进行监听、定位、跟踪和瞄准攻击。战后不久，美国军方开始在更大的武器系统中引入自主功能，特别是防空作战系统。随着计算机技术的发展，计算单元的体积越来越小，性能越来越强。使得在诸多装备加入控制系统成为可能，飞机、舰艇、地面作战车辆以及火炮和导弹火力控制系统中的各种类型的作战控制系统在整个部队中大量出现。与交战有关的弹药和武器系统获得了更大的自主性，包括但不限于：获取、跟踪和识别潜在目标；向操作人员提示潜在目标；确定选定目标的优先次序；何时开火；或者提供终端引导，以锁定选定的目标［2］。如果从1943年开始计算，那么美国军方已经对具有自主功能的武器系统进行了长达八十年的整合。

3.2 人机融合智能

人机融合是探究人与机器系统之间的交互机制和规律，以人与机器系统（包括人与机器、人与环境）的有效协同为目标的理论和技术统称。人机融合可能会造成人脑对机器的表征的变化。例如有科学家们已经开始研究额外的机器手指对大脑神经系统的影响［3］。为健全人佩戴了额外的机器第六手指且经过训练后，机器的第六指在认知负荷增加的情况下依然能够很好的与人体的五根手指协作。这证明了人脑不仅能够通过人机融合的方式来控制外部设备，而且能够在多任务处理等的苛刻条件下进行应对和适应。

美国提出的多域战、马赛克战等模式，实际上都是人机环境系统工程。这些战争模式要发挥出其巨大的应用潜力，破解人机融合的有效机制至关重要。所以，人机融合智能机制、机理的破解将成为未来战争致胜的关键。下面介绍一下我们总结的人机融合智能的一些核心问题：

1）功能力分配

任何分工都会受规模和范围限制，人机融合智能中一个重要的问题是功能和能力的分配。功能分配是分工的一部分，另外一部分是能力分配。功能分配是被动的，外部需求所致；能力分配是主动的，内部驱动所生。在复杂、异质、非结构、非线性数据/信息/知识中，人的或者是类人的方向性预处理很重要，当初步缩小问题域的范围后，机器有界、快速、准确的优势便可以发挥出来了；另外，当获得大量数据/信息/知识后，机器也可以先把他们初步映射到几个领域，然后人再进一步处理分析。这两个过程的同化顺应、交叉平衡大致就是人机有机融合的过程。

2）事实与价值的混合

人机融合智能的核心问题为：是不是+该不该+好不好的混杂组合问题。其中“是不是”属于客观事实性逻辑计算问题，“该不该”属于主观价值性判定算计问题，“好不好”属于主客观混合性决策计算计问题。当前大家做人机混合智能大都处在做“是不是”（0、1）的逻辑可计算部分，对于主观价值的可判定性及两者的混合“计算-算计”还未有解决的好办法［4］。

3）对环境的深度态势感知

除了要关心功能力的分配，事实与价值混合的实现方式，还要注意到这些也都是与环境有关的，需要人机混合智能对环境有深度的态势感知。“态”“势”涉及客观事实性的数据及信息/知识中的客观部分（如突显性、时、空参数等），简单称之为事实链。而“感”“知”涉及主观价值性的参数部分（如期望、努力程度等），可以称之为价值链。深度态势感知就是由事实链与价值链交织纠缠在一起的“双螺旋”结构，进而能够实现有效的判断和准确的决策功能。好的态势感知能力就是在混乱中看到秩序、在不可能中看到可能、在黑暗中看到光明……所以，目前智能军事领域的一个核心瓶颈还是人机融合智能中的深度态势感知问题。

3.3 面临的挑战

军事智能就像战争一样，是一团迷雾，存在着大量的不确定性，是不可预知、不可预测的。从当前人工智能的发展趋势来看，可预见的未来战争中，存在着许多人机融合隐患仍未能解决，具体有：

1）在复杂的信息环境中，人类和机器在特定的时间内吸收、消化和运用有限的信息，对人而言，人的压力越大，误解的信息越多，也就越容易导致困惑、迷茫和意外。对机器而言，跨领域非结构化数据的学习理解预测是非常困难的。

2）战争中决策所需要的信息在时间和空间上的广泛分布，决定了一些关键信息仍然很难获取。而且机器采集到的重要的客观物理性数据与人类获得的主观加工后的信息和知识很难协调融合。

3）未来的战争中，存在着大量的非线性特征和出乎意料的多变性，常常会导致作战过程和结果诸多不可预见性，基于公理的形式化逻辑推理已远远不能满足复杂多变战况决策的需求。鉴于核武器的不断蔓延和扩散，国家无论大小，国与国之间的未来战争成本将会越来越高。无论人工智能怎么发展，未来是属于人类的，应该由人类共同定义未来战争的游戏规则并决定人工智能的命运，而不是由人工智能决定人类的命运，究其因，人工智能是逻辑的，而未来战争不仅仅是逻辑的，还存在着大量的非逻辑因素。

4）各国对自主装备分类不同，对强人工智能或通用人工智能相关武器概念的定义和理解差距很大，有关人工智能应用基本概念和定义如何达成共识？如：a》什么是AI？；b》什么是自主？；c》自动化与智能化区别是？；d》机器计算与人算计的区别是？；e》人机功能/能力分配的边界是？；f》数据、AI与风险责任的关系如何？；g》可计算性与可判定性区别？

5）有关军事智能相关概念的定义需要进一步细化。如从人类安全角度看，禁止“人在回路外”的自主武器是符合普遍价值且减少失控风险必要之举，但是什么样的人在系统回路中往往就被忽略，一些不负责任的人在系统中可能会使得情况更糟糕。

对于世界上自主技术的发展情况，建议设立联合评估小组，定期对自主技术发展情况进行细致的评估与预警，对技术发展关口进行把关，对技术发展进行预测分析，对进行敏感技术开发的重点机构和研发人员进行定向监督，设立一定程度的学术开放要求。

6）AI军用化发展所面临的安全风险和挑战主要有：a》人工智能和自主系统可能会导致事态意外升级和危机不稳定；b》人工智能和自主系统将会降低对手之间的战略稳定性（如中美、美俄之间战略关系将更加紧张）；c》人和自主系统的不同组合（包括人判断+人决策、人判断+机决策、机判断+人决策、机判断+机决策）会影响双方的态势升级；d》机器理解人发出的威慑信号（尤其是降级信号）较差；e》 自主系统无意攻击友军或平民的事故将引起更多质疑；f》 人工智能和自主系统可能会导致军备竞赛的不稳定性；g》 自主系统的扩散可能引发人们认真寻找对策，这些对策将加剧不确定性，且各国将担忧安全问题。

4 总结与展望

军事智能化的核心，实际上是要建立人-人工智能组成的一个人机融合团队系统。所以当前我们要面对的前沿问题是在以下四个情况的基础上加以考虑的：

1）当前人工智能被证明在复杂的真实世界环境（如军事行动）中的成功表现面临许多挑战，包括脆性、感知限制、隐藏的偏见以及缺乏对理解和预测未来事件至关重要的因果关系模型。

2）人们在作为复杂自动化（包括人工智能系统）的成功监控者方面面临巨大挑战。人们可能会对系统正在做的事情缺乏了解，在尝试与人工智能系统交互时工作负载高，在需要干预时态势感知（SA）和性能不足，基于系统输入的决策偏差，以及手工技能的退化［5］。

3）虽然假设人类-人工智能团队将比人类或人工智能系统单独运行更有效，但除非人类能够理解和预测人工智能系统的行为、与人工智能系统建立适当的信任关系、根据人工智能系统的输入做出准确的决策、以及时和适当的方式对系统施加控制，否则情况不会如此。

4）支持人类和人工智能系统成为队友依赖于一个精心设计的系统，该系统需要具有任务工作和团队合作的能力。从而通过改进团队组合、目标一致、沟通、协调、社会智能和开发新的人工智能语言来研究提高长期、分布式和敏捷的人工智能团队的团队效率。

具体到各方面，所面临的前沿问题主要有：

1）态势感知：人工智能系统辅助下人类态势感知需要被改善，需要一些方法去考虑不同类型的应用、操作的时间尺度以及与基于机器学习（ML）的人工智能系统相关的不断变化的能力。

需要探索和研究的一些问题：a）人工智能系统需要在多大程度上既有自我意识又有对人类队友的意识，以提高整体团队表现？；b）未来的人工智能系统如何拥有综合的情境模型，以恰当地理解当前的情境，并为决策制定预测未来的情境？；c）如何建立动态任务环境的人工智能模型，从而与人类一起调整或消除目标冲突，并同步情景模型、决策、功能分配、任务优先级和计划，以实现协调和批准的行动？

2）人工智能的透明度和可解释性：实时透明对于支持人工智能系统的理解和可预测性是至关重要的，并且已经被发现可以显著地补偿回路外的性能缺陷［6］。需要探索和研究的一些问题：a）更好地定义信息需求和方法，以实现基于ML的AI系统的透明性，以及定义何时应该提供这样的信息，以满足SA需求，而不会使人过载。；b）基于机器学习的人工智能系统的解释的改进可视化。；c）对机器人物角色的价值的研究。；d）人工智能可解释性和信任之间的关系。；e）开发有效的机制来使解释适应接受者的需求、先验知识和假设以及认知和情绪状态。；f）确定对人类推理的解释是否同样可以改善人工智能系统和人-人工智能团队的表现。

3）人-人工智能团队交互：人-人工智能团队中的交互机制和策略对团队效率至关重要［7］。

需要探索和研究的一些问题：a）如何随着时间的推移支持跨职能灵活分配自动化级别，以及如何改进以支持人类和人工智能系统在共享功能方面的合作，支持人类操作员在多个自动化级别下与人工智能系统一起工作？；b）如何在高自动化级别下与人工智能系统一起工作时保持或恢复态势感知（即人在环）？；c）如何随着时间的推移，实现人-人工智能团队之间的动态功能分配，以及寻找动态过渡的最佳方法（何时发生，谁应该激活它们，以及它们应该如何发生）？；d）如何更好地理解和预测紧急人机交互？；e）如何更好地理解交互设计决策对技能保留、培训要求、工作满意度和整体人机团队弹性的影响？

4）信任：对人工智能的信任被认为是使用人工智能系统的一个基本因素。需要探索和研究的一些问题：a）人工智能可指导性对信任关系的影响；b）如何建立动态的信任模型，来捕捉信任如何在各种人-人工智能团队环境中演变和影响绩效？

5）偏见：人工智能系统中的潜在偏差，通常是隐藏的，可以通过算法的开发以及训练集中的系统偏差等因素引入。此外，人类可能会遭受几个众所周知的决策偏差。特别重要的是，人工智能系统的准确性会直接影响人类的决策，从而产生人类-人工智能团队偏见［8］。因此，人类不能被视为人工智能建议的独立裁决者。需要探索和研究的一些问题：a）如何理解人类和人工智能决策偏差之间的相互依赖性，这些偏差如何随着时间的推移而演变？；b）如是使用基于机器学习的人工智能检测和预防偏差？；c）如何发现和防止可能试图利用这些偏见的潜在敌对攻击？

6）培养：需要对人-人工智能团队进行培训，以开发有效执行所需的适当团队结构和技能需要探索和研究的一些问题：a）什么时候，为什么以及如何最好地训练人类-人工智能团队？；b）现有的训练方法是否可以适用于人类-人工智能团队？；c）如何通过训练来更好地校准人类对人工智能队友的期望，并培养适当的信任水平？

7）人-系统集成（human-systems integration，HSI）流程和措施：要成功开发一个能像好队友一样工作的人工智能系统，需要人-系统集成过程和方法的进步。良好的HSI实践将是新人工智能系统的设计、开发和测试的关键，特别是基于敏捷或DevOps实践的系统开发［9］。需要探索和研究的一些问题：a）如何建立有效的人工智能团队以及多学科人工智能开发团队（包括人类因素工程师、社会技术研究人员、系统工程师和计算机科学家等）？；b）人工智能生命周期测试和可审计性以及人工智能网络漏洞的新团队、方法和工具。；c）如何开发用于测试和验证进化的AI系统，以检测AI系统盲点和边缘情况，并考虑脆性？；d）如何改进人机合作的度量标准（特别是关于信任、心智模型和解释质量的问题）？