DARPA的可解释人工智能程序

■机器学习的巨大成功带来了新一波人工智能应用

（例如，交通、安全、医疗、财务、防御）提供了巨大的好处，但无法向人类用户解释其决策和行动。DARPA的可解释人工智能（XAI）计划致力于创建人工智能系统，其学习的模型和决策能够被最终用户理解和适当信任。实现这一目标需要学习更多的可解释模型，设计有效的解释界面，理解有效解释的心理需求。XAI开发团队正在通过创建ML技术和开发用于生成有效解释的原则、策略和人机交互技术来解决前两个挑战。另一个XAI团队正在通过总结、扩展和应用心理学解释理论来解决第三个挑战，以帮助XAI评估人员确定合适的评估框架，开发团队将使用该框架测试其系统。XAI团队于2018年5月完成了该4年计划的第一个项目。在一系列正在进行的评估中，开发团队正在评估他们的XAM系统的解释如何改进用户理解、用户信任和用户任务性能

机器学习（ML）技术的发展使得人工智能系统能够独立感知、学习、决策和行动。然而，他们将无法向人类用户解释他们的决定和行为。这种缺乏对于国防部来说尤为重要，国防部的挑战要求开发更智能、更自主、更共生的系统。如果用户要理解、适当信任和有效管理这些人工智能伙伴，可解释的AI将是必不可少的。为了解决这一问题，DARPA于2017年5月启动了其可解释人工智能（XAI）计划。DARPA将可解释人工智能定义为能够向人类用户解释其基本原理、描述其优缺点并传达对其未来行为的理解的人工智能系统。将该程序命名为可解释人工智能（而不是可解释、可理解或透明人工智能）反映了DARPA的目标，即通过使用有效的解释来创建更多人类可理解的人工智能系统。它还反映了XAI团队对人类解释心理学的兴趣，它利用了社会科学中大量的研究和专业知识。

他们进行某种形式的逻辑推理，并能提供推理步骤的痕迹，成为解释的依据。在使这些系统更易于解释方面做了大量的工作，但它们没有满足用户对理解的需求（例如，简单地总结系统的内部工作并不能产生充分的解释），并且在现实世界的复杂性面前过于脆弱。

最近人工智能的成功很大程度上归功于在其内部表示中构造模型的新的ML技术。其中包括支持向量机、随机森林、概率图形模型、强化学习（RL）和深度学习（DL）神经网络。虽然这些模型表现出高性能，但它们是不透明的。随着其使用的增加，从ML和认知心理学的角度对可解释性的研究也在增加。类似地，最近也举办了许多与XAI相关的研讨会，讨论ML（例如，国际机器学习会议、神经信息处理系统会议）、AI（例如，国际人工智能联合会议），和HCI（如人机交互会议、智能用户界面会议）会议一样，都有与XAI相关的专题会议。ML性能（例如，预测准确性）和可解释性之间似乎存在内在的张力；通常，性能最高的方法（例如，DL）是最不可解释的，而最可解释的方法（例如，决策树）是最不精确的。用各种ML技术的性能可解释性权衡的概念图说明了这一点。（脉轮et公司 。 2017年； Ras公司 et公司 al公司.2018年）（米勒2017年）。

当DARPA制定XAI计划时，它设想了三种广泛的策略来提高可解释性，同时保持高水平的学习绩效，基于当时有前景的研究（2）：深度解释、可解释模型和模型归纳。深度解释是指修改或混合DL技术，可以学习更多可解释的特性或表示，或者包括解释生成工具。（Deep explaining）。（Deep explaining）。（Deep explaining）。（Deep explaining）是指修改或混合DL技术，以了解更多可解释的特性或表示。一些设计选择可能产生更多可解释的表示（例如，训练数据选择、体系结构层、损失函数、正则化、优化技术、训练序列）。研究人员已经使用反褶积网络来可视化卷积网络层，并且已经存在将语义概念与深度网络节点关联的技术。生成图像标题的方法可以扩展到训练第二个深层网络，该网络生成解释而不需要明确识别原始网络的语义特征。

可解释模型是学习更多结构化、可解释或因果模型的ML技术。早期的例子包括贝叶斯规则列表、贝叶斯程序学习、因果关系学习模型以及使用随机语法学习更多可解释结构。（Letham等人.2015年），模型归纳是指使用任何给定的ML模型（如黑盒）进行实验，以推断出近似的可解释模型的技术。例如，模型不可知解释系统通过观察和分析黑箱模型的输入输出行为来推断解释。里韦罗 et公司。 （2016年）

DARPA使用这些策略对新的ML技术组合进行分类，并为未来的从业者提供更广泛的设计选项，涵盖性能可解释性交易空间。

XAI计划的目标是创建一套新的或改进的ML技术，这些技术产生可解释的模型，当与有效的解释技术相结合时，使最终用户能够理解、适当信任和有效管理新一代AI系统。。例如，从大数据分析系统接收建议的情报分析员需要了解为什么它会推荐某些活动进行进一步调查。同样，要求自动驾驶车辆行驶路线的操作员需要了解系统的决策模型，以便在未来的任务中适当地使用该模型。说明了XAI概念：为用户提供解释，使他们能够理解系统的整体优势和劣势，传达对其在未来或不同情况下的行为的理解，并允许用户纠正系统的错误。

这种以用户为中心的概念提出了相关的研究挑战：（1）如何产生更多可解释的模型；（2）如何设计解释界面；（3）如何理解有效解释的心理需求。前两个挑战由11个XAI研究团队解决，他们正在开发新的ML技术来产生可解释的模型，以及新的原则、策略和HCI技术（例如，可视化、语言理解、语言生成）来产生有效的解释。第三个挑战是另一个XAI研究团队的重点，该团队正在总结、扩展和应用心理学解释理论。XAI计划解决两个与操作相关的挑战问题领域（4）数据分析（异构多媒体数据中感兴趣事件的分类）和自治（自治系统的决策策略）。这些领域代表两个重要的ML问题类别（监督学习和RL）和国防部的兴趣（情报分析和自主系统）。数据分析挑战的动机是一个共同的问题：向情报分析师提供来自大数据的决策和建议金融机构古尔分析算法，必须决定在分析中报告哪些作为支持证据，以及进一步研究哪些。这些算法经常产生错误警报，必须对其进行删减，并受到概念漂移的影响。此外，这些算法通常会提出建议，分析师必须对这些建议进行评估，以确定证据是否支持或违背其假设。有效的解释将有助于解决这些问题。

图1  学习绩效与可解释性在几种学习技巧之间的权衡

自主性挑战的动机是需要有效管理AI合作伙伴。例如，国防部寻求半自主系统来增强作战人员的能力。操作员需要了解它们的行为，以便确定在未来任务中如何以及何时最好地使用它们。有效的解释将更好地促成这种决定。

对于这两个挑战问题领域，衡量解释的有效性至关重要。如果一个学习模型的可解释性能够被自动测量是很方便的，那么XAI系统的解释有效性必须根据它的解释如何帮助人类用户来评估。这就需要人在回路心理实验来衡量用户的满意度、心理模型、任务绩效和适当的信任。DARPA制定了初始解释评估框架，其中包括解释有效性的潜在措施（5）。探索和改进此框架是XAI项目研究议程的重要组成部分。

XAI计划的目标、概念、战略、挑战和评估框架在该计划的2016年广泛机构公告中进行了描述。显示XAI程序的计划，该计划由两个阶段组成。第1阶段（18个月）于2017年5月开始，包括XAI系统的初始技术演示。阶段2（30个月）包括针对系统开发人员和XAI评估人员选择的挑战性问题的一系列评估。XAI系统的首次正式评估于2018年秋季进行。本文描述了开发团队在进行这些评估之前所取得的进展，评估结果在2019年冬季的XAI项目会议上展示。­

XAI项目开发与进展

图 7（见后面） 总结了11个XAI技术领域1（TA1）开发团队和TA2团队[来自佛罗里达人机认知研究所（IHMC）]，他们正在开发解释的心理模型。三个TA1团队同时致力于挑战问题领域（自主性和数据分析），三个团队仅致力于前者，五个团队仅致力于后者。根据2中描述的策略，TA1团队正在研究开发可解释模型和解释接口的各种技术。金融机构古尔

XAI的决策基础

IHMC团队（包括MacroCognition和密歇根理工大学的研究人员）的目标是开发和评估心理上合理的解释模型，并开发可操作的概念、方法、度量和解释推理度量。

图2 开发可解释模型的策略

研究解释本身的性质。如果一个人试图解释（1）一个复杂系统的工作原理和（2）为什么它在一个给定的情况下会这样做，那么他会满意吗？为了解决这些问题，团队制定了人类解释推理的自然模型，并就评估XAI系统解释有效性的方法向执行团队提供指导。研究小组查阅了科学哲学和心理学专业的相关文献，从中综合了评价解释“正确性”的标准。该小组还收集和分析一个案例语料库，其中个人创建或接收复杂系统工作的解释。­

该团队开发了解释正确性、用户心理模型（例如正确性、完整性）和用户任务性能的度量。。为了获得这种洞察力，用户必须探索XAI系统的决策过程和性能，特别是对于边界情况，包括深度神经网络（DNN）的欺骗方式。这个在一系列的文章中描述了方法论（霍夫曼 和 克莱因 2017年； 霍夫曼 et公司 。 2017年； 克莱n2018年；霍夫曼et公司 。 2018年）。

图 8 说明了IHMC的XAI解释过程模型，突出了评估解释有效性的度量类别。用户从XAI系统收到一个建议或决定，以及一个可以测试其优劣（相对于预先制定的标准）和用户满意度的解释。该解释有助于用户的人工智能系统的心理模型，它可以测试的准确性和理解力。AI系统的建议和用户的心理模型可能会启用或降低用户任务性能，这也可以测量。这些过程有助于用户正确或不正确地信任AI系统。XAI evaluator使用此模型来测试开发团队的XAI系统。

图3  XAI概念

评估XAI项目的独立政府评估机构是海军研究实验室。对于第1阶段，实验室（在IHMC的帮助下）为TA1团队准备了一个评估框架，用作设计和实施他们的第一阶段评估实验，他们将在数据分析或自主性的挑战问题领域选择一个或多个测试问题；应用他们新的ML技术学习他们问题的可解释模型；评估学习的ML模型的性能（表1）；将学习模型与解释界面相结合，形成可解释的学习系统；使用可解释学习系统进行用户执行指定任务的实验；并采用IHMC的解释过程模型（8）和解释有效性测量类别1）测量解释有效性。

评估将包括以下实验条件：（1）不作说明：XAI系统用于执行任务，不向用户提供说明；（2） 带解释：XAI系统用于执行任务，并为它所做的每个建议或决策以及它所采取的每个操作生成解释；（3） 部分解释：XAI系统用于执行任务，仅生成部分解释或烧蚀解释（用于评估各种解释特征）；和（4）控制：一个基线状态的最先进的非解释性系统用于执行任务。

可解释学习系统

可深入解释的AI

加州大学伯克利分校（UCB）团队（包括波士顿大学、阿姆斯特丹大学和Kitware的研究人员）正在开发一个人工智能系统，该系统通过明确的结构解释提供事后和内省解释，具有预测性行为，允许适当的信任深度可解释人工智能（dexainable AI，DEXAI）的关键挑战是生成模型行为的精确解释，并选择对用户最有用的解释。UCB通过创建隐式或显式解释模型来解决前者：它们可以以可理解的方式隐式呈现复杂的潜在表征，或者构建内在可理解的显式结构。这些DEXAI模型创建了一系列可能的解释操作。因为这些操作是在没有任何用户模型的情况下生成的，所以它们被称为自反。对于第二个挑战，UCB提出了合理的解释，在决定选择哪些解释行为时使用用户信念的模型。UCB也正在开发一个基于这些创新的解释界面，这些创新是由迭代设计原则提供的。（Hu等人，2017）和，（Park等人，2018年）（Ramanishka等人，2017年）（欢get公司 。 2018年）。

UCB正在解决这两个挑战问题领域。对于autonomy，DEXAI将在车辆控制（使用Berkeley Deep Drive数据集和CARLA模拟器）和策略游戏场景（星际争霸II）中演示。对于数据­Kim和Canny2017年）分析、DEXAI将使用视觉问答（VQA）和过滤任务（例如，分别使用VQA任务和活动识别任务的大规模数据集，如VQA-X和ACT-X）、xView和独特的可描述时刻进行演示(亨德里克斯 et公司 。 2018年）。

图4  XAI挑战问题领域

解释学习的因果模型Charles River Analytics（CRA）团队（包括马萨诸塞大学和布朗大学的研究人员）的目标是通过因果模型解释学习（CAMEL）方法，生成和呈现ML操作的因果解释。骆驼解释以交互、直观的界面作为叙述呈现给用户。CAMEL包括一个因果概率编程框架，该框架结合了因果建模的表示和学习方法（使用概率编程语言来描述复杂和丰富的现象。CAMEL可用于描述ML系统的功能、特定数据特征如何影响其结果，­­2015年）（Pfeffer 2016年）以及改变这些因素将如何影响这一结果。生成概率模型，用概率编程语言表示，自然地表达因果关系；它们非常适合于解释ML系统的任务。CAMEL探测ML系统的内部表示，以发现它如何表示用户定义的自然域概念。然后，通过系统地包含或删除领域概念的实验，建立它们对ML系统操作影响的因果模型。CRA已将此方法应用于DNN的分类和RL。一旦学会，它使用因果概率模型来推断系统的预测或行动的解释。因为推论可能是庞大而复杂的，并且可以包含许多交互组件，CAMEL将它们组合成解释性的叙述，引导用户了解主要概念的交互以及它们对ML系统输出的影响。骆驼解释界面，基于认知系统工程设计原理而建立HCI技术，允许用户理解解释性叙述并与之交互，产生对自动化的信任并实现有效的用户系统协作。CRA正在解决这两个挑战问题领域。对于数据分析，CAMEL已通过行人检测（使用INRIA行人数据集）进行了演示（CRA正在进行活动识别任务（使用ActivityNet）。对于自主性，骆驼已经在Atari游戏Amidar上进行了演示，CRA正在星际争霸2上进行演示。Harradon等人，2018年）

图5 评估解释有效性

学习和交流可解释的表征用于分析和自主加州大学洛杉矶分校（UCLA）团队（包括俄勒冈州立大学和密歇根州立大学的研究人员）正在开发可解释模型，该模型结合了代表性范例，包括可解释的DNN、组合图形模型（如and或Graph）。UCLA的系统包括一个对多模态输入数据执行任务的执行者和一个向用户解释其感知、认知推理和决策的解释者。执行者输出空间、时间和因果解析图（STC-PG）中的可解释表示，用于三维场景感知（用于分析）和任务规划（用于自主）。STC PG是合成的、概率的、属性化的、可解释的，并且基于图像和视频中的DNN特征。解释者在对话过程中输出解释性解析图，在STC-PG中定位相关子图，并推断用户的意图。（She和Chai 2017），系统分三个层次进行说明：（1） 概念组合，由描述如何从其组成部分和上下文聚合信息的解析图片段表示，在不确定的情况下，如何在节点上做出决策，以及决策的置信水平；（2） 因果和反事实推理，通过从STC PGs中提取因果图来实现，以预测如果采取了某些替代措施，将会发生什么；（3）效用解释，解释了系统为什么做出某些决策。UCLA正在使用一个通用的表示和推理框架来解决XAI挑战问题领域。对于数据分析，加州大学洛杉矶分校演示了他们的系统使用的场景理解和事件分析摄像机网络。对于自主性，加州大学洛杉矶分校在使用机器人在物理现实虚拟现实平台和自主车辆驾驶游戏中执行任务的场景中演示了它发动机。

图6  XAI计划时间表

深度自适应程序的解释性验收测试俄勒冈州州立大学（OSU）正在开发用于解释执行顺序决策的学习代理的工具，并正在确定设计解释用户界面的最佳原则。OSU的可解释agent模型采用可解释深度自适应程序（XDAP），它将自适应程序、深度RL和可解释性相结合。。对于每个选择点，deep-RL附加一个经过训练的deep-decision神经网络（dNN），它可以产生高性能，但本质上是无法解释的。
在初始xDAP训练之后，xACT训练每个dNN的解释神经网络（7）。它们提供了一组稀疏的解释特征（x特征），用于编码dNN决策逻辑的属性。这种x特征是神经网络，最初不可由人类解释。为了解决这个问题，xACT使领域专家能够将可解释的描述附加到x-features，xDAP程序员能够对环境奖励类型和其他概念进行注释，这些概念在学习过程中作为“注释概念”自动嵌入到DNN中。DNN决策可以通过对相关x特征和标注概念的描述来解释，通过神经网络显著性可视化工具可以进一步理解。OSU正在研究显著性计算对解释顺序决策的效用。OSU的解释用户界面允许用户浏览数以千计的学习代理决策，并获得可视化和自然语言（NL）解释。它的设计是基于信息觅食理论（IFT），它允许用户在任何时候有效地深入到最有用的解释性信息。评估学习决策的理由可以更有效地识别代理决策中的缺陷并提高用户信任。OSU正在解决自治挑战问题领域，并使用定制的实时策略游戏引擎在场景中演示了xACT。试点研究通过描述用户如何导航AI代理游戏并倾向于解释游戏决策，为解释用户界面设计提供了信息（闪避 et公司 。 2018年）。
共同点学习和解释帕洛阿尔托研究中心（PARC）团队（包括卡内基梅隆大学、陆军网络研究所、爱丁堡大学和密歇根大学的研究人员）正在开发一种交互式感知系统，可以解释控制模拟无人机系统的XAI系统的学习能力。

图7  XAI研究团队

XAI系统的解释应该传达它用来做决定的信息，它是否理解事物是如何工作的，以及它的目标。为了解决这个问题，帕洛阿尔托研究中心的公共基础学习和解释（COGLE）及其用户就解释中使用的术语及其含义建立了共同基础。这是由帕洛阿尔托研究中心的内省话语模型实现的，该模型将学习和解释过程交织在一起。在自然环境中执行任务对于自治系统来说是一个挑战，需要经验来创造足够的知识来实现可靠的高性能。COGLE采用K模型对AI代理的特定领域任务知识进行编码。K-models将这些知识组织为元素级别，其中较高（较低）级别对具有较长范围（局部）效果的操作进行建模。它们支持基于能力的框架，为XAI系统的学习和测试提供信息和指导。COGLE的多层结构将其信息处理划分为感知、认知建模和学习。学习层使用容量受限的递归和分层DNN生成无人机系统状态和动作的抽象和合成，以支持对广义模式的理解。它结合所学的抽象来创建与系统所学的策略相匹配的分层、透明的策略。认知层将人类可用的符号表示连接到抽象、合成和广义模式。COGLE的解释界面支持绩效审查、风险评估和培训。第一种方法提供了一张地图，可以追踪无人机系统的任务动作，并将动作或决策（飞行）路径划分为可解释的部分。第二个界面的工具使用户能够检查和评估系统的能力，并对任务性能进行预测。COGLE将在ArduPilot的软件在环模拟器和离散化抽象仿真试验台上演示。它将由无人机操作员和分析员进行评估。基于能力的评估将帮助PARC确定如何最好地开发适当的领域可理解模型。可解释强化学习卡内基梅隆大学正在创建一门新的可解释强化学习学科，使动态的人-机器交互和适应，以实现最大的团队绩效。这项工作有两个目标：开发学习内在可解释RL策略的新方法，以及开发能够解释现有黑箱策略的策略。对于前者，Carnegie Mellon正在开发改进RL代理模型学习的方法，以获取好处基于模型的方法（在内部模型空间中可视化计划的能力），同时集成无模型方法的优点（简单性和更高的最终性能）。这些方法包括在发现相关潜在信息后向世界模型增量添加状态和动作的方法，通过基于复杂模型的最优控制策略的端到端训练学习模型，学习直接集成和利用刚体物理的一般DL模型（B）以及使用递归架构学习可理解的预测状态表示 和科尔特 2017年），（赫夫尼 et公司 。 2018年）。卡内基梅隆大学也在开发方法，可以解释黑匣子RL代理的行动和计划，观察在线或从系统日志。这涉及到回答一些问题，例如，为什么代理选择特定的操作？或者，哪些培训数据最有助于做出这种选择？为了实现这一点，卡内基梅隆开发了从行为日志生成代理NL描述并检测异常值或异常的技术。卡内基梅隆大学还对DL中的传统影响函数方法进行了改进，使其XRL系统能够精确地识别训练集中对政策结果影响最大的部分。Carnegie Mellon正在解决自治挑战问题领域，并已在多个场景中演示了XRL，包括OpenAI健身房、Atari游戏、自动车辆模拟、移动服务机器人以及自我改进的教育软件和游戏。

图8

基于深度注意的解释表征/可解释生成对抗网络SRI国际的团队（包括来自多伦多大学、圭尔夫大学和加利福尼亚大学圣地亚哥分校的研究人员）正在开发一个可解释的多模态数据分析ML框架，该框架可生成显示和讲述解释，其中包含决策的理据，以及用于生成推断的输入数据的可视化。DARE/X-GANS（deep attention based Representation for ExplanationExplainable generative Antigarial networks）系统采用视觉神经科学注意模型启发的DNN结构。作为解释的一部分，它识别、检索并向用户提供证据。注意机制为用户提供了系统探测和协作的手段。

表1  测量类别

DARE/X-GANS使用生成性对抗网络（GANS），通过创建数据来学习理解数据，同时学习具有解释力的表示。通过使用可解释的解码器将无监督的簇映射到基于零件的表示上，可以解释GAN。这涉及到生成视觉证据，给定文本查询，使用文本到零件生成（018），零件是可解释的特征，如人体姿势或边界框。然后使用此证据搜索查询的可视数据。该系统基于从多模态数据输入和知识库查询中提取的视觉概念来解释其答案。给定解释性问题，它提供了理由、决策所用的可视化证据以及系统内部工作的可视化。这个显示和告诉解释界面确保了高度直观的解释，注意模块可以定位用于每个视觉任务的证据。初步研究表明，这样的解释大大提高了用户任务的性能。SRI正在解决数据分析挑战问题领域，并演示了DARE/X-GANs使用图像和视频数据集的VQA和多模态QA任务。可解释的问答系统雷神BBN技术团队（包括乔治亚理工学院的研究人员，麻省理工学院（MIT）和德克萨斯大学奥斯汀分校（University of Texas，Austin）正在开发一个系统，该系统可以回答用户提出的有关多媒体数据的不受限制的NL问题，并提供交互式、可探索性的解释，解释为什么它会得出答案。可解释问答系统（EQUAS）学习可解释的DNN模型，其中内部结构（例如，单个神经元）已与语义概念（例如，轮子和把手）对齐，这允许在决策过程中网络内的神经激活，转换为NL解释（例如，“此对象是自行车，因为它有两个轮子和把手”）。EQUAS还使用神经可视化技术来突出显示与最影响其决策的神经元相关的输入区域。为了表达基于案例的解释，EQUAS保留索引并从支持其选择的训练数据中检索案例。使用对比语言、可视化和示例识别并排除被拒绝的备选方案。四种解释模式映射到论点构建和互动教学法的关键要素：说教陈述、可视化、案例和拒绝替代选择。（周 et公司 。 2015年）。EQUAS解释界面允许用户浏览由这些解释模式填充的解释空间。它支持迭代和引导的协作交互，允许用户深入到每个解释类别的支持证据。雷神BBN正在解决分析挑战问题领域，并展示了图像VQA任务的初始EQUAS功能，探索不同的解释模式如何使用户能够理解和预测底层VQA系统的行为。

 

可处理的概率逻辑模型：德克萨斯大学达拉斯分校（UTD）团队（包括加州大学洛杉矶分校（UCLA）、德克萨斯农工大学（Texas A&M）和印度理工学院（德里）正在开发一种使用可处理概率逻辑模型（TPLMs）的XAI统一方法。TPLMs是一系列表示，包括（例如）决策树、二元决策图、割集网络、句子决策图、一阶算术电路和可处理马尔可夫逻辑（）。UTD系统对TPLMs进行扩展，生成查询结果的解释；处理连续变量、复杂约束和不可见实体；紧凑地表示复杂对象，如解析树、列表和形状；并能够高效地表示和推理时间。对于可伸缩推理，系统使用提升推理、变异推理及其组合等技术，使用新算法来回答复杂的解释查询。为了快速和提高学习精度，它使用判别技术，导出由NNs和支持向量机与TPLMs组成的算法，使用可解释性作为偏差来学习更多可解释模型。然后将这些方法扩展到处理实际情况。­­UTD解释界面显示具有多个相关解释的可解释表示。它的交互式组件允许用户调试模型并提出替代解释。UTD正在解决分析挑战问题领域，并展示了其在多模态数据（视频和文本）中识别人类活动的系统，例如文本注释的烹饪场景数据集。

转变深度学习利用浅层知识的可解释性模型：交互式端到端系统德州农工大学（TAMU）团队（包括来自华盛顿州立大学的研究人员）正在开发一个可解释DL框架，该框架使用模拟学习来利用可解释的浅层模型，并通过可视化和交互促进领域解释。模拟学习弥补了深度模型和浅层模型之间的差距，实现了可解释性。该系统还从原始数据中挖掘信息模式，以提高可解释性和学习性能。系统的可解释学习算法从DNNs中提取知识进行相关解释。它的DL模块通过利用浅层模型的可解释性连接到模式生成模块。学习系统的输出以可视化方式显示给用户，包括协调和集成视图。TAMU系统处理图像（和文本）（Gdata）并应用于XAI analytics challenge problem（XAI分析挑战问题）领域。它提供了对来自不同来源的检测不准确的有效解释，同时保持有竞争力的检测性能。TAMU系统结合了模型级（即模型透明度）和实例级（即实例解释）的可解释性，以生成用户更容易理解的说明。该系统已部署在多个任务上，使用来自Twitter、Facebook、ImageNet、CIFAR-10、在线医疗论坛和新闻网站的数据。杜邦 et公司 。 2018年） ao et公司 。 2017年）

模型解释人罗格斯大学正在扩展贝叶斯教学，通过选择数据实现自动解释最能代表模型推理的子集。罗格斯的方法允许解释任何概率生成和判别模型的推论，以及有影响力的DL模型（7）。罗格斯大学还开发了一种人机合作的形式化理论，并支持复杂成分模型的交互式指导解释。其中一个共同点是从人类学习模型构建可解释性的核心方法，以及精心控制的行为实验来量化可解释性的核心方法。通过贝叶斯教学输入数据集、概率模型和推理方法，并返回最能解释模型推理的示例子集。对不熟悉图像的实验表明，对（和特定）图像类别的推理解释提高了人们对模型推理的准确性。对熟悉图像类别的实验表明，解释允许用户准确校准模型预测的可信度。（Vong等人。2018年）。通过交互式引导解释，可以方便地解释复杂模型。通过利用ML模型的组合性和协作修改，Rutgers提供了一种通过引导探索来促进理解的通用方法。交互通过一个接口发生，该接口公开模型结构并用数据的各个方面解释每个组件。罗格斯方法已被证明有助于理解大型文本语料库，这取决于一个人在简短的引导性解释之后准确总结语料库的能力。

结论和今后的工作

DARPA的XAI项目正在开发和评估各种新的ML技术：学习可解释特性的改进DL技术；学习更多结构化、可解释的因果模型的方法；以及从任何黑箱模型中推断出可解释模型的模型归纳技术。XAI项目实施一年后，最初的技术演示和结果表明，这三种广泛的策略值得进一步研究，并将为未来的开发人员提供涵盖性能和可解释性交易空间的设计选项。开发团队的XAI系统正在被评估，以评估他们所提供的解释的价值，在这个交易空间中定位特定技术的贡献。       

审核编辑 ：李倩