通过不同的方法，试图打开人工智能「黑匣子」

从「2001: A Space Odyssey」（2001：太空漫游）中的 HAL9000，到「The Hitchhiker’s Guide to the Galaxy」中的 Eddie，科幻小说中到处都是智能电脑的例子。这些虚拟机器的一个共同点是容易出错，对故事中的人物造成伤害。HAL 谋杀了木星登陆计划中的三个宇航员。Eddie 沉迷于琐事，使它控制的航天器面临毁灭的危险。这两个例子，都是本想构建一个有用的事物，结果创造出了一个怪物。

成功的科幻小说必然会给人们带来真正的希望和恐惧。在 20 世纪 60 年代和 70 年代，人们梦想 HAL 和 Eddie 时，创造人工智能（ AI ）这一尝试陷入了困境，所以希望和恐惧都是假设出来的。但后来变了。深度学习技术使用被称为神经网络的特殊计算机程序，通过大量的数据寻找和记忆模式。因为更聪明而被广泛地传播。从语音转文字到检测早期的失明迹象都已应用这一技术。如今，通过 AI 可以在工厂中进行质量控制，并在数据中心的冷却系统中发挥作用。政府希望用它来识别***的宣传网站并将其从网络上移除。在自动驾驶汽车的开发中，它也是重要的部分。在全球最有价值的十大公司中，有七家表示他们计划将深度学习型人工智能作为其业务的核心。

真正的人工智能远不如通常小说中那样先进。它明显缺乏科幻事物的明显意识动机。但它确实使希望和恐惧发生在今天，而不是一个不确定的未来。许多人担心即使是今天的「AI-lite」也可能会变身成怪物。不再服从指令的设备并不可怕，可怕的是按照自己的方式（至少试图这么做），而不是被告知的方式来行事，而它们的方式往往还令人难以理解。

造成这种恐惧的原因是，深度学习程序通过重新安排数字内部的数据以响应他们处理数据中的模式进行学习。具体来说，它们通过改变自己内部设计得和神经元一样效果的计算机代码之间的联系，模仿神经学家认为的真正大脑运行的方式。这意味着一旦网络被训练，即使是神经网络的设计者也不知道它是如何做到的。允许这些系统运行关键设施或作出医疗决定意味着将人们的生命寄托在一个人们无法真正了解的设备上。

但是，如果 AI 系统可以以某种方式解释它们所做的事情及其原因，就会增加彼此的信任，这些系统也会变得更有用。如果事情出现问题，AI 系统可以对其行为作出解释，使之后的调查变得更容易。即使它们出了问题，HAL 和 Eddie 都能够解释它们的行为。事实上，这是它们故事情节的关键部分。更简单地说，这种自我解释的力量是软件工程师想在真正 AI 中效仿的东西。

通过不同的方法，试图打开人工智能「黑匣子」

试图打开人工智能「黑匣子」的第一批正式研究项目之一是由美国国防部高级研究计划局（DARPA）组织的可解释人工智能（Explainable AI ：XAI）项目，许多美国的军事研究都由该组织负责。特别是美国的军队希望用 AI 来帮助侦查。XAI 的负责人 Dave Gunning 注意到，通过间谍飞机或卫星从高处监控像朝鲜这样的地方会产生大量的数据。如果这样的 AI 技术可以解释其决策，那么它也是有价值的，这样被警告的人就能发现不可避免的误报。Gunning 说，美国间谍机构 NSA 的分析师已经招架不住老式模式识别软件的建议，被迫去检查某些特定的信息。随着人工智能洪流的扩大，计算机程序应该解释它们为什么要唤起操作人员的注意，这比以往更加重要。

NSA 对此回应说这是个秘密，这也在情理之中。但民间计划也试图让神经网络可以通过以人类可理解的方式传达自己的内部状态来解释自己。例如，加利福尼亚大学伯克利分校的 Trevor Darrell 的人工智能研究小组，正在研究可以识别照片中不同种类的鸟类的软件。它不仅仅是在识别，拿北美鸊鷉（Western Grebe）来说，这个软件解释了正在讨论的图片是北美鸊鷉的原因，因为它里面的鸟有长长的白色脖子，尖尖的黄色喙和红色的眼睛。该程序借助第二个神经网络来实现，此神经网络被训练为利用人们写下的句子通过匹配系统的内部特征来进行识别（即其「神经元」之间的连接模式），描述从检查图片中看到的东西。因此，当一个 AI 系统学习对鸟类进行分类时，另一个系统也在学习对第一个系统的行为进行分类，来解释该系统是如何作出此决定的。

由佐治亚理工学院的 Mark Riedl 领导的一个团队采用了类似的技术来鼓励玩游戏的 AI 来解释其动作。该团队要求人们讲述他们玩街机游戏「Frogger」的经历。然后他们训练了一个 AI 系统将这些叙述与第二个系统的内部特征相匹配。最后通过人类语言片段描述了第二个系统玩游戏的方式。

这种打开人工智能黑匣子的方式发展到了一定程度。但人们并不需要，因为它们本质上是对人类的解释。因为人们可以理解鸟类图片和电子游戏的复杂性，并把它们转化为文字，所以，可以复制人类模式的机器也是如此。但是，人们很难分析和描述大型数据中心的能量供应或某人的健康状况，人工智能在这些任务中已经超越了人们，所以人类的解释不能用作模型。

幸运的是，还可以通过检查和理解 AI 输出结果的方式。例如，匹兹堡卡内基梅隆大学的计算机科学家 Anupam Datta 并不打算与 Darrell 博士和 Riedl 博士采取一样的方式，试图直接窥视黑盒子的内部，而是选择绕道而行，通过对训练系统的输出进行「压力测试」，例如，对求职者的评估。

Datta 博士给测试系统提供一系列输入数据，并检查其输出是否存在不正确的、有害的或不公平的结果。他举了一个通过自动化系统招聘新员工的搬迁公司的例子。该系统输入候选人的年龄、性别、举重能力、婚姻状况和受教育程度（如申请中所述），最终显示为候选人成为优秀员工的得分。

显然，其中的一个信息——能够举起重物——既与要求相符又可能利于男性候选人。因此，这种情况下，为了测试系统是否对女性存在偏见，Datta 博士的程序将从女性中随机选择的应用程序变为更像从男性获得的，另外，又从男女申请人中随机交换了女申请人的举重能力。如果性别的随机化不会使 AI 提供工作的女性人数变化，而举重能力随机化会（因为有些女性现在似乎具有「男性」举重能力），那很明显，招聘只受举重能力的影响，而不受申请人性别的影响。

Datta 博士的方法并没有涉及到系统如何以及为什么做出决定的核心，但像压力测试飞机一样，它有助于阻止不良结果，使制作和操作 AI 的人确保他们对正确的输入作出决策，而不是有害的虚假的决策。还有一些窥视机器思想的方法。例如，一些工程师正在转向诸如人类用来理解自己想法认知心理学之类的技术。他们认为，人工神经网络可以像大脑一样运作，因此使用人类心理学工具来调查它们是有意义的。

此方法的一个例子是 Google 的母公司 Alphabet 旗下的一家伦敦的 AI 公司 DeepMind 进行的研究。这个项目对公司设计的一款图像匹配软件的行为产生了有趣的见解。由 David Barrett 领导的一组 DeepMind 的工程师展示了三幅图像的软件集，每个软件集中的第一个是某种形状和颜色的「探测」图像，另外两个，一个与形状匹配，一个与颜色匹配。通过测量系统选择形状匹配而不是颜色匹配的频率，Barrett 博士和他的团队能够推断出 DeepMind 的图像匹配器等同于图像之于人类，即根据形状而不是颜色来推断。在世界部署时通过这种方式阐释特定 AI 如何作出决策的通用原则可能会有用。它也可能帮助事故调查人员，对发生事故的原因作出最佳解释。

那些倾向于试图打开人工智能「思想」的人们现在有很多方法。然而，有些人认为这些方法是错误的。他们发现 AI 最难做的决定通常很复杂，因此也可能是最有用的。对玩视频游戏和对鸟命名这些任务价值有限。平衡电网或管理城市交通流量所做出的决策很难解释，特别是其中许多决策超出了人类处理能力的水平。蒙特利尔大学的计算机科学家 Yoshua Bengio 称这种处理为人工直觉（artificial intuition）。

Bengio 博士说，这种人工直觉曾在深度学习最公开的演示中展示出来。这是 2016 年举行的一场 AI 系统和世界上最优秀的人类运动员 Lee Sedol 的比赛。在这里讨论的 AlphaGo 是由 DeepMind 公司进行训练的。它有时会做出人类专家无法解释的意外举动，起初这些举动似乎是错的，但随后 AlphaGo 选了令人惊讶的位置来掌控剩下的比赛。

有趣的是，这些动作有时也是由人类的主人制造的。他们在日语中被称作 kami no itte（「上帝的手」或「神的举动」）。顾名思义，像被神指导着的一个玩家通常无法说出他是何或为什么这么做。事实上，玩家无法解释他们最佳行为背后的原因提供了一个暗示，就是为什么其于正式逻辑的旧式 Go-playing 计算机为什么从来都没有这么好。神经学习系统，包括已经在大脑中演变和现在被存入电脑的系统，可以处理 playing Go 的任务，但人类语言无法描述它。

如同潘多拉盒子，人工智能「黑匣子」将面临大量社会问题

然而，人类对自己行为的解释与机器提供的解释之间存在着至关重要的差异。正如巴黎 Jean Nicod 研究所的认知科学家 Dan Sperber 观察到的，人们倾向于构建他们行为的理由，这些理由与说话人和听众互相提供的信息与他们自己的兴趣爱好相一致，而不是准确地描述他们作决定时的准确想法。正如他说的：「给出理由的原因是其他人会评估你的行为和信念。」而目前的自动机器没有自己的兴趣，它们的解释是由人类制造的。

有人推测，如果人工智能的开发与虚构的一样，有了自己的目的，而不只被人类控制，那未来可能会改变。国际法专家 Jacob Turner 建议，如果这些先进的系统所伤害的人要求赔偿和伸张正义，就必须赋予人工智能以人格权。

这可能发生在遥远的未来。但即使现在的人工智能也可能引发棘手的法律问题。特别是，无法自我解释的机器思维或其具体的行为超出了人类语言的领域，造成了刑法问题。正如牛津大学的法律学者 Rebecca Williams 所说，如果机器缺乏解释其行为的能力，现行法律可能难以找出因他们作出的决定而产生犯罪行为的意图。她说：「在刑法中，有趣的是让第三方打破非人类的因果关系链，这是件新鲜事」。

这不是 Turner 推测未来一天人工智能系统本身可能会做犯罪的事情的问题。但如果因为机器及其制造者都无法解释其行为，一台机器作出决定的过程不会被收到盘问，那就无法判定与此决定相关的人有罪还是无罪。

例如，如果一个授权贷款的神经网络无法解释它为什么给某些人那样看起来不公平的分数，那将无法确定是其运营商有意安排这种情况（这在大多数情况下是违法的），还是其设计师编程时犯懒导致了这种情况（这可能是民事法庭而不是刑事案件的事）。同样，如果运行无人驾驶出租车的视觉系统的 AI 是一个不能被询问其选择的黑匣子，那么可能很难知道该车造成的死亡是由制造商负责还是负责维护车辆的公司负责。

距离无人驾驶汽车的案件在法庭上出现还有几年的时间。然而，即便现在，社会偏见的情况也可想而知。它不需要 HAL 和 Eddie 的发明人 Arthur C. Clarke 和 Douglas Adams 设想出的软件优点——既可以采取行动，又可以解释其行为背后的原因。