人工智能安全工程将如何改变工程

介绍

开发智能机器的旅程使我们走上了发现、惊喜、敬畏和关注的道路。尽管还有很多东西有待发现，但我们知道，对安全人工智能的追求将改变我们设计、开发智能产品并将其推向市场的方式。安全的人工智能不仅需要像我们处理网络安全那样抵御外部攻击者；我们必须确保人工智能的行为是安全的。未来的人工智能开发将侧重于安全和风险管理贯穿开发过程的每个部分。

人工智能标准和指南中的安全性

AI 安全工程的需求之一是拥有可广泛访问的 AI 开发实用指南和标准。尽管许多标准组织和联盟正在努力建立这些资源，但它们仍远未达成共识（再次出现价值一致性问题），甚至还远未提供具体的技术指导。与此同时，航空航天和医疗制造等安全密集型行业提供了潜在有用的风险管理模型，可以满足短期人工智能安全需求，并作为最终标准和框架的基础。特别是，可以使用德尔菲法来组织专家的集体智慧和判断，不同人工智能系统类型的风险评估，以及硬起飞和软起飞场景的结果。

设计思想和过程中的安全

一个相关的需求是主动将安全纳入工程设计的所有领域，从设计思维开始一直到将产品推向市场的过程。让我们面对现实：这将意味着许多开发团队的改变。看看互联网。看看嵌入式系统。现实情况是，在产品开始取得成功之前，大多数行业都不会在安全上投入大量资源。在智能系统中不检查安全性的潜在后果是重大的，因为事后可能无法纳入安全性。

用户需求安全

工程安全人工智能将要求工程师超越表面用例，真正了解用户的价值观和偏好。我们习惯于从表面上看用例和用户反馈；然而，第 2 部分中讨论的价值对齐问题告诉我们需要深入挖掘才能了解实际需求。例如，如果我们问一个学生她为什么上学，她可能会告诉你她想获得知识并研究一个感兴趣的领域。不过，研究表明，真正的或额外的原因存在于其他地方：例如，获得证书、获得同行认可和增加收入潜力。如果作为工程师，我们在开发智能产品时只看表面的用户需求和反馈，很可能会开发出不能真正满足用户需求的产品……导致智能失败。

漏洞评估中的安全性

在流程的每个阶段，都必须考虑和解决产品及其智能（内存、处理速度等）的安全性。黑客需要在这个无限的可能性空间中找到一个弱点，但人工智能可以以我们无法预测甚至无法想象的方式利用情报。潜在的产品漏洞是什么？什么是潜在的滥用？个别功能如何被滥用？每种情况如何适得其反？数据安全可靠吗？我们怎么知道？产品是否包含了不必要的智能？这怎么可能被滥用？怎么能保证呢？

结论

工程安全人工智能将改变我们的流程、思维方式和优先事项。拥有 AI 开发框架和标准将大大有助于设计安全 AI。与此同时，借鉴航空航天和医疗设备行业的做法会很有用，并能在产品开发过程的各个方面增加安全性。在接下来的第 6 部分中，我们将研究一种用于开发安全人工智能的新兴技术，称为人工愚蠢。 

审核编辑 hhy