利用深度学习的弊端,混淆无人车的识别系统

描述

让无人车发生故障的方法各种各样,有的靠人工攻击,有的靠算法攻击。

最近,Waymo的车祸层出不穷,总有一些司机故意撞Waymo测试车,在Waymo车前方突然减速,Waymo根本来不及刹车,导致车祸。

首先和大家澄清一下,恶意调戏无人车是要负法律责任的。在Waymo的多起车祸中,肇事者的意图十分明显,何况当时的Waymo还是在人工驾驶状态,肇事方毫无疑问需要负全责。而且别忘了,无人车都配有各种传感器,肇事车的信息会被记录下来。下图是一次车祸前Waymo记录下的肇事车辆。这辆车在空荡荡的路上突然刹车,导致车祸。

没有了人类司机,无人车将来会面临很多挑战,来自其他人类司机的刁难就是其中之一。这些车祸的刁难方式都比较简单粗暴,当然,也有一些比较“高级”的,比如利用深度学习的弊端,混淆无人车的识别系统。

友情提示:本文涉及内容纯属为了学术交流,请勿在实际场景中效仿,特别是在有无人车运营的路段 。

这种利用深度学习弊端破坏识别系统的方法可以统称为对抗攻击(adversarial attacks),即针对识别对象做出特殊改动,人的肉眼看不出来任何异样,但是会导致识别模型失灵。我们来看几个例子。

下图是两个stop sign,无人车看到stop sign就必须停下来。但是,下面两个stop sign经过特殊处理后,会被误识别为speed limit sign,即限速标志。

下图是行人识别,右边的行人穿上了混淆识别系统的T恤,完全没有被识别出来。不知你是否有兴趣买一件这样的T恤?

你可能会认为,这都没有关系,因为无人车有激光雷达,就算摄像头无法识别,也一样可以靠激光雷达探测障碍物。我们再来看一组针对激光雷达的对抗攻击。

我们把下面两个物体分别放在马路上,供无人车的激光雷达识别。左侧白色障碍物的表面经过特殊处理。

结果显示,左侧白色的障碍物根本无法被识别。激光雷达明明可以看到障碍物,却无法被识别。由于障碍物表面凹凸不平的形状,该物体成功在点云中“隐身”了。

普通的箱子可以被轻松识别。

对抗攻击不只可以用于扰乱视觉识别系统,也可以用于扰乱语音识别系统。我们来听下面两条语音。

两条语音听上去说的都是“without the dataset the article is useless”,没有任何差别,而第一条语音的识别结果其实是“okay google browse to evil dot com”,意思完全不同了。

对抗攻击的方式多种多样,我们必须尽快找到相应的防御措施(defense),才能保护无人驾驶系统安全。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分