如何让一辆自动驾驶汽车以最完美的速度上路?

李倩 发表于 2018-07-11 09:42:39 收藏 已收藏
赞(0) •  评论(0

如何让一辆自动驾驶汽车以最完美的速度上路?

李倩 发表于 2018-07-11 09:42:39

剑桥大学两位博士创办的公司使用强化学习算法,无需密集标注的3D地图,无需人工设计的规则,让汽车在短短20分钟内学会了自动驾驶。公司成立不到50天,已经拿到了优步首席科学家的投资。

今天的自动驾驶汽车虽然已经性能不错,但大多数自动驾驶汽车都使用大量的摄像头和传感器、地图工具和大量的计算机程序,比较不完美。

如何让一辆自动驾驶汽车以最完美的速度上路?有一种做法是增加操作系统的智能而不是传感器。

剑桥大学工程系的两位博士创办的Wayve团队使用强化学习算法,第一次实现让计算机学会像人一样,通过练习来完成自动驾驶。该算法与人类安全驾驶员一起教会了汽车如何在“15-20分钟”的时间内保持在一条车道内。

Wayve团队认为,自动驾驶需要的是一台更智能的电脑,而不是更多的传感器或程序,他们的研究也证明了自己的理论。

DeepMind玩Atari游戏需要数百万次试验,但深度强化学习让汽车20分钟内学会自动驾驶

DeepMind已经证明,深度强化学习方法可以在许多游戏中实现超越人类的表现,包括围棋、象棋和许多电脑游戏,而且几乎总是胜过任何基于规则的系统。

Wayve团队深得DeepMind和OpenAI经常使用的强化学习算法精髓,并且巧妙的用在了自动驾驶车上。

为了证明强化学习+自动驾驶这种方法可行,Wayve团队配置了一辆雷诺Twizy,它很简单,只配备了一个摄像头和油箱、刹车和转向控制等装置。算法使用“深度卷积神经网络”的模型,该模型接收仅使用一个GPU处理的单个图像的输入。

在视频中,最初,汽车就像婴儿迈出了第一步,步履蹒跚。但当汽车开始转向车道外时,一名安全驾驶员介入,重新把车转向车道内。算法了解到每次修正行驶过程时都是在纠错,并根据它在没有任何干预的情况下行进了多远而得到“奖励”。

通过这种方式,计算机能够在大约20分钟内学会如何防止汽车从路上跑偏。在那之后,它可以无限期地行驶下去。

Wayve团队的这项研究表明,类似的哲学在现实世界中也是可能的,特别是在自动驾驶汽车中。而且,DeepMind玩Atari游戏的算法需要数百万次试验才能解决一个任务。而Wayve的团队在不到20次的试验中就学会了让车始终“沿着单行道行驶”。

无需密集标注的3D地图,无需人工设计的规则

大型科技公司做自动驾驶通常采用工程思维方法,即设计一种基于规则的系统,处理每一个边缘问题,同时使用更多的传感器,获取更多的数据。这可能会在特定的、狭义的环境中产生令人鼓舞的结果,但并不能真正解决自动驾驶问题。

Wayve的团队是第一个自动驾驶汽车在线学习的例子,每一次尝试都会使它变得更好。那么,具体是怎么做到的呢?

他们给出了技术细节:

他们采用了一种流行的无模型深度强化学习算法——深度确定性策略梯度(deep deterministic policy gradients,DDPG)来解决车道跟踪任务。模型输入是来自单目摄像机的图像。系统迭代了3个过程:探索,优化和评估。

网络架构是一个深度网络,有4个卷积层和3个完全连接层,总共只有不到10k个参数。相比之下,目前表现最优的图像分类架构有数百万个参数。

所有的处理都在汽车的一个图形处理单元(GPU)上进行。

将机器人放到危险的真实环境中工作会带来很多新问题。为了更好地理解手头的任务,找到合适的模型架构和超参数,他们在模拟环境中进行了大量的测试。

上图是一个例子,从不同角度展示了车辆在模拟环境中如何沿着道路行驶。该算法仅看到驾驶员的视角,即上图中间。在每个episode,随机生成一条弯曲的车道,以及道路的纹理和车道标记。agent一直在探索,直到偏离了车道,此时一个episode结束。然后根据搜集到的数据进行策略优化,一直重复这个过程。

基于任务的workflow和训练算法的架构

团队使用模拟测试来尝试不同的神经网络架构和超参数,直到找到仅需很少的训练次数(也就是在只有很少数据的情况下),始终能解决车道跟踪任务的设置。例如,一个发现是,使用自动编码器重建损失来训练卷积层,这大大提高了训练的稳定性和数据效率。

使用DDPG+VAE,极大地提高了从原始像素进行DDPG训练的数据效率,这表明在实际系统上应用强化学习时,state representation是一个重要的考虑因素。实验使用的250米行驶路线如右图所示。

下表是在250米道路上实现自动驾驶车辆的强化学习结果。

团队报告了每个模型的最佳性能。他们观察到baseline RL智能体可以从头开始学习车道跟踪,但VAE变体更有效率,仅在11次训练后就成功学会沿着车道驾驶。

想象一下,部署一个自动驾驶汽车的车队,一开始自动驾驶算法是人类驾驶员表现的95%。这样一个系统不会像视频中随机初始化的模型那样摇摇晃晃,而是几乎能够处理交通信号灯、环形路、十字路口等等各种情况。

经过一天的驾驶和人类安全驾驶员接管提供的反馈,系统能够在线提升,也许能提升到96%。一个星期后,提高到98%;一个月后,达到人类表现的99%。几个月后,这个系统的表现可能以及超过了人类,因为它能从多名安全驾驶员的反馈中获益。

在20分钟内就学会了从零开始沿着车道行驶,那么,想象一下,一整天的话可以学到什么?

两位剑桥博士创办,公司成立不到50天已获优步首席科学家投资

Wayve于今年5月22日刚刚创立,创始人是两位来自英国剑桥大学的博士Amar Shah和Alex Kendall。

Wayve团队现有约10名成员,由来自剑桥大学和牛津大学的机器人、计算机视觉和人工智能专家组成,他们之前曾在NASA、谷歌、Facebook、Skydio和微软等公司工作过。他们专注于利用深度学习解决视觉场景理解、不确定环境中的自主决策等问题。

值得一提的是,剑桥大学教授、Uber首席科学家Zoubin Ghahramani是Wayve的投资人之一。

不同于大部分自动驾驶车辆的传统思维,Wayve团队号称要构建“端到端的机器学习算法”,将强化学习方法用于自动驾驶汽车。他们认为制造真正的自动驾驶汽车的关键在于软件的自学能力,它需要的是更好的协调,这能够使自主驾驶成为现实。

收藏

相关话题
文章来源专栏
+关注

评论(0)

加载更多评论

参与评论

分享到

QQ空间 QQ好友 微博
取消