基于FPGA平台的安全自动驾驶解决方案

3月20-21日，由佐思产研、佐智汽车主办，地平线、TTTech、魔智、海信网络科技、晶众股份、芯仑光电、PLK、中科慧眼等单位支持的2018第三届ADAS与自动驾驶国际论坛在上海银星皇冠假日酒店举办。超过400多位嘉宾参加了本次论坛，深圳市自行科技有限公司总经理关艳峰博士发表了《基于FPGA平台的安全自动驾驶解决方案》的主题演讲。

深圳市自行科技有限公司总经理关艳峰

关艳峰：我从第一届就参加了佐思的ADAS自动驾驶论坛了，今年是第三届。在第一届自动驾驶论坛，还没有人讲FPGA，今天看到越来越人在关注FPGA。

自行科技定位在智能汽车电子领域，主要提供ADAS和自动驾驶的核心模组和系统，主要面向感知和定位。目前我们提供的产品主要是基于单目视觉的ADAS和车内驾驶监控系统、以及身份识别系统等。我们的产品已经在前装乘用车开始商用，我们现在有两个研发中心，第三个正在建。

自行科技的产品定位，是以深度学习、视觉和FPGA三个主要因素来打造前装可量产的核心模组和系统，把深度学习作为系统的算法核心，把FPGA作为硬件核心或者计算核心，以视觉融合其他传感器作为它的感知核心。

我去年提到三个问题，性能、价格、功耗。我们花了24个月优化基于FPGA平台的ADAS及自动驾驶解决方案和产品。例如，如何满足自动驾驶需要的大量计算，可靠性，还有对性能的要求，包括帧率，至少20帧以上。今年通过跟Tier 1、车厂的接触，压力转到安全上。因为即使其他方面都好，软件算法不安全，硬件不安全，整个系统不安全，依然没有用。所以，我今天的演讲强调基于FPGA平台的产品安全性问题。

从去年5月份到现在一年的时间，我们都在做着如何提升FPGA平台上的核心模组的安全性的相关工作。因为我们既做车内又做车外，不论自动驾驶还是辅助驾驶，在L5之前都处于人车共驾的状态，不能只提升外部环境的感知，而忽视驾驶员的感知，这两款产品都在优化。

未来我们还要继续加深L3级别自动驾驶感知模组的研究。市场定位上我们是Tier 2，和很多Tier 1合作。在前装乘用车方面，和某GlobalTier 1合作的一款产品达到相当高的水平，进入了全球体系，今年Q2要量产。新能源车ADAS的量产会在2019年。

关于安全，主要涉及几个方面，例如，功能安全，信息安全等。

安全的基础在哪里？自动驾驶系统功能安全首当其冲，这是整个业界三到五年内要解决的问题，之后是信息安全。但需要在基础性工作做好的前提下，才能谈功能安全或者信息安全。

安全基础工作包括同步问题，如传感器的同步、人车的同步；失效问题，如硬件失效、软件失效和算法失效。大家一直都在质疑这个问题，深度学习是一个黑盒子，如果算法失效了怎么办？

同步问题

关于传感器同步，我们都有一个共识，需要同时获得外部环境信息，否则会失去它的价值，导致错误的判断。要保证同时获取信息，在安全的基础系统架构上，大多数同行会选择带操作系统的处理器。不是说这种处理器不好，而是它在处理传感器同步的时候基本上是指令触发的，指令触发很难控制精准的采样时间，延时相对较大且不足够稳定。而FPGA不基于操作系统，是电平触发，延时小且控制精准。

FPGA分为两部分，一部分是纯逻辑，可直接发出指令，操控传感器获取目标信息。不同距离的传感器，从高速到低速不同的速度范围，传感器工作不同，如何在传感器之间的切换过程实现同步？这有很多具体的约束和要求。

另外一部分是人车同步。在发生交通事故时，是不是驾驶员注意力不够集中，或者过度依赖自动驾驶系统，这在L4之前都是一个非常重要的问题，所以驾驶员状态的实时感知和车外环境的实时感知必须同步，不同步会导致危险。车内车外两个摄像头要达到同样的等级，才能提供相应的功能。

关于功能安全的问题，它的核心问题就是在评价指标，危险和风险，它有固定的评价流程。有相应的软件、硬件和算法方案后，要做功能安全性验证和失效分析。

失效问题

硬件的失效问题很关键，譬如传感器失效。一套系统有多个传感器，实际上任何一个传感器离最终的安全要求都是有差距的。一方面要通过传感器融合提升单一传感器的能力，另一方面通过融合使整体感知决策能力更加可靠。

多种传感器浅度融合，是最简单的融合算法，但它并未改变单一传感器的感知能力，我们希望通过深度融合，使得各个单一传感器得感知能力得到进一步得提升，从而提升整体感知决策得可靠度，这是未来传感器融合的核心问题。

浅度融合解决不了这个问题，所以做深度融合，这就需要硬件底层的支持，比如是否开放传感器的RawData。

讲到软件失效，3天造车，5天出Demo方式的软件架构，是量产不了的。采用开源的代码或系统，也是量产不了的。对于软件中的底层驱动，中间件、操作系统，如何去设计、开发、验证都需要大量的工作，开发周期长，成本高，但这是量产的基础。

举个例子，要满足ISO26262的软件安全要求，软件开发中的指针不能随便用，有的程序开发得很快，用了很多指针，二级指针是禁用的。一些嵌套迭代是不能用的，用了就有可能降低软件的稳定性。所以基于可量产的安全的软件架构是必须的，在有安全保证的架构基础上，软件才可能安全，这也需要经过专业机构的评估，就像硬件的EMC测试一样。

算法失效有很多种，尤其对以视觉为主的算法，光线的影响是最严重的。我们从两个方面去看，车内、车外。车内我们是否能够解决被遮挡、强光、阴阳脸、白天、晚上等各种场景。我们在这些场景下做了足够评估才能说明算法是可靠的。

我们的FPGA硬件已经迭代了30个月，算法迭代的时间更长。有些环境下，人的肉眼都很难区别，靠算法如何去解决？

语义分割算法的失效，最怕的是车道线出问题。车道线有问题，会导致连锁问题，连续失效。我们在FPGA上面实现超30帧语义解析，可以大大提高可靠性。

信息安全

信息安全方面，传感器可能面临的攻击，最大的两类是信号干扰和样本欺骗。信号干扰主要是针对传感器的强电磁干扰，另一种是本体干扰，会降低信噪比和信号精度。

从视觉来讲，如何对抗样本欺骗很重要，因为客观环境造成和人为制造的虚假样本普遍存在，就需要提高系统性能来对抗样本的欺骗。客户问我最多的就是，你们如何去面对人皮面具的欺骗，这需要很多技术去解决。

信息安全，还包括来自于车内网络和车联网的入侵。

最后，我想和诸位朋友分享一下自行科技的车内外ADAS功能演进和平台演进。

功能演进

我们会一直关注车内DMC及车外ADAS的功能演进，及两者的协同与联动。尤其是车内DMC部分，我们从基础的疲劳预警、身份识别、行为检测，逐步发展到视线追踪、表情识别等高级功能，为未来的智能座舱、个性化配置及L3级自动驾驶驾驶员接管等功能提供鲁棒丰富的感知信息，并和车外ADAS功能协同工作，为驾驶员提供更加安全、精准与人性化的服务。我们也会不断升级和扩充我们的车内外传感器组合，来匹配不同阶段的功能演进。

平台演进

不同阶段的功能计算复杂度不同，对于硬件平台的需求也不相同，具体表现在计算力、计算架构、平台灵活性与可扩展性等。为此，自行科技的硬件平台演进路线是以XilinxZynq系列为代表的FPGA平台为主，配合高性价比的MPSoC，通过逐步提升算力，满足各个阶段不同等级的ADAS功能、性能、车规、安规方面的需求。