赛灵思汽车解决方案开启ADAS和自动驾驶新篇章

北京时间7月18日凌晨，美国FPGA（现场可编程门阵列）大厂赛灵思（Xilinx）公司宣布已经完成对中国人工智能初创企业深鉴科技的收购。当时芯智讯就曾发文，认为赛灵思收购深鉴科技此举是为了进一步加强在ADAS/自动驾驶汽车市场的布局。

7月23日，赛灵思在深圳召开媒体说明会，虽然并未介绍收购深鉴科技的相关细节信息，但是，在此次媒体说明会上，赛灵思详细介绍了其在汽车领域的布局以及在中国汽车市场进展，而被收购后深鉴科技也将成为接下来赛灵思发力汽车市场的重要的一环。

赛灵思大中华区销售副总裁唐晓蕾在会上表示：“灵活多变的赛灵思汽车解决方案，将开启中国ADAS和自动驾驶的新篇章。”

显然，赛灵思接下来将会大力开拓中国市场ADAS和自动驾驶市场。值得一提的是，今年4月，赛灵思将原本独立的中国大陆市场和中国***市场合并成立了大中华区，开始与北美市场处在同一层级竞争，这也意味着赛灵思接下来将会进一步加大对于大中华区的投入。

ASIC与FPGA之争

当今，半导体市场格局已成三足鼎立之势，ASSP（专用应用标准产品，比如CPU、GPU）、ASIC（专用芯片，比如现在很多的矿机芯片）和FPGA三分天下。

随着人工智能计算的快速发展，传统的CPU、GPU已经开始难以满足越来越多的新的需求，并且在能效上也开始处于劣势。在此形势之下，半定制的FPGA和定制型的ASIC开始迎来了高速的发展。

相对于ASSP和AISC来说，FPGA是一种可编程的半定制芯片，其与GPU一样具有并行处理优势，并且也可以设计成具有多内核的形态，当然其最大的优势还是在于其可编程的特性。这也意味着用户可以根据需要的逻辑功能对电路进行快速烧录。即使是出厂后的成品FPGA的逻辑块和连接，用户无需改变硬件，就可通过升级软件来配置这些芯片来实现自定义硬件功能。当然其也有着成本较高、能效相对于ASIC较低的劣势。

数据显示，在全球市场中，Xilinx、Altera两大公司对FPGA的技术与市场仍然占据绝对垄断地位。两家公司占有将近90%市场份额，专利达6000余项之多。

而ASIC芯片的计算能力和计算效率都直接根据特定的算法的需要进行定制的，所以其可以实现体积小、功耗低、高可靠性、保密·性强、计算性能高、计算效率高等优势。所以，在其所针对的特定的应用领域，ASIC芯片的能效表现要远超CPU、GPU等通用型芯片以及半定制的FPGA。不过，ASIC由于一开始其适应的算法就是固定的，所以一旦出现新的算法，将无法适应，存在被快速淘汰的可能。另外，ASIC的开发周期相对FPGA较长，开发成本最高，芯片出货量如果达不到一定规模的话，那么其成本也将非常的高昂。

FPGA的特性决定了其非常适合于算法仍在快速变化的众多人工智能应用领域，灵活性较高，而ASIC则适用于算法相对稳定的领域，灵活性较差，可谓是各有优势和劣势。

不过，FPGA和ASIC也在进化，比如赛灵思就推出了多处理器SoC产品，在FPGA上整合了ARM的CPU内核，还有Mali系列的GPU，甚至是RF器件等，以提升FPGA的性能、能效和功能。而ASIC也开始出现了结构化ASIC（eASIC），进一步降低开发周期和成本。不久前，英特尔也斥资收购了专注于结构化ASIC的美国芯片公司eASIC。

对此，赛灵思表示，“在人工智能跟深度学习仍在快速发展的时代，我们可以看到有非常多的创新，每天都会有不少新的算法出现，很多领域都还没有一个标准的算法，因此FPGA是非常适合的载体，而且我们现在也有了多处理器的SoC产品，可以满足更多样化的需求。同样，英特尔之所以收购Altra、eASIC也正是基于对于未来FPGA及半定制芯片市场的看好。

不过，需要注意的是，成本和功耗上的劣势制约了FPGA在消费电子产品中应用，所以我们看到消费类领域的产品更多的还是采用ASSP或ASIC。不过，在行业应用市场，FPGA固有的劣势将不再明显，而其灵活性也将会带来更大的价值。

比如 在巨头竞相争夺的汽车市场，在赛灵思看来，随着ADAS及自动驾驶技术的持续发展，以及汽车产品的研发的长周期性的特性，灵活性更高的FPGA将在汽车领域迎来高速的增长。

赛灵思在汽车市场的布局与成绩

作为FPGA（现场可编程门阵列）的发明者及全球首个无晶圆半导体厂商，赛灵思从1984年成立至今已有35年的历史。根据财报显示，2017财年，赛灵思销售额达到了23.5亿美元。拿下了FPGA全球60%的市场份额，全球客户超过20000家。

作为半定制化的芯片，FPGA顺应了各类AI算法爆发式增长对于硬件要求快速变化的趋势。FPGA 的好处是可编程以及带来的灵活配置，同时还可以提高整体系统性能，比单独开发ASIC芯片整个开发周期大为缩短，但缺点是价格、尺寸等因素。

凭借多年来的持续创新，目前赛灵思在全球已拥有4300多项专利，并创造了多项行业第一，比如全球首款FPGA、首款硬件/软件可编程的SoC、首款多处理器SoC（MPSoC，在FPGA上整合了ARM的CPU内核，还有Mali系列的GPU等）、首款RFSoC（将通信级RF采样数据转换器、SD-FEC内核、ARM处理器以及 FPGA 架构整合到单芯片器件中）。

▲赛灵思汽车产品营销经理孙蕾蕾

其中，在汽车 ADAS 和自动驾驶解决方案上，赛灵思有针对自动驾驶中央控制器的Zynq UltraScale+ MPSoC、针对车载前置摄像头的Zynq-7000 / Zynq UltraScale+ MPSoC 和针对多传感器融合系统的 Zynq UltraScale+ MPSoC。

目前赛灵思的解决方案已被广泛应用于汽车领域，包括车载全屏显示镜像、驾驶员监控系统、汽车拖车影像监控、前向单/双目摄像头、激光雷达、毫米波雷达、抬头显示器、EV车载充电系统、环视系统等众多车载产品。

根据IHS Markit的数据显示，2017年1-9月车载前置摄像头单元出货达480万件左右，其中基于赛灵思方案的占比高达38%。而2012年，赛灵思才刚刚进入汽车前置摄像头市场，短短5年时间，赛灵思就拿下了38%的市场，确实不易。

赛灵思汽车产品营销经理孙蕾蕾表示：“将来在中国甚至是全球车载前置摄像头的需求将越来越高，根据欧美的法规NCAP (new car assessment program)规定，每辆新的五星级车需配备有摄像头，有个环视的摄像头，有一个前端的摄像头，才能达到安全性能标准。我们计划将来那5年内，我们这个38%还是会不断的生长的。”

此外，在新兴的激光雷达传感器市场，赛灵思的市场份额更是高达90%以上。孙蕾蕾表示，“赛灵思的方案可以适用于所有激光雷达技术。因为赛灵思的FPGA和SoC产品有着并行处理的优势，可以在整个前端Sensor数据不断进来的时候，同时做一个并行处理，因此延迟相对的比GPU跟其他的CPU会更低，所以赛灵思在汽车行业已经达到很好的标准了”。

赛灵思的解决方案除了在激光雷达传感器市场占有极高的市场指纹，在新兴的4D雷达上也具有很大的优势。相对于3D雷达，4D就是在X/Y/Z基础上还有一个速度，加上了一个速度，所以可以看得更加清楚，而且其成本相比激光雷达要更加的低廉。不过，4D雷达的发射天线很多，这也意味着需要接收和处理的数据也就越多，怎么去做一个同步的计算是很重要的，而这也是赛灵思产品的优势所在。

根据赛灵思公布的资料显示，2014年赛灵思的车载芯片就已经进入了全球14个汽车品牌的29款车型，时隔4年之后，目前赛灵思的车载芯片已经进入了29个品牌的111款车型当中。赛灵思的ADAS业务年复合增长率高达60%以上，累计发货芯片4000多万片。

在大中华区汽车市场，目前赛灵思也与百度、海康威视、商汤科技等众多有进入ADAS/自动驾驶领域的中国厂商有深度合作。

“赛灵思从2004年就开始进入到了汽车这个行业，首先是在欧美发展，在欧洲许多大的Tier1(一级供货商)，像是BOSCH、Continental等厂商都是我们的客户。到现在，与我们合作的品牌已经扩展到了29家。在进军中国的这一两年的内，也可看到有很多中国的品牌已经在使用赛灵思了。”对于未来的预期，孙蕾蕾表示：“我们相信未来的5年是一个非常重要的环节，有很多汽车行业对FPGA非常感兴趣，并且对将来Level3、Level4就是自动驾驶的部分也保持着高度的期待，所以未来5年是非常重要的一个环节。”

发力ADAS/自动驾驶市场

前面我们提到，赛灵思有针对自动驾驶中央控制器的Zynq UltraScale+ MPSoC、针对车载前置摄像头的Zynq-7000 / Zynq UltraScale+ MPSoC 和针对多传感器融合系统的 Zynq UltraScale+ MPSoC。

其实，Zynq系列采用单一芯片即可完成 ADAS 解决方案的开发，虽然相对于专用的ASIC芯片来说，在性能和功耗上则处于弱势，不过赛灵思的SoC平台则大幅提升了性能和应用范围，便于各种捆绑式应用，能实现不同产品系列间的可扩展性，可帮助系统厂商加快在环绕视觉、3D 环绕视觉、后视摄像头、动态校准、行人检测、后视车道偏离警告和盲区检测等 ADAS 应用的开发时间。并且可以让 OEM和 Tier1 在平台上添加自己的 IP 以及赛灵思自己的扩展。

不过，根据赛灵思的ADAS/自动驾驶应用路线图来看，目前在ADAS/自动驾驶领域，基于赛灵思芯片方案的客户的量产产品还比较少。即便是L1/L2阶段的ADAS方案，相应的客户产品也要等到2019/2020年才会量产，L3阶段的客户产品也要等到2021/2022年才能量产。而基于赛灵思最新的XA ACAP方案的L4级别的客户产品更是要等到2023/2024年才能量产。当然，在现阶段，赛灵思已经与不少汽车厂商在合作研发L3/L4级的产品，不过由于汽车的产品的周期较长，这也使基于赛灵思L3/L4方案的客户的产品最终量产时间会看上去比较晚。

赛灵思机器学习产品高级市场经理罗霖透露：“我们客户做的基于赛灵思芯片方案的全高清的环视系统，2017年已经量产；今年2018年量产的主要是车载前视的摄像头，然后这面包括有单目的，也有双目的，可实现主要是像车道偏离的检测、前向防控的检测和行人防控的监测。当然还有面向司机的一些疲劳状态的监测，今年我们有些客户也会进入量产。”

“而L1/L2阶段的产品，客户会把前视的摄像头跟77GHz毫米波雷达融合在一起，包括有ACC、AEB、LK还有PJA的应用，采用的是我们大一点的XA Zynq系列跟我们XA MPSoC的系列产品。L3阶段的产品将会多摄像头跟多传感器融合的平台，可以实现自动泊车、人与车的智能交互等。”

总的来说，虽然赛灵思是一家老牌的ADAS领域的半导体供应商，但是在目前的ADAS/自动驾驶市场，赛灵思还是相对落后于后起之秀英伟达、以及英特尔的Mobileye。

为此，今年3月，赛灵思北京发布了全新的高度集成的多核异构计算平台ACAP。唐晓蕾表示，ACAP是赛灵思开创的一个超越传统的CPU、GPU，超越FPGA的一个全新的计算类别的产品。ACAP也可以提供非常强大的计算力，可以支持L4级自动驾驶。

不过，由于ACAP才刚刚发布没多久，要到实际的商用和客户产品落地可能还需要非常长的一个周期。因此，为了加速自身在ADAS/自动驾驶领域的布局，赛灵思选择了直接收购此前已有投资并深度合作的深鉴科技。

加码ADAS/自动驾驶市场，深鉴科技与赛灵思将走向融合

深鉴科技早在2017年就发布了深度学习开发SDK DNNDK（Deep Neural Network Development Kit）；人脸检测识别模组（前端）；人脸分析解决方案（后端）；视频结构化解决方案（人车交通分析）；深鉴ARISTOTLE架构平台；语音识别加速方案等6款产品。在AI芯片方面，深鉴科技也推出了“听涛”和“观海”，将于今年面市，正在在量产之中。

深鉴的核心技术之一就是神经网络压缩算法，能够在保证基本不损失算法精度的前提下，将网络模型的计算量和规模压缩数倍至数十倍。

在赛灵思机器学习产品高级市场经理罗霖看来，赛灵思之所以选择收购深鉴科技，也主要是看中了深鉴科技的神经网络压缩算法。“深鉴科技优化好的CNN的IP，它具有一个功能非常强大的计算半圆的阵列和非常灵活的数据控制流。这样的话，可以比较通用地支持各种各样类型的神经网络。同时的话，它的IP也具有扩展性，它可以支持赛灵思小型的器件，也可以支持我们很大的器件。更重要的一点的是，它还提供了一个全栈的SDK，这个SDK你可以理解为它是一套工具链，这个工具链的输入是客户在GPU上训练好的浮点的模型，然后我们可以把这个模型进行压缩，同时的话，把这个浮点的模型进行定点化，然后再进行编译，同时用他的API，然后可以快速地部署到我们（赛灵思）的平台上面来，所以这是一个非常简单、应用非常高效的工具链，可以大大地提高客户把深度学习移植到ABJ上面的一个效率。”

根据赛灵思公布的数据显示，赛灵思的嵌入的SoC借助于深鉴科技的库跟工具链优化之后，跟英伟达TX2的性能功耗对比，实现了平均5倍以上的提升。

罗霖表示：“这样的对比结果，就是说我们可以用一个相当于英伟达TX2的1/5功耗的SOC，实现跟它同样的性能，然后成本也大概只有它的1/5。”

对此，罗霖还例举了与两家国际著名的汽车OEM客户合作的成功案例。“其中一家他们很详细地评估了我们的一些IP跟工具，尤其是深鉴的神经网络压缩工具，大家可以看一下这个网络。比如YOLOV2，它原来的计算量是198G ops，精度可以达到80.4，然后经过压缩过后，我们把模型压缩到原来的7%，然后精度的损失只有1.2%，就是说在损失很小精度的情况下，我们大大地降低了计算量。所以他们非常地满意。”

另外一家汽车厂商要用一个Link器件同时做12路视频的检测，赛灵思用自己的方案结合深鉴科技的压缩算法也帮他们做了演示，实现12路30fps显示，以及对于包括有车、行人跟自行车的检测的效果，客户对于结果也是非常地满意。

从罗霖当天的介绍来看，赛灵思收购深鉴科技之后，将会将深鉴科技的DPU IP与赛灵思的系统级的开发工具SoC进行一个深度的集成。

大家可以看一下这张示意图。最下面是硬件平台，包括有它的IP，上面运行Linux，这中间的话是赛灵思提供的API，包括平台性的API，主要是跟下面的硬件跟操作系统打交道；这上面的话，是应用级的API，用户在开发深度学习应用的时候，只需要通过C或者C++去调用用户级的API就行了，这样的话，用户完成这个开发过后，一编译，就可以生成在赛灵思的板子上可以跑的一个设计。

罗霖表示：“在深度学习方面，其实赛灵思在这方面确实已经有一定的积累了，我们内部也有团队在开发这方面的东西。深鉴科技它们也积累很长时间。可能有些东西原理上差不多，但是大家是各有千秋的，未来我们可能会把这两方面的优点结合在一起。关键是提高易用性，让客户用起来更容易，开发效率更高。”

值得注意的是，今年6月份，深鉴科技正式宣布进军自动驾驶市场，深鉴科技CEO姚颂当时称，深鉴自主研发的ADAS辅助驾驶系统（Advanced Driver Assistance Systems）——DPhiAuto，目前已获得日本与欧洲一线车企厂商和汽车产业链一级制造供应商（Tier 1）的订单，即将实现量产。

根据官方介绍，深鉴科技基于FPGA的车载深度学习处理器平台DPhiAuto，是面向高级辅助驾驶和自动驾驶的嵌入式AI计算平台， 可为高级辅助驾驶系统提供车辆检测、行人检测、车道线检测、语义分割、交通标志识别、可行驶区域检测等深度学习算法功能，是一套针对计算机视觉环境感知的软硬件协同产品。

那么在ADAS/自动驾驶领域，赛灵思在收购深鉴科技之后，双方的产品线将会做出怎样的调整呢？

“从深鉴科技变成赛灵思的一部分之后，我们会做很多融合的动作，它们是我们的一部分。所以在整个产品规划说，我们会做一个整体规划。”不过，对于具体的产品规划，赛灵思大中华区销售副总裁唐晓蕾并未透露，只表示：“整体的roadmap现在都在规划的阶段，所以暂时我们不能透露出来。”

“赛灵思面向ADAS/自动驾驶、机器学习方面做了很多的研发的，做了很多优化，可实现时延，功耗、成本、灵活性、拓展性跟上市时间的一个最佳的平衡。同时，为了降低嵌入视觉深度学习的开发难度，我们提供各种软件定义的编程的工具、库跟框架，帮助客户提高开发的效率。最后，我们将会与大中华区的ADAS/自动驾驶的合作伙伴紧密合作，提供Turn Key solution给我们最终的客户。”罗霖最后总结道。