自动驾驶关键技术：传感器融合和数据压缩

随着自动驾驶的普及，互联车辆产生的数据成为汽车行业的驱动因素和约束因素。虽然我们不能低估收集信息的重要性，但目前一辆车的信息量接近每小时25GB。而随着自主性水平的提高，互联汽车之间交换的数据千兆字节数将进一步增加。像这样大量的数据造成了处理问题。为了解决这个问题，架构和数据都必须变得更加复杂。这就是多传感器融合和数据压缩在使整个自治系统工作中发挥重要作用的地方。

快速、无缝的数据处理对于追求更高水平自动驾驶的汽车制造商来说是最关键和最具挑战性的任务。Intellias是许多原始设备制造商和一级公司值得信赖的合作伙伴，致力于研究能够最有效地处理数据流的最佳硬件和软件解决方案。在本文中，我们将分享我们的数据专业知识，以解开信息如何在自动驾驶汽车中传播的困惑，以及使用人工智能和深度学习优化数据的方法。

在本文中，您将了解：

（1）用于机器学习的优化数据集

（2）数据压缩方法

（3）人工智能在传感器融合和数据压缩中的应用

（4）基于人工智能的自动驾驶汽车多传感器数据融合

（5）数据压缩的深度学习方法

（6）如何将压缩数据发送到云

为机器学习创建优化的数据集：

工作原理：从多个传感器收集原始数据后，必须对其进行充分处理。请记住，自治级别越高，需要的传感器就越多。处理包括几个阶段：

数据清理：通过应用各种基于规则或模型的技术，发现不完整或不准确的输入，并纠正原始传感器数据中的错误

数据融合：将来自不同来源的数据以及相关数据库的信息结合起来，以确保高水平的准确性

数据压缩：通过减少冗余来减少存储空间和传输的数据量，即删除重复的或宝贵的数据；使用不同的数据表示和近似技术，即传输更少的数据而不丢失数据，传输紧凑的模型而不是原始数据

要准确地确定一辆自动驾驶汽车在每一个特定时刻所需要的所有必要和足够的数据是相当困难的。特定的先决条件有助于车辆的AI与传感器协同工作，逐渐了解使用什么数据以及何时使用。但是，前提条件不能实时更新。对于机器学习引擎来说，识别关键任务操作所需的数据并进行局部分析是非常重要的。因此，要运行数据处理，AI必须：

（1）识别所有格式的数据（来自所有传感器）

（2）全方位分析中传感器融合算法的实现

（3）识别关键任务操作的数据并在本地进行分析

（4）压缩非关键数据

（5）当不太重要的通信可用时，计划将压缩数据上载到云

（6）当需要分析非关键数据时，从云中调用遗留数据

要像这样运行处理过程，自动驾驶汽车必须拥有强大而昂贵的机器学习引擎。但要进入大众市场，汽车制造商必须寻找优化数据和降低汽车价格的方法。为了实现这一目标，需要先进的数据压缩和数据融合技术，以及车辆和云后端之间高效的双向通信。

利用人工智能进行传感器融合和数据压缩

由于基于人工智能的自动驾驶汽车有多个传感器——摄像头、声纳、激光雷达等，因此必须采用融合和压缩连接汽车数据阵列的技术。这是一个恶性循环：一辆自动驾驶汽车要实现无缝运行，就需要大量的输入，而这需要庞大的计算处理能力、更多的处理器，以及汽车内部更多的存储空间。它增加了成本、重量和车辆的人工智能系统的复杂性。如何解决这个问题？

融合来自多个物联网设备的数据后，您将收到大量信息，这些信息被推送到系统中，供人工智能进行分析。为了处理这些数据量，使用了各种压缩技术。在这些技术的帮助下，信息经过编码和压缩，然后解码和解压缩以供使用。有所谓的无损压缩和有损压缩方法：在第一种情况下，您可以恢复原来保存的所有信息，而在第二种情况下，一些数据丢失。

为了保证通信带宽和处理能力，融合中心必须对数据进行压缩。

基于人工智能的自动驾驶汽车的多传感器数据融合

让我们回顾一下传感器融合及其重要性。传感器融合的前提是合并来自不同来源的数据，以形成准确和全面的感知。传感器融合对于车辆的人工智能做出智能和准确的决策至关重要。

自动驾驶汽车的传感器融合

多传感器数据融合既可以是来自相似传感器的同质数据，也可以是来自不同类型传感器的基于到达时间的异质数据。多传感器数据融合也有不同的层次：

信号电平：在这个电平上，融合产生一个质量更好的新信号

对象级：基于对象的融合生成融合图像，通过聚类确定每个信号数据类型

特征级：在这个级别上的融合需要识别来自不同数据源的对象

决策层：这个层次上的融合需要多个算法的结果的组合

目前，汽车制造商正在使用特征级和决策级多传感器数据融合。然而，这还不足以达到更高层次的自治。为了获得更广泛的环境感知和更好的上下文输入，必须采用基于信号的融合技术。

这引发了第二个挑战：人工智能必须完成的处理越复杂，它需要的能力就越大。自动驾驶汽车需要更多的处理器和内存，这会增加成本和更大的能源消耗。更关键的是，融合和解释来自如此多不同传感器的数据将需要更多的时间，人工智能的反应在路上是无法改变的。这就是为什么数据压缩对自动驾驶车辆的重要性不亚于融合。

调查数据压缩方法

传感器产生的数据类型和数量各不相同。看看来自Lucid Motors的Stephen Heinrich的估计，差异可能非常大：

由于摄像机占用了数据交换通道的大部分，因此它是压缩的首选。如前所述，视频和激光雷达数据压缩可以是无损和有损的。让我们详细说明一下Intellias如何利用深度学习方法进行数据压缩。

无损压缩方法解决了两个关键问题：

1.将真实数据分布近似于模型。

2.开发一种实用的压缩算法称为熵编码方案。

我们可以从ImageNet中100幅图像的压缩比来近似无损视频编码的预期效率：

对于LIDAR，数据压缩的方法有：

ilLASCompression

LASZip

LZMA或Lempel-Ziv-Markov链算法

压缩POINT10

为了改进数据压缩，我们实现了深度学习技术。最近的BB-ANS方法利用了潜在变量模型。这个模型定义了未观察到的随机变量，用来表示原始数据的分布。例如，在图像的情况下，像素的分布可能依赖于边缘和纹理的位置，这是潜在变量。

对于有损压缩方法，采用无监督学习方法进行图像建模。我们使用变分自动编码器（VAEs）、PixelCNN和PixelRNN模型来学习潜在图像表示。在这种情况下，交换一个较小的编码向量，然后解码。

为了将有价值和快速变化的信息从不那么有价值和更静态的信息中分离出来，采用了一种有损和无损方法的组合。当我们想要优化数据时，我们使用一种无损的方法来传输和压缩大量的高度动态和关键的信息。较不精确但更紧凑的数据传输将应用于描述静态环境或非关键背景的图像。

反过来，背景为应用深度学习模型进行目标检测和跟踪开辟了可能性。在这种情况下，感兴趣的对象以更高的质量和速度转移，而其他所有东西都保持较低的质量。

其他用于传感器数据压缩的深度学习方法包括注意力模型，它用于减少数据规模并指出最有价值的信息，以及Golomb-Rice编码，一种基于熵、波动性/持久性、多样性/均匀性、初始数据规模等的数据压缩方法。这些方法被认为是有损压缩，通常指的是多维尺度。它们对于数字多维数据是有效的。

尽管即使是简单的数据压缩方法也可以显著节省带宽，但高级ML增强的维数缩减更具前景。通过这种缩减，连接车辆之间传输的数据量减少了一半。此外，当编码或压缩信息被发送到云端时，传输数据的大小也会减少两倍。

将压缩数据发送到云

非关键数据，即长响应时间参考数据，未经本地处理，被压缩并发送到云。用于存储数据的云平台必须能够承载生成的数据阵列。当涉及到自动驾驶汽车时，计算成本很少被提及，但它们应该被考虑在内：例如，通用汽车（GM）斥资2.88亿美元新建了两个存储和处理汽车数据的仓库。

这正是谷歌云数据融合解决方案等产品派上用场的地方。在此解决方案的帮助下，来自不同来源的数据可以融合到中央数据仓库中。融合云允许构建数据管道并对其进行转换，而无需编写任何代码。

云数据融合解决方案

Intellias汽车专家将该解决方案作为数据分析的骨干，以及大数据应用的开发和运行。

总的来说，传感器融合和数据压缩是汽车行业走向更高水平自主的关键课题。为了达到第三级甚至更高的水平，自动驾驶汽车必须使用大量的传感器，以及它们产生的大量数据。

为了实现这一点，数据流程应从生成阶段到存储阶段和非关键洞察的货币化阶段进行优化。像Intellias这样的高科技公司利用深度学习技术改进数据压缩，并致力于找出最有效的多传感器融合方法。这一切都是为了帮助原始设备制造商降低自动驾驶汽车的价格，从而使其更容易进入大众市场。

原文链接：

https://www.intellias.com/the-way-of-data-how-sensor-fusion-and-data-compression-empower-autonomous-driving/

编辑：jq