奥迪、奔驰与博世一系列代客泊车技术都源自V-Charge

Valet Charge简称V-Charge，代客泊车并充电是欧盟在2011年赞助的一个研发项目，项目始于2011年6月1日，于2015年9月30日结束，总成本869.5万欧元，其中欧盟赞助563万欧元。

V-Charge项目结束后，博世、大众、奔驰致力将其产业化，今天我们看到的奥迪、奔驰与博世一系列代客泊车技术都源自V-Charge。项目由瑞士理工学院电脑视觉与几何实验室领导，博世、大众、牛津大学、帕尔玛大学与布伦瑞克工业大学共同完成。德国Carmeq和IAV公司也有部分贡献。

Valet Charge是为电动车设计的，主要是基于无线充电停车位。Valet Charge设想将无线充电系统埋在车位下方，电动车停在车位上，无需任何操作即可充电，这要求泊车的位置精度很高，大约±10厘米。无线充电这个设想在2011年非常超前，不过Valet Charge项目并未考虑开发大功率无线充电系统。

即使今天，电动车的无线充电也是极为罕见。当年，大众联合德国机器人公司KUKA特别设计了充电机器人，机器人会自动取下充电枪插入充电插孔内，即便是到今天这种设计也很超前，而大众在10年前就有此设想了。

Valet Charge包含六大核心技术，即使在今天看来仍然非常先进，领先于今天一些所谓的全自动泊车系统。它实际就是低速（时速低于10公里）场景的L4系统，同时还包括V2I技术和DTN网络技术。我们将分五篇详细介绍Valet Charge的核心技术，第一篇为感知，第二篇为地图，第三篇为通讯，第四篇为定位，第五篇为运动规划。

Valet Charge车辆端框架如上，核心和奔驰一样，以双目做棒状像素，用栅格占有法提供导航。

Valet Charge的传感器布局如上图，包括前后两个双目摄像头，4个鱼眼摄像头，12个超声波传感器，精简版里没有后双目摄像头。所有传感器都由博世提供。前双目摄像头基线长12厘米，使用120万像素CMOS图像传感器，水平FOV为45度，垂直FOV为25度。可对应停车场的低照度环境，今天捷豹路虎全系列都使用了这颗双目摄像头。有效距离12.5米到25米，最大距离50米，在停车场足够用了。后双目使用130万像素图像传感器，水平FOV为120度，基线长5厘米，有效距离只有5米。4个鱼眼摄像头像素都为130万，水平FOV为185度，有效距离大约3米。所有摄像头的帧率都很低，仅为8帧，毕竟2011年的图像处理能力不强。12个超声波雷达，其中8个为前后短距离雷达，最远1.5米，4个为两侧长距离雷达，最远可达7米。超声波传感器垂直FOV为60度，水平为120度。

感知部分分三项，分别是定位、动态环境感知和静态环境感知。定位由瑞士苏黎世理工学院无人驾驶实验室与大众联合完成。静态感知部分，前后双目和超声波感知由博世完成，单目的SFM由苏黎世理工学院电脑视觉与几何实验室完成，大众完成栅格地图融合。动态环境方面，大众完成用双目目标追踪，立体假设聚类，单目检测与聚类、动态目标聚类、停车位线框增强都由意大利帕尔马大学用单目鱼眼完成。

上图为静态场景感知构成，也可以看作是三种传感器的融合，包括双目、超声波和鱼眼摄像头。

其中双目是核心。鱼眼主要使用SFM做3D重建，主要用来弥补双目视角窄的缺点。

双目相机可以提供几百个目标相对自车的距离，但是只要高度在某一区间内的目标的距离，也就是高度分割。这种类似于奔驰棒状像素的做法可以直接求得可行驶空间（Free Space），也可以只提供障碍物的距离数值。

为了弥补双目视角窄的不足，达到360度全覆盖的3D场景重建，特别附加了鱼眼360度SfM。SfM的全称为Structure from Motion，即通过相机的移动来确定目标的空间和几何关系，是三维重建的一种常见方法。它与Kinect这种3D摄像头最大的不同在于，它只需要普通的RGB摄像头即可，因此成本更低廉，且受环境约束较小，在室内和室外均能使用。缺点就是只能针对低速，小空间场合，且非常消耗运算资源。SfM算法是一种基于各种收集到的无序图片进行三维重建的离线算法。在进行核心的算法structure-from-motion之前需要一些准备工作，挑选出合适的图片。

首先从图片中提取焦距信息(之后初始化BA需要)，然后利用SIFT等特征提取算法去提取图像特征，用kd-tree模型去计算两张图片特征点之间的欧式距离进行特征点的匹配，从而找到特征点匹配个数达到要求的图像对。对于每一个图像匹配对，计算对极几何，估计F矩阵并通过ransac算法优化改善匹配对。这样子如果有特征点可以在这样的匹配对中链式地传递下去，一直被检测到，那么就可以形成轨迹。之后进入structure-from-motion部分，关键的第一步就是选择好的图像对去初始化整个BA过程。首先对初始化选择的两幅图片进行第一次BA，然后循环添加新的图片进行新的BA，最后直到没有可以继续添加的合适的图片，BA结束。得到相机估计参数和场景几何信息，即稀疏的3D点云。其中两幅图片之间的bundle adjust用的是稀疏光束平差法sba软件包，这是一种非线性最小二乘的优化目标函数算法。东芝的第四代视觉识别芯片中已经添加了SFM硬核。在停车场这样的低速、狭小空间，SFM还是不错的，当然和双目比还是精度差距较大，鲁棒性也不强，还需要轮速编码器。

前双目和超声波精度很高，SFM精度很差。

栅格地图由大众完成，局部动作规划依赖栅格地图，地图融合了多种传感器数据，对障碍物有明确的表示。传感器数据更新后使用贝叶斯过滤来确定栅格占有概率。大众使用两种栅格地图，第一种是驾驶层，是从驾驶员离开车后，车辆从停车场入口到停车位时使用，每个Cell的尺寸是0.1米，整体尺寸是50米，完全由前双目完成。第二层是停车层，Cell尺寸是0.05米，整体尺寸25米。前后双目，鱼眼3D重建和超声波数据融合。

上图为停车层栅格地图示意图

上图为Valet Charge的动态感知框架，就是双目与鱼眼相机的融合。动态环境感知主要就是目标追踪和识别动态目标，停车场主要就两种动态目标，车辆和行人，比较简单。目标追踪实际是用来做动态目标运动预测的，光流法可以准确预测目标运动轨迹，但大众没有用，只是用了简单的扩展开曼滤波器，因为光流法消耗运算资源比较多，在2011-2014年还比较难实现，不过双目的光流法相对比较容易，但在Valet Charge里，大众并未提及双目光流法，可能是因为奔驰握有双目光流法的专利。

在2011-2014年，双目传感器和360度全景相机都相当罕见，如今奔驰、宝马、捷豹路虎和雷克萨斯LS系列都可以装配双目，也有360度全景，为Valet Charge提供了基础条件。