双目视觉相机的产品落地化

2019年7月5日，由博闻创意和CCIA智能网联专委会、佐智汽车举办的「2019中国汽车互联与车路协同大会」在深圳举行。中科慧眼CMO邱田先生在会上发表了题为“双目视觉相机的产品落地化” 的演讲。

各位佐智汽车的朋友们，很高兴中科慧眼又在这里和大家见面了，我是中科慧眼的邱田，在公司负责产品营销。我相信在座的朋友对中科慧眼并不陌生，但是我是第一次站在佐智汽车的平台上跟大家做讨论和分享，首先我要感谢佐智汽车给我这个平台，同时我也非常荣幸地在这里跟朋友们一起分享和讨论我们的产品，谢谢在座的各位朋友。

在双目相机领域是非常煎熬和纠结的，煎熬来自哪里呢？大家可以知道双目立体视觉不管从算法和软件，还是从硬件，包括结构，以及结构件的质量，到最后的标定，都是非常庞杂的系统。作为销售来说，在这个过程中是非常煎熬的，我们当然希望我们的产品能够尽快地推向市场，但是在产品落地的同时，我们还要经过大量的测试与技术团队的支持，才能达到最终的可靠性和稳定性，所以这个过程是非常煎熬的。纠结是在哪里呢？这么好的一个东西做出来以后，我们发现市场对双目立体视觉的认知是比较陌生的，我们就必须在市场和产品中间找一个平衡点。我们当然是希望我们用心做出来的产品，能够得到市场的接受，同时能够得到好的回报，这是我们做销售的本质。所以在这里面就很纠结了，必须找一个平衡点。我们在这个煎熬和纠结的过程中，始终不言放弃，终于有所小成，有幸给大家来讲双目立体视觉产品的量产化落地。我讲得合理的地方，也希望在座的朋友给予支持和鼓励，如果有讲得不准确的地方，也请大家海涵指正。

中科慧眼成立于2014年10月，我们是国内率先在双目立体视觉领域做研究和开发的企业，同时我们也是国家高新技术企业，也是中关村的前沿科技企业。很荣幸我们在2017年成为了百度阿波罗的生态成员，也是到目前为止阿波罗基金投资的唯一一家智能视觉传感器公司。从2014年到现在，这么多年来，我们从自动驾驶的L4、L5做到了前面的智能驾驶的L3，再做到前面的L2、L1。可能有朋友会问，你是说反了吧，为什么从难的做到简单的，而不是从简单的做到难的？但是我们公司的发展路径确实是这样，我们最先做了一系列L4到L5级别自动驾驶的产品。经过这么长时间的磨练，我们公司的产品可以覆盖L0到L5智能驾驶各个阶段需求，同时我们公司也申请或获得百余项专利授权，基本上覆盖了双目视觉这个方向的大部分的专利点。

以上是双目视觉的基本原理。我相信在座的朋友如果听过中科慧眼的CTO崔博士和COO孟总的介绍，可能对双目立体视觉的原理是非常清楚的，而且在网上各种技术帖，以及我们的宣传材料，都能了解到双目立体视觉的基本原理，所以我就不花过多的时间赘述。做销售来说，我们是希望用最简单、最通俗易懂的语言让大家了解我们的产品，这样我们就圈重点。

双目视觉无需建模就可直接由立体点云提取障碍物，利用视差精准测距而非识别后估距，并可利用单路图像识别障碍物类型，形成高质量的单双目融合感知数据。

双目视觉既有类似激光雷达的高密度点云的特点，又具备视觉识别的能力。

在双目视觉的基础上，我们可以用更简单、更通俗易懂的办法让大家了解我们的双目产品，你可以把它近似理解为100米以内的一个千线激光雷达加彩色相机。

可能很多朋友会问，你们这个双目相机有这么牛吗？我说几个场景，你们能不能搞定？第一，大雪天，前面白茫茫一片，能搞定吗？确实搞不定。不光是大雪天，如果是一个白墙放在我们面前，没有任何纹理的话，我们也是搞不定的。那你又会问，其它的极端天气呢，比如说大雨、大雾，你们能搞定吗？非常抱歉，我们还是搞不定，因为我们是可见光的视觉，我们的能力和人眼是差不多的，这种情况下我们只能说你尽量少开车或者是不开车。又有一个问题，如果有玻璃，你能识别吗？玻璃是通透的，如果没有任何反光，也没有任何机理的情况下，我们也是搞不定的。当然，我们用任何一个传感器，都有它的优势和劣势，我希望咱们利用双目相机的优势。

大家可以看到双目视觉其实在很早的时候就在欧美以及日本，都运用在车载上了。从1999年开始，斯巴鲁就已经搭载了最早的一个双目相机，当时是日立给它做的。到2016年的时候，宝马、奔驰、捷豹路虎都在他们最高配的车型上搭载了双目视觉。从2016年到现在，大家可以看到双目立体视觉的发展趋势是从顶配的高端车型慢慢向中端甚至低端的车型覆盖。这里面说明两个问题，第一是大家对主动安全的意识有提升，第二是在车载视觉传感器的领域，大家开始慢慢接受双目的传感器。

目前博世、大陆、日立、奥托立夫、电装这些大企业都在研发、采用，以及加快脚步推行他们的双目视觉产品。

上图中日立装在斯巴鲁上的双目相机，它的基线是比较长的。另外，博世为捷豹路虎提供双目相机，大陆为宝马提供双目相机，奥托立夫为奔驰提供双目模组，他们做得都是非常好的。

在这个大环境下，中科慧眼也推出了我们的全车规的双目模组，我们给它取名叫岩石城。

下面是我们和主流的车规级双目立体相机参数的对比。

表中，双目相机的距离，我们称之为基线。双目相机离得越远，基线越长，就可能看得越远。但是有个弊端，双目相机看得越远，近距离的盲区就可能越大。我们根据国人的驾驶习惯，还有国内的路况，选择了一个折中的方案，我们做了12厘米基线的双目模组，在2米至100米的范围内，最大测距误差3%。

下图是双目视觉的左右相机成像数据，还有的立体匹配视差的伪彩色图像，冷色系表示远，暖色系表示近，每一个像素都有一个距离值，最终就形成这样一个深度图，这就是从实景成像到深度图的转换过程。

上面是我们的一个路测视频，可以看到这里面过马路的人和非机动车，可以直接通过深度图做出较好的障碍物分割。我们都知道单目视觉是建立在数据库基础上的，比如说针对行人，需要把他们的样本拍摄下来，他的正面、侧面，等各个姿态的图像，以供视觉训练建模。在实际应用场景成像中如果有行人出现，系统就可能识别出行人目标，并通过行人的图像大小估算距离，这是单目视觉的大致原理。双目视觉的原理是可以不依赖先验数据库，直接通过深度图像做环境分割。我们所谓的分割是说，我们提取了这个点云图，以地面为界，与地面接触的成一定距离聚类的区域，我们称为障碍物。所谓的障碍物，在车辆安全这一块，我们都是不建议去碰撞的，而且它是针对所有的物体，我不需要认识他是谁，我只需要判定他是否是危险的障碍物。

我们的双目测距的方式有两种，一种是基于面的测距，一种是基于边的测距。基于面的测距，我们大部分是针对无人驾驶或者自动驾驶的车辆，比如说百度的阿波龙无人驾驶车，还有无人送货车，基本上都是用的上面这种基于面提取的点云图。还有一种是基于边匹配的，这是我们基于边的一个点云图。我们希望下面的这个数据用于智能驾驶或者辅助驾驶。基于面的点云非常稠密，需要的计算量更大。

刚才我大致回顾了一下我们双目立体相机的原理，包括它中间的一些数据，包括它的一些测距流程，看看我们的双目相机大致能用到哪些领域呢？后面讲的就是我们市场化的一些领域。第一是支持二次开发的双目立体相机模组，可以利用我们的双目相机点云，做这样一些应用，包括有无人送货车、环卫车、无人巴士，还有和JMC合作的无人轻客车。可以看到我们所运用的场景和领域是比较广的，它不仅仅是针对正规车辆，像这些特种车辆，只要是要实行无人化，或者是实行自动驾驶，都会用到我们的双目传感器。

后面还有一些更特殊的领域，这些领域可能有的大家都接触不到，但是我们是很了解的。下图中第一个水质监测船，以后中国的内海地区大概一到两公里都会布置一艘水质检测船，因为现在大家对环境污染这一块是很在意的。第二个是无人驾驶的收割机，是用在大的农场的。还有无人驾驶的火车，以及无人驾驶警察巡检车，它也是固定路线、固定拍照的。我们讲到火车自动驾驶的时候，大家可能会说，你这是吹牛的吧，火车怎么自动驾驶？你们可以看到这种火车不是通常意义上的火车，它的一是在大的站场里面的火车，比如说钢铁厂、煤厂，它是固定路线，来回运动的，它就是把煤从这边搬到那边，把钢材从这边搬到那边，所以它是固定路线的，又是固定速度的。在钢铁和煤厂的环境下，是不适合人在里面去操作的，对人的健康是有一定影响的，所以他们现在在利用能落地的高科技的东西，把它做成自动驾驶。

这是我们针对上面所说的各种项目做的各种双目相机。最后这个已经是一个四目相机，这是我们下一代会推的，因为慢慢的自动驾驶汽车上路了，它就必须要识别车牌、速度、红绿灯，通过四目相机可以识别。前面是我们的双目相机，就是针对刚才我讲到的那些不同项目的车型、不同种类的车型开发的立体相机。这里面会牵涉到一个非常重要的能力，就是工业设计的能力，在不同项目的开发中，它的重要性是不可替代的，因为它会了解它的使用环境，包括双目相机的结构设计，包括搭配它这个产业的外观，让客户第一眼能够看到我们的产品是专业的，也是符合他的产品气质的。

从下图大家可以看到不同焦距、不同视角，适应不同车速的应用场景。最小的3毫米、4毫米焦距的相机，大部分是针对室内的，比如说AGV、室内机器人，在低速状态下使用。6毫米到8毫米焦距的是针对一些中速度的无人驾驶场景，比如说阿波龙，用的就是6毫米焦距。10到12毫米焦距就是运用于自动驾驶这个常规场景上的焦距。到25毫米焦距的时候，就是应用在一些非常快速的领域，比如说快速列车，应用在很快的速度场景下。

前面讲的都是我们的双目相机应用于各种自动驾驶、无人驾驶领域的场景，接下来就是稍微接地气一点的，也是在座的各位比较关注的品类，我们叫AEB。

AEB简单来说就是汽车的自动刹车，它有一个自动控制的功能在里面。交通部在今年3月份提出了一个1242的指导性文件，可能在座的很多人都知道这个协议。在AEB这个系统上我要讲的是什么呢？可能之前大家做的更多的是辅助驾驶，它包括语音提示、图像警示，没有牵扯到对本车的干预，所以在行驶过程中，大家可能觉得有一点，就是我们的产品刚装上去一个月的时候，你会觉得好像有点用，因为它的报警声，你会觉得好像前面是有状况了，我要看一下。但是当你用上三个月以后，你就已经习惯了它的声音，不觉得这是一个警示音，而且你的语音做得越好听，就越容易忽略。在AEB这个场景下，只是提示音就行不通了。只是提示的话，驾驶者看见了就看见了，我看不见你也不能怪我。所以在之前的ADAS这个领域，大家都是在预警、提示，当我们出现疲劳驾驶的时候，特别是针对大客车、大货车，在疲劳驾驶的时候，你提示他是没太多作用的，必须加入主动的干预，所以我们就推出了主动控制类别的产品，叫自动紧急刹车系统。

左边上面是我们的实景图，下面是录屏的点云图，可以看到上面的实景和下面的区别。第二幅是我们夜测的视频，可以看到我们的相机识别是非常明朗化的。第三个视频是我们在模拟一个非标物体突然冲到路中间的时候，我们的AEB的表现，你可以把它认为是一个异形物体，因为这个并不像人。最后这个视频是我们拿了一个模特站在路中间，也是测试我们的双目相机对它的识别。所以我一直强调的是，咱们的双目立体相机是不用针对标准物体，我针对非标物体也是可以判别的，因为在刹车这个领域，比如说路中间一个石头、一个草丛、一个灌木丛，包括是一棵树，或者是一个沙发摆在路中间，有很多传感器是不认识它的，刹车就不会做得很精准，双目能完美地解决这样一个问题，我们会通过所有的点云图像，提取的障碍物是非标的。

下面是在福建的公交车上安装的我们的产品，我们目前在宁波、福建、杭州都有列装在公交车上，用户的体验非常好。

右图这是我们应用于商用车的产品，是我们的二代产品，叫猎户座。

我们的产品还能用到一些特种市场。大家可以看到这样一个场景，我抓一个房车的应用会比较有代表性。大家知道现在的年轻人，包括90后甚至00后，他们不再满足于去一个固定的景点旅游，他们现在比较流行找一些他自己喜欢的地方，约好几个朋友一起开着房车出去旅游，这是未来慢慢会形成的一种比较流行的旅游方式，因为他既可以自己选景点，而且又解决了住宿的问题，并且在野外，大家一起吃吃烧烤，这种场景想想都觉得挺美好的。但是这里面会有一个什么问题呢？一般的房车都是租赁的，你不可能为了自己去旅游而买一辆房车放在家里，因为你平时也不怎么开，所以大部分的房车，都是做的租赁市场。租赁市场会牵扯到一个问题，我们开惯了小车的情况下，再去开房车，对于房车的车宽车高，你没有专业的判断能力。你开惯了小车，不会在意它会不会撞到限高杆、会不会撞到桥墩。在这种情况下，就很容易发生图中这样的事故。但是作为房车来说，这种事故是绝对要杜绝的，因为一般房车上面这个部分都是床，可能自己的小孩或者妻子在上面，要么在睡觉，要么在玩，你如果一旦撞上去，我相信这个旅途是不会愉快的。针对这样一个运行的痛点，我们也做了一个特殊的双目相机，我们叫睿目S1。

（视频播放）这是刚刚在杭州发生的一个事故，一个大的货柜车，上面有一个人行天桥，在没有限高的警示下，不觉得这是个问题，它就直接开过去了，大家可以看到这个天桥被撞掉下来了。在这个场景下，如果之前有报警，就可能不会法身这样的悲剧。这还是一个非典型的事件。刚才我们讲的房车领域，那是很典型的一个事件。因此我们在限高这个领域做了我们的产品，叫睿目S1。

为什么限高这个事情这么令人头疼呢？第一是毫米波雷达或者是单目相机，它没法做这么多分类。限高杆在不同的地方形态各异，有的是桥洞，有的是这种小杆，有的是一个大的铁块，而且这种一般是在一些偏远一点的地方，一般高一点的车辆在这种地方是过不去的，通过我们这个产品，可以避免车辆撞上限高杆。我们这个产品现在在多家商用车公司做了前装定点，这个是非常刚性的一个需求。

车载双目相机的研发过程是非常艰辛的，我们从2014年成立到现在，用了5年的时间，终于进入了能量产化落地的阶段，我们能找到这些市场，把我们的产品运用到解决生活中的问题上，我们也是比较开心的，当然这个过程也是比较煎熬的。车载双目相机的性价比是比较高的，而且市场前景是非常广大的，所以我也希望在座的朋友们给予中科慧眼更多的支持和鼓励，中科慧眼在双目这个领域会一直做下去，而且会做得更好，尽可能多地解决我们生活中的很多问题。