太牛了！这家公司创造了“模拟人眼、基于事件的视觉传感器”，获创新工场、小米、韦豪创芯投资

电子发烧友网报道（文/黄晶晶）日前，世界领先的神经拟态视觉解决方案企业普诺飞思（Prophesee）宣布C轮融资，由创新工场领投、小米及上海韦豪创芯跟投，数家老股东加码。在最近的一次媒体交流会上，普诺飞思联合创始人兼CEO 卢卡·维雷（Luca Verre）、普诺飞思大中华区商务发展主管Johney Lu、普诺飞思高级现场应用工程师Cyrus Lo、创新工场合伙人方益民以及创新工场投资总监王震翔与包括电子发烧友网在内的媒体进行了充分交流。

硅基视网膜，或称基于事件的视觉传感器

Luca解析，这个产品的原本模型来自于模拟人的眼睛，眼睛事先预处理信息，只留下对大脑决策有用的信息，通过视神经传导到大脑。
 
传统的图像传感器以一帧一帧的图像，只对场景中的变化产生反应，这些场景中的变化一般和场景中的物体运动有关。
 
普诺飞思设计的硅基视网膜或称基于事件的视觉传感器，类似于人眼视没钱系统的运作原理，它是持续的以事件为基础，具有异步特性，在生态视觉系统当中，始终没有一个固定的类似于传统图像传感器的取样频率。


 
这种新的视觉系统能带来三个比较大的好处：

1、减少冗余数据，就是需要处理的数据量会变少。
2、能够加速识别检测的速度。
3、能够增加动态范围，能够适应极端的光照条件。
 
具体来说，基于事件的视觉传感器不像传统的图像传感器那样，生成一张一张的图像，而只会对场景中物体的运动变化产生反应，即背景没有任何变化，传感器不会对静态的背景信息反复地取样。
 
因此在处理时间和速度上，基于事件的视觉传感器的处理流程更高效，系统处理速度更快。
 
目前，普诺飞思从第一代的QVGA到HD高清视觉传感器形成了一系列的产品，最近与合作伙伴索尼共同开发出了一款市面上尺寸最小的视觉传感器。小尺寸传感器成本更低，更易于集成，例如应用于智能手机、笔记本电脑、机器人等消费类电子产品。

软件工具与基于事件的视觉传感器相配合

普诺飞思设计基于事件的视觉传感器的同时也推出了相关的软件产品与服务。Luca表示，因为我们的视觉传感器为客户带来了新的前所未有的数据类型，因此我们需要为客户提供分析工具和软件，来使用这些全新的数据，帮助他们建立全面的应用。
 
普诺飞思推出了独有的MetaVision智能套件，它是一个非常全面、综合性很高的软件开发工具。可提供95种计算机视觉或者AI的算法、67种代码示例、11个即用型应用程序，这些都在SDK当中供客户使用。MetaVision智能套件包括六个主要的模块，即机器学习、3D计算机视觉，还有分析等等不同的模块。
 
普诺飞思现在还提供完整的机器学习工具包，内含最大的高清公共数据集、模拟工具、以及可监测对象活动的不同模型。此外，还包括机器学习的相关内容，此外MetaVision还为业界提供基于事件的开源工具，开发者可以通过普诺飞思的技术探索发现全新的可能性，并实现进一步的发明创造。

典型应用场景

基于神经拟态视觉系统的座舱监控技术

普诺飞思与Xperi合作推出的全球首个基于神经拟态视觉系统的座舱监控技术，Xperi是一家美国企业，致力于研究包括驾驶监控在内的多种前沿技术。


普诺飞思推出的驾驶监控技术可通过对驾驶员眼睛、表情的监测，以及计数驾驶员的眨眼频率，从而对他目光注视的情况进行监测。普诺飞思的独特技术能够为驾驶监控提供高速的视觉处理功能，此外，还能够应对非常严苛的光线的环境。
 
它的特点是速度快，可以高速追踪眼球以及目光，追踪眨眼的行为，因为当人在疲劳的时候，眨眼频率和速度都会大大提高。传统视觉只能推测到眨眼的动作，但不能测算眨眼的速度。此外，它具有极高的动态范围，在面对阳光时，如果拉下遮光板，这个区域会比周边暗，传统视觉传感器的处理要么看不到眼睛，要么在脸部其他部位过曝，而普诺飞思的传感器可以同时检测亮处与暗处的信息。还有，能够透过太阳眼镜看眼睛，太阳眼镜的反光不会对检测造成影响。
   
基于事件的高级驾驶辅助系统
 
在这个系统当中，车上安装了三个基于事件的传感器，以及一个激光柱，激光柱进行扫描，Prophesee的传感器会追踪激光柱的灯光，然后对扫描的内容进行3D建模，从而分析前端路况。
 

 
在激光扫描的时候会经常碰一个问题，即点不够多，且循环比较慢。普诺飞思补足了激光的这个短板。利用激光的精确度优势以及传感器的速度，可以直接造出一个非常精准高速的3D Point Cloud，令自动驾驶平台效果大幅提升，实现更安全的驾驶。
 
医疗案例
 
普诺飞思和Cambridge Consultants共同开发了通过细胞实时无菌检测方式实现的下一代细胞疗法。
 
可以在利用细胞作为介质生产的产品中寻找细菌和杂质，比如做胰岛素。用传统的方法需要几天的时间才能够完成这样的生物学检测，但是用基于Prophesee的传感器技术的设备，可以在几微秒时间内完成检测。


另一个医疗应用案例是Prophesee和GenSight共同开发的，让失明患者借助光遗传疗法恢复了部分视力。“硅视网膜（silicon retinas）”，能够将信号发送给大脑进行处理，该技术可专门针对于一些晚期的视网膜色素变性的病例。GenSight所生产的护目镜当中运用了普诺飞思的技术，可以通过失明人士视网膜中所植入的投光器对视觉系统进行光刺激，进而让其恢复一部分的视觉功能。


用于智能手机，改善拍照质量
 
传统上基于帧的技术，拍照的时候会产生运动模糊的现象。例如在拍摄宠物奔跑照片时，如果灯光条件不是特别好，曝光时间一般会比较长，拍摄结果就会较为模糊。


 
原因是传统RGB以图像为基础的技术主要是为了捕捉静态的图像而设计的，而普诺飞思的基于事件的技术，就是为了捕捉动态信息而设计的。
 
如果将这两个技术，静态的以帧为基础的技术和以事件为基础的技术相结合，左边是单纯的基于帧的技术所拍摄出来的画面，右边是结合了基于事件的技术的结果。将基于帧和基于事件的技术相结合，能够产生更好的照片效果。
 
有些视频有很多非常模糊的场景，因为光线不是非常好，加上画面当中的人也是在移动的，所以人像是模糊的，画面中楼房侧面的样子也是模糊的。而通过基于事件的技术可以修正运动产生的模糊。视频中的人像非常地清晰，建筑物也能够看清非常多的细节。
 
此外对于机器防抖，一般会借助于IMU，或者物理光学防抖。但这种解决方案主要用于自身防抖。但当被拍物体由于移动速度过而快造成的模糊时，就需要依靠以事件为基础的技术来解决。

软硬件方案筑行业壁垒，获得融资后Prophesee重点扩大中国市场规模

即便任何一家手机厂商或者自动驾驶公司拿到了这颗芯片，但处理数据流也是难题，因为一些厂商的算法工程师通常处理基于帧的数据，换句话说，Prophesee的技术解决方案涵盖底层、算法、应用软件，建立了深厚的行业壁垒。创新工场表示，这也是他们看好Prophesee并投资的重要原因。此次创新工场、小米、豪威等机构的投资，正是为了加速普诺飞思技术的迭代，针对广大的中国下游客户市场，让这项黑科技快速大规模商业化落地。
 
为了加快普诺飞思在中国市场的落地，公司已经把中国总部设在上海，Luca表示，目前我们的重点是对中国市场进行大规模的投入，在中国扩充我们的团队，推广我们的技术和应用。我们最终的目标是将普诺飞思打造成一个全球性的公司。那就要在全球最大的市场取得成功，也就是在中国取得成功。
 
四年来，Prophesee与索尼进行了合作，普诺飞思主要在IP方面发挥自身的优势——基于事件的视觉技术；索尼主要发挥它在先进制造工艺方面的优势。Prophesee的视觉传感器被称为下一代的CIS，韦豪创芯正是看中这一前景也对Prophesee进行了投资。
 
本文由电子发烧友原创，作者黄晶晶，微信号kittyhjj，转载请注明以上来源。如需入群交流，请添加微信elecfans999，投稿发邮件到[e-mail]。