多光谱传感器在汽车行业有何优势？

多光谱传感器在汽车行业的优势？

幻实（主播）：本期节目我邀请到了叠铖光电的CTO张博士,首先请您给我们介绍一下叠铖光电聚焦什么领域呢？

张友伟（嘉宾）：好的，叠铖光电是一家专注于做多光谱堆叠传感器的研发型公司，我们近期推出的主要产品集中在可见光和热红外的双光谱传感器。

比如说我们常见的摄像头，它是可见光的波段，然后我们还有热成像的这种摄像头，它只是在红外的波段，我们要做的就是把两种波段融合在一个传感器上，使同一个传感器能够实现对红外和可见光两种光谱的感知。

幻实（主播）：为什么当时会选择这种技术路线，有什么原因吗？

张友伟（嘉宾）：近年来新能源汽车行业快速发展，我认为自动驾驶将逐渐引领很多领域往后若干年发展方向，各种各样的传感器（比如可见光摄像头、毫米波雷达、激光雷达、热成像传感器等）会进入到车内。但是，我们发现很多情况下，单一传感器多多少少存在一些局限，它们各有各的优势，也各有各的弱点。比如说可见光传感器，在太阳逆光直射你的时候，或者夜间光线很弱的时候、天气状况不好的时候，它都发挥不了很大的作用。

幻实（主播）：我们传统的CMOS*传感器在这种点是有局限性的。

CMOS传感器：主要是利用硅和锗这两种元素所做成的半导体，使其在CMOS上共存着带N（带-电）和 P（带+电）级的半导体，这两个互补效应所产生的电流即可被处理芯片记录和解读成影像。后来发现CMOS经过加工也可以作为数码摄影中的图像传感器，CMOS传感器也可细分为被动式像素传感器(Passive Pixel Sensor CMOS)与主动式像素传感器(Active Pixel Sensor CMOS)

张友伟（嘉宾）：是的，实际上现在很多车厂也采用了多种传感器相互协作融合的工作模式，希望把各种传感器的长处结合在一起。

但也存在一些难点，比如各种传感器之间在时间上同步性，即两个分立的传感器在同一时间上是否能够同步，我看见某个物品的时候，另一个传感器是否也在同一时间看到此物。

再比如说我在这个传感器能够看到目标，在另一个传感器看不到目标的时候，我应该相信谁，在信息上有矛盾的时候我们应该做一些取舍。

幻实（主播）：您说的这些情况我估计现在都是有存在的，目前业界是怎么处理的？

张友伟（嘉宾）：是的，目前他们有制定一些策略，但是解决的方法并不完美。

例如在车的方向上，特斯拉是相对另类一点的，他始终坚持用纯视觉方案来解决自动驾驶问题，然后他前段时间好像把毫米波雷达也拿掉了。

Autopilot 自动辅助驾驶的视觉处理系统

（图源：Tesla官网）

特斯拉实际上它对成本及整体的性能要求都非常高，多传感器相融合这种方式在他看来成本过高，又不能很好的解决问题。

幻实（主播）：那么为什么我们的方案就可能会更好的解决问题，原理是什么？

张友伟（嘉宾）：因为我们把两个传感器堆叠在一起后，他们在时间及空间上都是同步的，得到的数据是一致的，这样我们就解决了一些特殊场景和信息矛盾的问题。

同时，在我们可见光加红外多光谱的图像上面，它每个像素包含的信息更多，识别率更高。在进行人工智能识别的时候，它实际上要有一个搜索空间，用了我们这个传感器以后它的搜索空间会减小，因此需要的算力也会更少。

他们如何实现“1+1>2”的高性价比

幻实（主播）：目前来说咱们堆叠的传感器首先要进入的市场或场景是哪一个？

张友伟（嘉宾）：目前我们首先考虑汽车这个行业，不管是自动驾驶还是辅助驾驶，使用我们传感器之后都能够有很大的提升，同时在工业产品、安防消防等场景，包括一些其他的特种行业，实际上都可以得到很好的运用。

幻实（主播）：假如汽车市场采购了我们的传感器，是不是传统的视觉传感器就不被需要了，就像最近美国上市的一家激光雷达公司。您怎么理解你们的产品和他们产品之间的一个融合性？

张友伟（嘉宾）：其实我们的产品在可见光的维度上面是对它的一个增强，并非使用了我们的传感器就能实现自动驾驶，只是说我们的产品相较于现有的传感器是一个很大的进步，为后期实现L4（L4级自动驾驶是指高度自动驾驶，能够实现驾驶全程无需驾驶员任何操作，但也会有限制条件）或更高级别的自动驾驶提供了更有力的工具，也并不是要取代其他的传感器。

幻实（主播）：这个方向国外也有做吗，还是说是我们是首先提出来往这个方向去走的？

张友伟（嘉宾）：目前我们倒是没有看到别人在这么做，但并不只是我们拥有这项技术，在军工和航天领域有过这样的一些应用先例，在民用市场上面我还没有看到。

幻实（主播）：所以这真的是一个开拓性的应用，你们向客户推广产品的时候觉得有压力吗？

张友伟（嘉宾）：其实还好，客户还是非常感兴趣的，所以我们一直在努力尽快把这个产品落地，并进行量产化。

幻实（主播）：堆叠而成的增强式多光谱传感器，相比于原有方案的造价，会增加很多吗？

张友伟（嘉宾）：事实上芯片量产化以后，虽然它的成本增加，但边际效应是递减的。所以将来产品价格可能比现有的可见光会略高一些，但是并不是特别的昂贵。

幻实（主播）：在汽车方面，大家还未放弃对提高安全性而开拓应用，那在工业市场有没有什么具体的方向可以跟我们分享一下？

张友伟（嘉宾）：可见光及红外线能用的地方我们都能用，所以我们其实是可以从他们的方向切进去的。

幻实（主播）：也就是说你们要去找一个既要用可见光，又要用红外的场景，以此实现高性价比。因为你们解决了互联互通时效的各种问题，所以听起来还是一个挺有意思的角度。

那咱们团队是什么样的一个背景，是全部要做硬件，还是说需要嵌入式软件，需不需要做应用的一些开发？

张友伟（嘉宾）：其实我们的核心团队以前是中科院的背景，我们在红外这方面有很大的积累，我们开发出这样的一个传感器，包括后面的模组，需要的是光学和结构、算法、软件、电子各方面的人才，所以这是一个需要各种技术综合的一个系统工程。

幻实（主播）：而且还要懂工艺，因为你们自己还要改工艺，我觉得这个好难啊，门槛很高，因为做出来之后可能芯片的制造、产线都要配合你们去做调试，听起来你们选了一条艰难的路，当时有没有什么顾虑？

张友伟（嘉宾）：顾虑倒是没有，因为我们主要的核心团队人员以前是做科研的，我们非常享受创造的过程，做出一些创新的东西是非常兴奋的。

幻实（主播）：做科研与考虑商业化不一样，商业需要我们先算算账，可能这个东西回报周期太长，兴趣就会大大减弱。那么，叠铖光电的产品从技术方向来说到了哪个阶段？

张友伟（嘉宾）：按照今年的计划，我们大概5月份会推出模组型的产品交付客户，之后我们会做一些量产化的工作。

幻实（主播）：也就是说你们现在是有定向开发的客户了，这是一个很不错的阶段，您预计这款产品到量产中间可能还会遇到怎样的挑战？

张友伟（嘉宾）：首先实现传感器的这种堆叠技术，在工艺上面是有一些门槛的；其次，我们后期量产产生实际数据后，需要对可见光跟红外完全融合的多光谱数据进行处理并形成数据库，这样的数据库实际上先前是没有的；不仅如此，基于数据库的算法也是先前没有的，这些方面都是巨大的挑战。

幻实（主播）：也就是从无到有的一个积累期。创新是要靠不断地尝试，一点一点积累而成，但你们一旦突破了瓶颈，别人再进入市场就没那么容易。

张友伟（嘉宾）：没错，这个领域存在先发优势。

多光谱传感器应用于车内的场景感受

幻实（主播）：很难想象这个产品在车里真正用到的时候，从我们驾驶的感受上来说会有多大的变化，你能不能给我们场景化的描述一下感受？

张友伟（嘉宾）：其实对于实现自动驾驶的情况来说，一方面是我们可以实现在各种气候、光照条件下，都能够很好的进行自动驾驶识别，另一方面是用户体验有所提升，用户不需要不断的去接管它，突发情况变得更少了。

幻实（主播）：对，因为我们经常会发现前面遇到一些复杂情况，这时候就需要你去接管它了。

张友伟（嘉宾）：尤其是傍晚的时候太阳西照，光照条件发生变化就需要人不断的接管。

在夜间，可见光其实是很弱了，但是在红外波段依旧能够非常好的探测目标，尤其是探测到比如人这种活动目标，它的优势非常明显。

夜间叠层合并及识别效果（图源：叠铖光电官网）

幻实（主播）：所以全天候就代表无论有光没光，你们都有办法来解决了。这确实是一个新的角度去解决问题，因为我们一般都会想大家是不是都配备了视觉毫米波和雷达，但都配备了确实会出现您说的问题，他们之间出现信息矛盾怎么办，谁更具有话语权？我现在想一想，其实车场在调大家的权重时也是真不容易的。

好，非常感谢您今天给我们科普了一个全新的角度，最后您有什么想借助我们的栏目平台，有没有什么想对外号召或者呼吁。

张友伟（嘉宾）：我们这个平台是一个非常好的交流平台，我们希望通过这个平台把我们的东西介绍给更多的人，同时也能够与行业界人士进行更多的交流，我们相互学习，共同进步，促进我们整个国家智能传感器行业的发展。

幻实（主播）：张博士很谦虚，你们的技术方向需要和客户或者是产业的下游进行一些绑定的开发，如果说我们的听众有做这方面，既要用到红外又要用到可见光，但是又对他们同时产生的效果不满意，欢迎大家联系叠铖光电，说不定会另辟蹊径带来更好的效果。

从整个传感器产业来看，随着以人工智能、5G通信、大数据等为代表的智能化时代到来，传感器受到了世界各国的普遍重视。传感器产业作为国民经济的基础性、战略性产业，对促进工业转型升级、发展战略性新兴产业发挥着重要作用。

汽车传感器是一个鲜明的例子，智能汽车的快速发展正不断催生自动驾驶传感器的快速发展，未来智能汽车的渗透率会不断提升。文中所提到的将高动态范围可见光、热红外、SPAD传感器集成在同一片芯片上，实现传感器之间的融合一致，给自动驾驶场景注入了想象力，总体来看，理想状态的自动驾驶模式并未走入人们的生活，智能驾驶技术仍然存在很多难题亟待突破，伴随更多创新技术的导入，智能汽车行业势必将迎来更具创造性的新场景、新应用。

编辑：黄飞