如何克服边缘视觉的带宽限制？

 

在追求更高像素、帧率和空间分辨率的视觉行业，边缘视觉与图像采集面临巨大挑战。其中，1GigE相机输出已不足，传输问题有待解决。与此同时，图像传感器的快速发展也使接口带宽成为瓶颈。

 

虹科提出创新解决方案，通过图像采集卡实现压缩和预处理，满足高带宽、低延迟需求。开放的FPGA支持快速算法开发。虹科-Gidel FantoVision 40小型计算机是我们的杰作。这款产品连接多相机实现高效图像采集和处理，将打开视觉应用新篇章。

 

 

01

边缘视觉与图像采集挑战

 

边缘视觉是指将相机连接到边缘计算机或嵌入式计算机，并在云端进行处理或存储。此外，它也在一些机器控制方面发挥着重要作用。我们收到了客户的反馈，对于1GigE相机的输出已经不足以满足需求，因此只能将其连接到PLC。为了解决这一问题，我们需要相机的第二个1 GigE的输出通道，以便能够将图像数据传输到云服务器。

 

图1 边缘视觉的过程

 

机器视觉行业开始不断追求更多像素、更高帧率以及更高的空间和时间分辨率。正如图中所示，你能看到许多图像传感器（棕色点）。它们通过连接线连接到典型的接口，蓝线代表PCIe 3.0，红线代表CoaXPress v2 x4。然而，当图像传感器的带宽超过某条线时，接口的带宽已经不足以传输数据。

 

图2 不同图像传感器的参数对比

 

事实上，许多图像传感器的带宽比10GigE和CoaXPress v1更快，甚至比100GigE接口还要快。这表明图像传感器取得了巨大进步，能够提供高帧率、高像素和快速传输。尽管我们在接口方面也取得了一些进步，带宽速度不断提高，但仍面临挑战，特别是要与传感器的发展速度匹配，以及解决GPU和CPU性能不足的问题。

 

在面对高分辨率高速传感器的解决方案时，我们同时面临着多个瓶颈，例如摄像头接口、GPU和CPU桥接接口，以及CPU的负载和处理能力。实际上，计算机上送云端的带宽最好情况下也只有1G。

 

而如果有多个摄像头，情况会变得更复杂。想象一下有多个10GigE、CoaXPress或100 GigE相机，以100 GigE相机为例，速度每秒96千兆比特乘以摄像机的数量。然而，大多数情况下，电脑最大带宽接口PCIe 3.0只有48千兆比特每秒，这成为了一个关键的瓶颈。

 

02
 

解决方案

 

为了解决这些问题，我们提出了一种解决方案，即在多摄像头和CPU架构之间放置图像采集卡，从而实现压缩和预处理。图像采集设备能够提取感兴趣区域（ROI），进而减少总数据带宽。因此，我们需要满足实际应用的需求，包括高带宽相机接口、多相机接口、超高精度同步和可定制的IOs用于控制外围设备。在处理过程中，还需要低延迟、大DRAM以支持计算复杂的算法，因此需要多个千兆比特每秒的内存访问带宽。实时压缩和ROI选择是解决这些问题的有效方法。

 

图3 图像采集卡的作用

 

图4 图像采集卡的作用

 

考虑到开发人员的需求，便捷的开发也是一个关键因素。我们采用了开放的FPGA，使得软件工程师可以在图像采集卡上放置特定的IP，并利用FPGA集成开发环境快速实现算法和方案开发。这要求图像采集卡在灵活性和易用性方面也要表现出色。
 

 

最后，关于系统集成，我们考虑到若有PCI 3.0 x8或x16接口能够获得最大性能，并且具备小尺寸和被动冷却性能，我们未来或许可以考虑将图像采集卡和计算机合二为一。

 

 

03

虹科产品与解决方案

 

基于上文的发展背景，虹科推出了一款名为虹科-Gidel FantoVision 40的开创性小型计算机。这款计算机可以连接高达4台10GigE Vision或4台CoaXPress 2.0相机，从而实现图像采集和处理。该计算机的创新架构将高端图像采集与实时图像处理和/或压缩相结合，采用了Nvidia JetsonTM嵌入式计算机，并在Intel Arria 10TM FPGA上进行可选的预处理/压缩。

 

图5 HK-Gidel FantoVision 40产品

 

此外，虹科-Gidel FantoVision还有一个显著特点，即其开放式体系结构支持GPU和FPGA上的嵌入式AI/图像处理。软件工程师可以利用CUDA C/C++和NVIDIA的库在GPU上编写他们的算法。此外，使用新颖的ProcVision套件，在FPGA上开发和部署可选的预处理块既简单又快速。

 

通过多个虹科-Gidel FantoVision单元的相互连接，我们可以提供独特且可扩展的拓扑结构。利用InfiniVision开放式框架抓取器流程，我们可以处理多达100个传感器的同步数据。

 

综上所述，虹科-Gidel FantoVision为高带宽、低延迟应用提供了一种新型紧凑、经济高效、可扩展的视觉和成像解决方案。例如，在交通监测和面板检测等应用中，它能够提取和识别高分辨能够提取和识别高分辨率图像中的关键信息，如车牌号码等。这些信息可以通过云端或其他设备进行传输，而不需要过多的带宽。

 

图6 应用案例