基于Xilinx reVISION Stack Demo双摄像头采集图像

在近期举办的嵌入式视觉大会上，来自Xilinx合作伙伴安富利（Avnet）的高级FPGA/DSP设计工程师Mario Bergeron向大家展示了一款双摄像头采集图像并实现融合的演示Demo。硬件平台采用的是Avnet PicoZed SOM（片上系统），核心集成的是Xilinx Zynq Z-7030 SoC，同时还用到了PicoZed嵌入式开发套件的FMC扩展板卡等模块。采用的两款摄像头分别是FMC接口的Python-1300-C彩色图像传感器，分辨率达1280x1024，配置灵活，敏感度高，性能高，主要应用于工业图像采集应用，同样是安富利（Avnet）公司设计生产的。另一个摄像头采用的是FLIR红外热成像传感器，输出60x80分辨率的红外视频流，通过Pmod接口实现与PicoZed SoM的通信与数据传输。

图1：安富利（Avnet）双摄像头图像融合应用模块设计

首先对彩色图像进行了Sobel边缘检测处理，然后对红外图像进行拉伸处理（warped）并重新调整大小（resize），这样才能够将两幅图像进行融合。开发过程中充分借助了Xilinx reVISION Stack资源，Sobel边缘检测和重新调整图像大小的算法都直接来自reVISION Stack提供的算法库，图像融合部分是工程师Mario Bergeron采用C语言实现的，因为这三部分算法模块都是计算密集型任务，因此采用Vivado HLS进行综合创建硬件加速器模块，然后借助SDSoC工具实现加速器模块与ARM处理器的通信连接，生成软件接口驱动程序。

图2：安富利（Avnet）图像融合方案设计开发流程

整个系统的性能如何呢？我们以Sobel边缘检测模块做一下对比，如果采用非硬件加速的Sobel算法，使得Zynq Z-7030 SoC的ARM Cortex-A9处理器的负载瞬间达到100%，输出的图像也仅为1帧/秒，如果采用硬件加速即使用Zynq Z-7030 SoC的可编程资源来实现图像输出能够达到30帧/秒，同时ARM处理器的负载也降低了80%，具体测试情况如下面视频所示：

Xilinx reVISION Stack包括丰富的平台、算法和应用开发资源，支持最流行的神经网络，针对应用层开发，提供完善工业级框架，包括面向机器学习的Caffe和面向计算机视觉的OpenVX。Xilinx reVISION Stack支持更广泛的没有或者很少硬件设计专业知识的嵌入式软件和系统工程师，使其与机器学习、计算机视觉、传感器融合，从而可以更快速地开发视觉导向的智能系统。