莱迪思技术专家分享：基于FPGA的视频监控时代

　　作者：莱迪思半导体公司 Kambiz Khalilian

　　视频监控市场及发展趋势

　　不断升级的安全问题迫使各国政府和机构在监控和安全设备上投入巨资。此外，在图像及视频处理领域的技术创新彻底改变了视频监控行业，这不限于安防，还包括银行、交通、教育、零售、医疗保健，游戏和其他领域。根据ABI Research的预测，整个视频监控市场的收入将从2008年的16亿美元增加到2015年的29亿美元，有9％的复合年增长率。

　　视频监控已经从模拟标准清晰度摄像机和VCR转变到兆像素的高清摄像机，以及DVR到通过以太网的IP网络摄像机的视频流，到基于云计算的网络视频录像机（NVR）。取代了现场观看，连续记录和通过记录材料的可视化搜索，智能摄像机和录像机目前已能够实施基于事件的录像和报警触发，并通过记录材料自动搜索。

　　这些先进的安防和监控设备与先进的图像传感器技术和半导体的图像信号处理功能紧密结合。这些包括摄像机的架构，传感器接口/传感器桥接、图像信号处理、高动态范围（HDR）处理和视频分析。

　　摄相机的体系结构

　　一个典型的摄相机由图像传感器，图像信号处理器和一些输出接口所组成。除了这些功能块之外，摄相机还可以包括视频压缩或视频分析功能。图1示展示了LatticeECP3 FPGA器件上实现兆像素网络摄像机的一个实例。

　　

　　图1 用FPGA实现的摄相机架构

　　传感器接口/传感器桥接

　　通常图像信号处理器（ISP）有一个或多个图像传感器接口。最常见的图像传感器是CMOS传感器。较低的分辨率和较低的帧速率传感器可以通过并行接口连接到ISP。更高分辨率和更高帧速率的图像传感器需要高速的接口，包括MIPI、Aptina HiSPi或sub-LVDS接口。低成本的ISP通常只支持一个并行接口。因此，传感器桥接功能必须能够转换MIPI、HiSPi sub-LVDS信号至并行接口。低成本的FPGA可用于转换MIPI、HiSPi或sub-LVDS接口至并行接口。在图2中，莱迪思的MachXO2 FPGA用于转换来自两个Aptina图像传感器（MT9034）的HiSPi传感器信号到一个并行格式，然后用TI DSP器件（DM8127）进行处理。

　　

　　图2 使用FPGA的传感器接口桥接应用

　　图像信号处理（ISP）

　　图像信号处理器（ISP）通常由多个视频处理算法组成，对输入的视频流，以集束流水线的形式执行图像增强和转换功能。图像流水线可以实现为软件在计算机，FPGA或数字信号处理器（DSP）上运行，或作为一个专用应用标准产品（ASSP）。

　　

　　图3 用FPGA实现的图像信号处理器（ISP）流水线

　　图3中展示了一个典型的图像处理流水线。从CMOS图像传感器接收到原始的传感器数据。线性化之后，根据与它们相邻的像素值校正有缺陷的传感器像素。典型的图像传感器提供了灰度图像，通过使用bayer滤波器（称为de-bayering）转换成红，绿和蓝色。彩色校正矩阵（CCM）用来消除红色，绿色和蓝色像素之间的色度亮度干扰。

　　自动曝光（AE）模块自动调整曝光时间，以弥补不断变化的光照情况。HDR算法改进了图像的亮和暗区域的对比度（HDR将在下一节中做更详细的解释）。自动白平衡（AWB）根据场景中的一个白色参考点对所有颜色作出调整。噪声减小器消除噪声，在不同的平滑颜色的区域常可见有明显错误颜色的随机点。噪声随着温度和曝光时间而增大。伽玛校正重新分配原本的摄相机色调级到更均匀的和更适合人眼观看的水准，从而最有效地使用一个给定位的深度。

　　重叠功能使得文本和图形能够在视频的顶部重叠，用于显示菜单或摄相机的设置。根据特定的要求，可以添加额外的功能模块。可以变化压缩算法H.264或JPEG来达到这些要求，可运用运动检测、目标检测，或人脸识别来进行智能视频分析。

　　HDR处理

　　图像的质量取决于各种因素，包括照明。根据照明情况，场景的部分区域可能太暗，而有些区域太亮。在这些区域往往看不到细节。丢失的细节可能在应用中是非常重要的，那里需要作出关键的决策。

　　

　　图4 HDR处理实例

　　动态范围（也称为图像的最大对比度）描述图像的最亮点到相同图像最暗点之间的比率。人的眼睛能够看到这两个区域中的细节，但大多数图像传感器具有有限的动态范围，并且不能够捕捉相同图像在这两个区域中的细节。为了能够在高对比度区域看到细节，需要捕获具有不同的曝光时间的同一场景的多个图像。需要很短的曝光时间以捕获非常明亮的区域，需要长曝光时间以捕获暗的区域。

　　具有不同曝光时间的图像可以被组合成一个图像，提高了图像的动态范围。不同曝光时间的场景捕获和这些图像整合为一个图像被称为高动态范围（HDR）处理，也被称为宽动态范围（WDR）处理。HDR处理、全局和局部的色调映射算法被用来创建单一的图像，扩展了动态范围，在相同图像的高对比度区域中显示出细节。动态范围通常以dB表示。好的HDR图像的动态范围大于或等于90。例如，Aptina720p HDR传感器（MT9M034）的动态范围为120dB。

　　HDR处理算法有很强的处理功能，尤其是当使用更高帧速率的兆像素传感器时。这些都需要很强的处理能力，现成的图像信号处理器（ISP）往往无法实现。使用FPGA实现这些复杂和需要大量资源的的算法是最佳的。相同的FPGA器件可用于实现附加的图像处理算法。

　　

　　图5 基于FPGA的传感器接口桥接和HDR处理

　　图5展示了用松下MN34041图像传感器实现HDR。具有不同曝光时间的两个1080p帧以每秒60帧（fps）的速度捕获。通过一个行缓冲器传递一个帧，同步这两个捕获的帧。同步后，两帧被组合，并加工成每秒30帧的1080p帧。在上述的例子中，传感器接口、行缓冲器控制器、帧合成器和色调映射算法是用单片莱迪思的MachXO2 FPGA来实现的。处理的帧然后被传递的图像信号处理器，用于进一步的处理。

　　视频分析

　　视频分析（VA）具有能够自动分析视频的功能， 以检测并确定事件。视频分析可用于广泛的应用领域，包括安防监控、汽车、交通控制、以及零售。运动检测是最流行的视频分析算法，相对固定的背景场景检测运动。Intellivision公司针对基于LatticeECP3 HDR-60摄像机开发套件已经开发了一套完整的智能视频分析和移植，可实现智能安全摄像机的设计。该套件包括智能视频移动检测、智能入侵检测，以及摄像机篡改检测。智能视频移动探测可以区分动物和人，必要时会发送警报。当有人打开一扇门或进入受限制的空间时，智能入侵检测会发出警报。有了摄像机篡改检测功能，如果摄相机被移动，阻挡或破坏聚焦，可以发出警报并采取相应的行动。

　　

　　图6 视频分析演示

　　针对基于HDR-60摄像机开发套件的视频分析演示，图6展示了基于以太网的图形控制界面。黄线表示计数器演示，用户能够在屏幕的水平，垂直或对角线位置上定位这条黄线。如果一个对象穿过这根线，那么这个对象从一个位置到另个位置就会被计数。此功能可以用来数出人们进入或退出某个位置的数目。红色方框表示一个受限制的区域，可以对红色框的大小和位置进行编程，以满足特定应用。一旦对象进入现场，就会被检测到。对象进入红色框表示的受限制区域可以设置警报。自动检测和报警可以取代昂贵的摄像机图像的实时监控。在图6中未展示的第三个功能是摄像机的篡改检测。当摄相机被遮盖或移动时，会发送警报。

　　总结

　　更高分辨率和更高帧速率图像传感器的需求在继续增长。这些图像传感器和先进的图像信号处理算法的整合，如HDR和智能视频分析，开辟了新的、还无法想象的应用领域。现有的信号处理器跟不上新的复杂应用的性能要求。可编程FPGA器件能够同时与多个高分辨率图像传感器接口，拼接在一起成为全景或平铺格式，并在同一芯片上运行HDR和智能视频分析算法，因此FPGA器件是一个的理想选择。