基于DSP＋FPGA的实时图像去雾增强系统设计

1、引言

图像信息作为人类感知世界最直观的信息之一，为我们认识世界提供了极大的帮助。近代以来随着微电子技术的不断发展，图像信息经过了从无到有，从模拟到数字，从黑白到彩色，从可见光到多光谱等的不断演进，图像质量（分辨率、清晰度等）也有了极大提高。同时人类对图像质量要求也在不断提高，其中可见光图像由于跟人眼成像最为相近其观感对人的影响更大，因而对其质量要求更高。但受可见光传输及成像机理所限，所成图像往往会受天气如雾霾、光线不足等从成像过程暂时尚无法克服问题的困扰，需要对其进行事后处理。同时，在图像跟踪等应用领域，对图像进行处理所带来的时间延迟对伺服系统又是一种致命的缺点。基于以上问题，本文设计了一种基于TI TMS320C6455+FPGA的实时图像去雾增强系统，并将其应用于工程实际。

2、系统结构和工作原理

2.1、系统结构

本图像去雾增强系统采用DSP+FPGA架构完成。其中DSP使用TI公司生产的高速定点数字信号处理芯片TMS320C6455，该芯片是TI公司基于第三代高速C6000平台开发而成，主频1.2GHz，片上存储器L1P程序缓存256kbit，L1D数据缓存256kbit，L2缓存16Mbit，64位通路的EDMA控制器，EMIF接口支持16bit、32bit、64bit宽度，速度可达100MHz。FPGA采用ALTERA高端StratixII系列芯片，型号为EP2S系列EP2S60-F1020C5，该芯片具有逻辑单元60440，RAM总数318024kbit，DSPblocks36个，18bit×18bit乘法器144个，PLL12个，最大使用IO数718个。视频编解码使用3M公司芯片DS90CR285和DS90CR286实现。

2.2、系统工作原理

本系统结构框图如图1所示。

图1  实时图像去雾增强系统硬件框图

基于DSP+FPGA架构的图像处理系统是当前一种比较成熟稳定且广泛应用的硬件结构，该结构系统中，FPGA通常作为一种调度使用，图像处理算法实现主要靠高速处理信号处理芯片DSP完成，在跟踪等领域图像数据只需单向进入DSP，处理后输出相应参数即可，在实时视频图像处理中大量图像数据只需通过EMIF输入，且输出数据量较小可以实时完成。但在去雾增强过程中图像不仅要输入处理后还需要输出，为了不造成DSP芯片EMIF口阻塞只能实行输入、输出分时进行，对于连续图像数据来说就需要做缓存，如此则会带来相应的数据延迟。为了去除这一延时，本图像去雾增强系统仅将参数求取放入DSP中进行，而去雾增强算法最终实现由FPGA来完成。这样去除了图像数据在DSP与FPGA之间传输时的时延，且FPGA属于纯硬件实现因此实时性更好。

去雾增强系统采用香港微软亚洲研究院何凯明先生的“暗通道”原理并对其改进后完成，由于该原理基本公式是一项不可求解的病态过程，实际应用中去雾算法的实现主要是公式中光介质传输系数t（x）和大气背景光强度A两参数的估计约束，由于这两项参数求解需要对全幅图像进行滤波等处理得出，运算量极大且理论上无法达到实时，因此本系统采取DSP与FPGA分工处理的方法进行。其中DSP主要完成上述两项参数的估计，FPGA对图像每个像素灰度值进行计算，该系统硬件工作分工及过程如图2所示。具体算法将在下节介绍。

图2   实时图像去雾增强系统硬件工作分工及过程图

3、去雾增强算法

3.1、“暗通道”基本原理

在图像处理领域，对因雾霾等影响造成图像模糊应用比较广泛的数学模型如式（1）所示：

I（x）=J（x）·t（x）+A［1-t（x）］（1）

其中I（x）表示成像设备对真实场景所成的观察图像即受雾霾影响所成图像，J（x）表示真实场景图像即不受雾霾影响的理想图像，t（x）表示成像设备对光线的接收比例即光介质传输系数，A表示大气背景光强度。对图像进行去雾处理的实质是对公式（1）从左至右的逆推过程即已知观察图像I（x）求理想图像J（x）。在实际的应用场景中，因为空气具有自主流动性，在有限空间内可以认为大气介质是均匀的其光传输系数不变可用式（2）进行表示：

t（x）=e-βd（x）（2）

其中β表示大气散射系数，d（x）表示场景图像的深度信息。结合公式（1）、（2）可以看出由于t（x）、J（x）、A同为未知量，是一个不可解过程。

HE的“暗通道”原理认为一副图像中由于成像场景中阴影、色彩或暗表面等的影响，彩色图像某一色彩通道、黑白图像的某一局部区域有比较小甚至趋近于零的亮度值。某一图像I（x）可用公式（3）表示：

Idark（x）=c∈{r，g，b}min（y∈ω（x）min（Ic（y）））→0（3）

式（3）中Ic表示图像I的某一色彩通道，对于灰度图像则表示图像灰度值。ω（x）表示图像中坐标x处周围大小一定的图像块。HE等经过对大量图片试验证明无雾霾影响情况下Idark都比较小甚至趋近于零，这一发现就称为“暗通道”原理。

3.2、图像去雾处理

在“暗通道”原理支撑下HE在文献［3］中综合公式（1）~（3）对光介质传输系数t（x）进行估计约束，由于大气背景光强度A始终为正值，假设其为已知值的情况下可得出公式（4）表示的估计值槇t（x）：

通过打量图片试验证明大气背景光强度A可用先前选定的“暗通道”中最亮像素点灰度值的0.1%来进行估计。在对大气背景光强度A和光介质传输系数t（x）有了合理估计约束后不难得出图像去雾增强求解公式（5）：

J（x）=（（I（x）-A）/max（t（x），t0））+A（5）

对去雾增强图像求解的难点及重点是光介质传输系数t（x）的合理估计及对求解结果的优化处理。为此本系统采用传统的具有保边效果的中值滤波来进行处理。实验证明该简化处理不仅能完全满足实时处理要求，且最终处理结果同样令人满意。

4、实验结果

为验证本实时图像去雾增强系统的有效性，搭建了实时仿真平台，该平台将输入视频在FP-GA中分两路输出，一路视频输出原始图像，另一路输出去雾后图像，完全同时、同场景图像的对比。

图3  彩色相机实验结果图（ａ、ｂ、ｃ、ｄ）

实验分两组，实验一采用彩色相机在薄雾天气下进行，分别列出在光线较强、光线较弱、光线正常视场较小、光线正常视场较大的4种条件下所得（a）（b）（c）（d）4组实验结果对比图，如图3所示。

图4  黑白相机实验结果图

实验二采用黑白相机在比较浓的雾天下进行，分别列出（a）（b）（c）3组观察雾天中塔吊不同部位的实验结果，如图4所示。

分析图3实景实验图片可以看出，本系统对雾霾天气下成像有了明显改善，使图像清晰度显著提高，图3（b）可以看出本系统同时具有图像增强功能，在光照条件极差情况下，经本系统处理能清晰显示图像内容。图4实验采用黑白相机在雾霾比较重环境下进行，可以看出该条件下本系统同样具有较好的处理效果。需要指出的是，该系统在有雾或光照条件差的情况下能有效去除这些不利条件影响，而在成像条件好的情况下不对图像施加其他不利影响。

5、结论

设计了一款基于DSP+FPGA的嵌入式实时图像去雾增强处理系统。实验表明，该系统能稳定有效去除雾霾对图像造成的影响，提高图像清晰度，且对光照条件差的图像具有明显的增强效果。访系统可有效提高成像系统环境适应性，在监控、侦察等军民领域都具有广泛的应用前景。