去噪效果对比的主观表现

一种基于 Bayer 型图像数据的自适应非局部均值滤波算法

针对非局部均值降噪算法在 Bayer 型图像数据上的应用优化，提出一种自适应平滑系数优化算法。基于当前局部均方差以及均值的比值确定噪声系数，根据噪声系数确定划分区域，自适应调整非局部均值降噪的平滑系数，提高纹理区域的细节表现。同时融合 LOG 变换之后的降噪优化数据，提高图像中暗部区域的降噪表现。此优化算法较传统的非局部均值算法在主观体验上有较大的改善。

一种基于Bayer型图像数据的自适应非局部均值滤波算法。集成电路应用， 2020， 37（04）： 13-15.

An Adaptive Non-local Mean Filtering Algorithm

Based on Bayer Image Data

WANG Yong， LI Yunsheng

Abstract — In order to optimize the application of non-local means denoising algorithm in Bayer image data， propose an adaptive smoothing coefficient optimization algorithm.Based on the ratio of the local mean square deviation and the mean value to determine the noise coefficient and the partition area determined by the noise coefficient， the smoothing coefficient of non-local mean noise reduction is adaptively adjusted to improve the detail performance of the texture region.At the same time， the optimized data of noise reduction after log transform is fused to improve the performance of noise reduction in the dark area of the image.Compared with the traditional non-local mean algorithm， this optimization algorithm has a greater improvement in subjective experience.

Index Terms — image denoising， bayer image data， non-local mean， adaptive.

图像降噪技术是数字图像处理领域的基础技术之一。在整个图像信号处理（Image Signal Processing，ISP）流程中，在后端处理降噪，图像噪声的性质会变得更加复杂，增加更多的结构性、彩色噪声以及给噪声带来非线性的变化，所以越来越倾向于在 ISP 前端进行降噪处理。经典的降噪方法包含：均值滤波、中值滤波、高斯滤波、维纳滤波等，传统的空域去噪算法是基于单个像素的相似性例如双边滤波，不能很好地保留边缘和纹理细节，后来 2005 年 Buades 等根据图像局部的相似性，提出了 NLM 降噪算法（Non-local Means Denoising Algorithm），相对于单个像素更好的表达了图像的结构。之后学者们还有提出基于图像块的相似性匹配然后进行 3D 滤波概念的 BM3D 算法（Block-Matching and 3D filtering），但是由于 BM3D 算法所需要的资源特别庞大，在实时处理上会有一定的难度，所以在视频流的 Bayer 型图像数据降噪处理上还是以 NLM 算法为主。

NLM 算法虽然取得了不错的降噪效果，但是在参数h的设定上不明确，当噪声水平较强时，对于同一参数 h 可能会存在某些部分过于模糊的情况，对于 ISP 后期的处理带来不便。本文根据图像局部的噪声系数，并结合噪声域非局部均值算法中滤波参数的关系，自适应地获取滤波参数，同时与 LOG 域算法相结合，提高了算法效果。

1 非局部图像算法

假定噪声图像为式（1）。

F＝{ F（i）│i∈A } （1）

其中，A 为区域，F（i）为当前图像的像素值，f（i）为滤波后的像素值，NLM 算法表示为式（2）～式（4）。

其中，a 为高斯核函数的标准差；N（i）为以 i 为中心的图像；d（i，j） 为以 i 为中心和以 j 为中心两个图像块的相似距离，一般是表示为欧氏距离；w（i，j） 为两个图像块之间的融合权重，表示两个图像块之间的相似程度；I 代表以 i 为中心的搜索范围; h 为平滑参数，控制降噪程度的系数；h 越大，越平滑。

2 改进的非局部均值滤波算法

针对非局部均值滤波算法的不足，本文提出一种自适应的且与 LOG 域算法相结合的非局部均值滤波算法。首先图像转化为 LOG 域，根据搜索框内的局部方差判断出原始图像以及 LOG 变换后图像的降噪系数h的选择范围，同时对 h 有所限制。然后调整完之后根据降噪的平滑程度来进行原始图像降噪以及 LOG 变换后降噪的权重融合，此方法能够有效地改善图像质量。

2.1 LOG 变换

LOG 变换主要用于将图像的低灰度值部分扩展，将其高灰度值部分压缩，以达到强调图像低灰度部分的目的，如式（5）。

s＝log（1＋F（i））/z（5）

这里的 F（i） 代表的是 Bayer 型图像数据的像素值，如果是 12 bit 像素位宽，则 F（i）∈［0，4 095］；z 是归一化系数，对于 12 bit 数据，z 的值为8.3178。

将原始 Bayer 型图像 LOG 变换之后能够凸显暗部的噪声，再进行降噪处理后，与原始 Bayer 型图像融合的同时能够兼顾暗部的噪声水平以及纹理表现。

2.2 平滑参数h的自适应变化

平滑参数的自适应变化主要依据局部的噪声系数来确定。

局部的噪声系数主要是依靠局部的均方差与均值的比值确定，注意局部评估是不区分 Bayer R/G/B 通道情况，整体评估，如式（6）。

CoefNoise 是噪声系数，I 是领域搜索框，Num 是搜索框中的参与的数目个数。F（j）是位置为 j 的点的像素值，a 是噪声系数的调整幅度。

根据文献［6］可以得到平滑系数 h＝3.3×σ2，σ是图像的标准差。在 Bayer 域因为噪声的表现与图像的亮度相关，所以 CoefNoise 的大小是用局部的均方差以及亮度均值的比值来确定，划分出平缓区域，过渡区域以及高频区域，如式（7）。

sigmaMax 以及 sigmaMin 是给自适应平滑系数规定的最大与最小值；sigmaMax 大于等于sigmaMin；sigmaMax 是影响高频部分清晰度，sigmaMax 增大，高频部分越平滑；sigmaMin 是影响平坦区域的降噪程度，sigmaMin 增大，平坦区域降噪程度越高。当 sigmaMax 以及 sigmaMin 为固定值时，a 影响整体降噪强度，a 增大，高频区域增多， a 减小，高频区域减少。

2.3 融合系数

LOG 域变换降噪之后需要与原始 Bayer 型图像进行融合，由于 LOG 变化之后主要对暗部区域进行处理，对于亮部区域的经过 LOG 变换之后像素区域都接近饱和，局部标准差比较小，所以只有 LOG 变换之后只有在条件 CofNoise＞beta×sigmaMax 下才进行融合，beta 作为确定暗部区域的系数，一般选取 0.95。融合过程为式（8）。

其中，output（i） 是输出像素值，betaMix 是融合系数，一般是 0.5；f（i） 是正常 Bayer 图像降噪之后的像素值，flog（i） 是经过 LOG 变换之后降噪的像素值。

3 实验结果与分析

实验过程中，由于考虑到在实际应用上运算量的问题，采用相似窗大小为 9×9，搜索框大小 3×3。实验中选取的测试图片为采集得到的真实带噪声的 Bayer 数据图片，图像大小为 496×728。由于 NLM 是业内公认效果较好的降噪算法，所以对比的图像测试效果是与常规 NLM 以及优化后的算法效果对比。

为原始 Bayer 型图像带噪声数据与经过 Demosaic/AWB/Gamma 之后的 RGB 图像， 为原始 Bayer 型图像 GroudTruth 数据（不带噪声）与 为经过Demosaic/AWB/Gamma之后的RGB图像。为了更直观地展现效果，接着的图片是展现经过 Demosaic/AWB/Gamma 之后的效果。

3.1 去噪效果对比的主观表现

为场景一的主观效果图， 为场景二的主观效果图。优化后的算法较之前常规 NLM 的算法有较好的视觉效果，在暗部区域以及纹理区域能够较好地保持细节，为了能够更好地展示效果，以及 把局部细节放大后显示。

由于优化后的算法根据局部的噪声系数确定不同区间的平滑参数，通过最小噪声系数限制平滑区域的降噪强度，避免平滑区域虽然噪声较多，但是噪声系数仍然较低降噪不完全的情况；通过最大噪声系数限制强边缘区域的降噪强度，避免强边缘区域降噪强度过高，过渡区域（最小噪声系数和最大噪声系数之间）能够自适应调节平滑系数。同时由于 Bayer 数据像素亮度较低，通过 LOG 变换后的降噪处理与变换前的降噪处理数据融合，能够优化暗部区域的噪声水平，为后端的 Gamma 变换/色调映射等算法提供支持。从以及 可以看出平坦区域和强边缘区域基本保持一致，从 中能够明显看出细节部分有明显的增强，符合在 Bayer 型图像数据降噪的时候保持住足够的纹理信息，为后端算法处理留有空间的目的。

3.2 去噪效果对比的数据表现（峰值信噪比 PSNR 与信噪比 SNR）

为了进一步确认优化后算法优势，本文增加两组数据的峰值信噪比（PSNR）和信噪比（SNR）对比来说明去噪效果，即采集同一场景的 60 帧数据，取平均合成了 GroundTruth 图片作为无噪声图像，进行对比。

可以看出，优化后的算法在 PSNR、SNR 上都优于经典的 NLM 算法。由于主要的优化区域是噪声系数过渡区域（最小噪声系数和最大噪声系数之间）以及暗部区域，SNR 以及 PSNR 是整幅图像对比计算，所以在主观上有明显优化，但是从 SNR 以及 PSNR 的数值上不是很明显。

4 结语

本文提出对于 Bayer 型图像数据 NLM 降噪算法优化方法，将原来固定的平滑系数值自适应化，结合局部的均方差以及亮度信息，以及 LOG 变换之后对于暗部区域的调整，能够在原有 NLM 算法基础上提高细节结构的表现。通过根据真实噪声的降噪效果展示，优化后的 NLM 降噪算法在细节纹理上有明显的提升。
       责任编辑:pj