DnRFD：用于图像去噪的递进式残差融合密集网络

曹义亲，饶哲初，朱志亮,2+，张红斌

1.华东交通大学 软件学院，南昌 330013

2.中国科学院 软件研究所，北京 100190

图像在生成和传输的过程中难免会受到噪声的污染，严重影响图像的进一步分析与处理。目前常见的噪声主要有四种：高斯噪声、泊松噪声、乘性噪声以及脉冲噪声，其中高斯噪声是最常见、也是最具有代表性的一种噪声。高斯噪声是指概率密度函数服从高斯分布的一类噪声。高斯噪声的等级是指高斯分布的方差。本文主要针对高斯噪声的去噪算法进行研究。图像去噪是各种图像处理算法中的重要步骤，有助于对图像内容进行进一步的区分和解释，在计算机视觉领域有着重要意义。

图像去噪[1]就是从被污染的图像中去除噪声并还原图像。传统的去噪算法可以分为空间域滤波[2]和频率域滤波[3]。空间域滤波是将图像像素点与滤波函数进行卷积操作，不同的滤波算法有着不同的函数；
频率域滤波则主要是将图像在频率域内的信息与算法函数利用傅里叶变换[4]进行相乘操作。传统方法能够获得一定的去噪效果，但是在处理中、高噪声图像时效果不理想，且容易丢失图像细节。针对这个不足，许多研究人员提出利用图像先验模型来进行去噪。Buades 等人[5]提出了非局部均值NLM（non-local means）的去噪方法。该方法充分利用了图像中的冗余信息，在去噪的同时能最大程度地保持图像的细节特征。Dabov 等人[6]提出的BM3D（block method of 3-dimension）算法融合了非局部去噪方法和小波变换域去噪方法的思想，得到了非常好的去噪效果。Knaus等人[7]提出的PID（progressive image denoising）算法将图像去噪作为一种简单的物理过程，通过确定性退火逐步降低噪声，在实现较好去噪效果的前提下，还能够保证没有基于局部块类方法常见的伪像。Gu 等人[8]结合非局部的思想和低秩逼近理论，提出加权核范数最小化的去噪方法（weighted nuclear norm minimization method，WNNM）。尽管这些基于图像先验模型的方法[5-11]能够获得较好的去噪效果，但是当噪声密度增大时，这些方法的去噪性能将大幅降低。

近年来，随着深度学习研究的迅速发展，卷积神经网络在机器视觉领域的地位也越来越重要。越来越多的基于深度学习的图像去噪算法被提出，其中最为代表的就是Zhang等人[12]在2017年提出的DnCNN算法，其去噪性能和细节处理能力相较于之前的算法均有大幅度提升。但基于深度学习的去噪算法是从整幅图像中提取特征，输出与输入图像尺寸保持一致，这就导致其网络参数量巨大、特征提取不够充分。Lefkimmiatis[13]在2018 年提出了通用去噪网络。该网络是一种新型的网络体系结构，它具有两种变体，第一种网络将卷积层作为核心组件，其行为类似于局部变分方法，而第二种网络则依赖非局部滤波层，该层使网络能够利用自然图像固有的非局部自相似性。这两个网络都带来了非常有竞争力的结果，可以直接与最新技术相媲美，尽管它们的优点是与当前性能最佳的网络相比，所涉及的参数要少得多，但在耗时方面还是与DnCNN相差不大。

本文针对现有的深度学习去噪方法往往存在网络过深导致计算复杂度过大的问题，结合密集块（dense block）和残差学习[14]的优势以及递进融合的策略，提出一种递进式残差融合密集网络，并将其用于高斯噪声的去除。与DnCNN 在网络中仅简单串联卷积层进行去噪的方法不同的是，本文提出的方法在网络中布置密集连接的密集块，每一层都将之前的特征图作为输入，且结合递进思想将浅层卷积特征图依次与每个密集块提取出的深层卷积特征图短线连接形成残差块，使得网络能够更好地预测噪声分布。密集短接的结构则能够有效地降低网络的计算复杂度，减少大量的网络参数，缩短算法计算时间。

1.1 密集块

卷积神经网络由输入层、隐藏层、输出层三部分组成。隐藏层的主要结构为线性卷积和激活函数去线性化操作的交替序列，主要功能为对输入进行特征映射。在图像去噪领域，卷积神经网络相较于其他传统方法的优势在于隐藏层能够更好地提取图像特征，权值共享则极大地降低了网络模型的计算量，有效减少了网络的参数个数，使模型处理效率更高。本文从如何提取更多的图像特征，同时也能够极大地降低模型计算参数的角度考虑，综合设计了密集网络，其中的核心模块即为密集块（dense block）[15]。其结构如图1所示，其中的Bottleneck模块的结构如图2所示。

图1 Dense Block模块结构Fig.1 Dense Block modular structure

图2 Bottleneck结构Fig.2 Bottleneck structure

在密集块结构中，层与层之间都通过短接线连接起来，每一层的输入都来自前面所有层的输出，该连接可以用公式表示为：

式中，Xl表示l层的输出特征图，[X0,X1,…,Xl-1]表示将0到l-1 层的输出特征图做通道的合并，即直接堆叠通道，而不对通道进行其他操作。Hl则表示将合并后的特征图依次输入到Bottleneck 中。因为每一层的输入都是前面所有层的输出叠加，融合了前者所有提取出的特征图，所以在后面几层的输入通道都会比较大。为了减少输入的Feature map 数量，在Bottleneck中都设计一个卷积核为1×1 的卷积层，既能使得参数更少，减少网络的计算量，同时又融合各个通道的特征，使其与梯度的传递更加高效，噪声分布的学习更加全面。

1.2 残差学习

残差学习的设计初衷是为了解决伴随着网络深度增加的卷积神经网络性能下降以及训练精度下降的问题。残差网络通过学习残差映射的方法，使得网络的训练精度不会随着网络深度的增加而降低，解决了网络的退化问题。

结合图像去噪领域，通过跳连式的网络结构让残差网络学习信息量相对较少的噪声图像，再由含噪声图像减去网络的预测噪声图像，得到潜在的纯净图像，该过程用公式表示表达为：

式中，y表示的是含噪声图像，x表示的是原始的纯净图像，n表示的是加性噪声。并且在浅层卷积特征提取时，通过密集块的设计，提取了丰富的图像特征，为之后的噪声分布学习奠定了基础。

2.1 设计思路

本文受Huang 等人[16]提出的DenseNet 网络结构的启发，通过密集网络来丰富提取图像的特征，并利用密集短接的结构降低网络的计算复杂度，减少网络参数数量。通过对郭恒意等人[17]提出的基于残差密集块的去噪网络的实验复现研究，发现其网络并不能够充分地利用浅层卷积特征。因此本文结合递进思想，在加深网络的同时设计了三个残差块，分别将浅层卷积特征与深层密集网络提取出的特征进行融合，使得深层的密集网络能够充分利用浅层特征对噪声分布进行学习。而对密集网络研究发现其网络结构并没有将全局特征进行融合学习。本文进一步受Zhang 等人[18]提出的RDN 网络结构启发，在重建输出层之前设计了Concat 层，在此层对之前所有密集网络提取出的特征进行融合操作，使得网络充分学习了局部特征和全局特征，以此来达到更好的去噪效果。

2.2 网络结构

本文提出的网络结构模型主要包括3 个结构完全相同的Dense Block模块，在Dense Block模块中每个卷积层后都有线性修正单元ReLU作为激活函数，尽量避免了梯度消失，且使得网络具有稀疏性，并且减少了参数的相互依存关系。完整的递进式残差融合密集网络（progressive residual fusion dense network，DnRFD）的结构模型如图3所示。

图3 递进式残差融合密集网络整体结构Fig.3 Whole structure of progressive residual fusion dense network

第1 层为Conv+ReLU，卷积层的卷积核大小为3×3，个数为64。这一层的主要功能是对输入的含噪声图像进行浅层卷积的特征提取。第2 层为Conv，卷积核大小为3×3，个数为24。负责将特征图通道调整到合适的大小，以便输入Dense Block 模块中不会输出过多的特征图，增加网络计算负担。第3 至12 层为整体结构的核心部分，包含了3 个Dense Block 模块、3 个残差块，以及两个模块之间的Translation层和ReLU+Conv层。在Dense Block模块中，所有Bottleneck 的卷积核大小均为1×1、3×3，个数分别为48、12。每个Bottleneck都能在新的融合特征输入后，进行图像中的噪声分布学习。而在Translation Layer 中的卷积核大小均为1×1，个数为24，目的是为了进一步压缩网络参数，融合通道特征形成新的特征。第13层为Concat层，将第1个Dense Block 模块以及第2 个Dense Block 模块的输出特征图与第3 个Dense Block 模块的特征融合，加强了网络对全局特征的学习。第14 层为单个3×3 卷积核的重建输出层，不仅融合了上一层的全局特征，且使得输出的尺寸与输入保持一致，以便于残差学习能够将预测噪声从含噪图像中抽离，得到纯净图像作为网络的输出。

本文算法具体流程如图4 所示。训练过程中将原始图像裁剪为大小相同的图像块，然后将这些原始图像块加上噪声输入到设计好的网络中，通过损失函数进行反向传播调节参数，最终使得网络达到收敛状态。测试阶段，将含噪声图像输入到已经收敛的网络中，可直接输出相应的预测去噪图像。本文算法采用的损失函数表达式如下：

图4 基于RFD的图像去噪方法整体框架Fig.4 Overall framework of image denoising method based on RFD

式中，R(yi,Θ)为噪声输入的估计残差图像，yi为输入的含噪图像，xi为纯净图像，(yi-xi)得到的是标准的残差图像。N为一个Batch 的输入样本数量。在训练过程中不断迭代，将损失函数降低，也就是将估计残差与标准残差之间的误差降低，这样预测的去噪图像才能更接近原纯净图像，获得更好的去噪效果。

4.1 度量标准

实验采用的评价标准包括主观评价和客观评价。主观评价即为人为肉眼观测图像，评价模型输出图像的去噪效果。客观评价[19]采用峰值信噪比（peak signal to noise ratio，PSNR）和结构相似性（structural similarity，SSIM）。

PSNR是基于均方误差（mean square error，MSE）[20]的图像质量评价指标，PSNR值越大代表着图像的质量越好。实验中，PSNR 的值越大，表示去噪图像和原图像之间的相似性越高，去噪效果越好。PSNR的计算公式为：

式中，M和N表示的是预测值和真实值；
j和k表示的是图像中的所有像素点；
H和W则分别代表的是图像的高度和宽度，n取值为8。

结构相似性（SSIM）是一种衡量两幅图像相似度的评价指标。基于图像的亮度、对比度和结构对其进行相似性的估计。均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。SSIM的计算公式为：

式中，μm表示的是图像M的均值，μn表示的是图像N的均值。和则分别表示的是图像M和N的方差。σmn代表的是图像M和N的协方差。c1和c2是用来维持稳定的常数。SSIM的数值范围在0到1 之间，SSIM 值越大，两幅图像越相似。当SSIM值为1时，则代表参与比较的两幅图像完全相似。

4.2 实验参数设定

实验的训练集选取了400 张180×180 的灰度图像，图像的种类包括了自然风景、动物、人物建筑等。为了便于网络训练尽快收敛，将裁剪框尺寸patch size设置为40，滑动步长Stride 设为10，裁剪了其中380张图像得到了215 552张40×40 的子图像块，以此作为训练集，剩余的20张图像作为验证集，通过不同测试集的测试验证网络的鲁棒性和实用性。实验的测试集则随机选取自Set12[21]、Set68[22]中。

实验参数设定：批处理大小为64，每轮次训练3 725 个样本数据，epoch 为150，训练期间学习率固定为0.001。计算机的CPU配置为Intel Core i7，GPU为GTX1080Ti*2，运行内存为11 GB，操作系统为Windows 10，在pytorch深度学习框架上训练、验证和测试神经网络，该框架能够使用GPU加速训练，节省训练时间，用于训练、测试的软件为PyCharm，Python版本为3.6。

4.3 实验和结果

本文为了客观地评价算法的去噪效果，选取了NLM[5]、BM3D[6]、WNNM[8]、DnCNN[12]、FFDNet[21]这五种对比算法来进行对比实验，实验的测试集随机选取自Set12、Set68中。在向测试图像加入高斯白噪声等级σ=25 和σ=50 时，分别从主观和客观的角度对各算法的去噪能力进行比较。

当高斯白噪声等级σ=25 时，随机选取了6幅测试图像，原图如图5所示。表1为含噪测试图像经各算法去噪后的PSNR值。从表中可以看出，本文算法的PSNR 均值为32.623 dB，相对其他算法提升了0.043～2.462 dB。本文算法处理后的图像PSNR均值相比传统去噪算法NLM、BM3D高出了0.619～2.462 dB，相比聚类低秩去噪算法WNNM 高出了0.390 dB，相比深度学习去噪算法DnCNN 高出了0.098 dB，相比FFDNet 算法高出了0.043 dB。表2 为6 幅含噪测试图像经各算法去噪后的SSIM值。从表中可以看出，本文算法的SSIM均值为0.956，高于所有对比算法，相对提升了0.005～0.151。而经本文算法处理后的前5 幅去噪图像SSIM 值都高于所有对比算法，仅最后一幅图像的SSIM 值比FFDNet 算法低了0.029。表3 是不同算法对6 幅测试图像的去噪平均耗时。可以看出本文算法对于256×256 像素的图像处理耗时均值为0.093 s，对于512×512 像素的图像耗时均值为0.389 s，对于418×321 像素的图像耗时均值为0.228 s。虽然DnCNN、FFDNet 算法的去噪效果与本文算法相差不大，但是去噪平均耗时超出本文算法将近1～2倍。

图5 用于低等级噪声去噪的测试原图Fig.5 Original test images for low level noise denoising

表1 不同算法得到的PSNR结果（噪声等级为25）Table 1 PSNR results obtained by different algorithms(noise level is 25) 单位：dB

表2 不同算法得到的SSIM结果（噪声等级为25）Table 2 SSIM results obtained by different algorithms(noise level is 25)

表3 不同算法的处理时间（噪声等级为25）Table 3 Processing time of different algorithms(noise level is 25) 单位：s

图6 和图7 分别为House、Man 的网络输出图像去噪效果对比图，图中绿线框表示的是选取的局部放大区域，红色线框则对应为绿线框内的放大内容。从图中可以看出，NLM 和BM3D 去噪算法对图像边缘细节的处理较差，本文算法在去噪效果和边缘细节处理能力上均表现优异。

图6 不同算法处理House图的结果（噪声等级为25）Fig.6 Performance comparison of different algorithms on House image(noise level is 25)

图7 不同算法处理Man图的结果（噪声等级为25）Fig.7 Performance comparison of different algorithms on Man image(noise level is 25)

当高斯白噪声等级σ=50 时，随机选取了6幅测试图像，原图如图8所示。表4为测试图像经各算法去噪后的PSNR 值，可以看出本文算法的PSNR 均值相较于其他对比算法提高了0.022～2.532 dB。表5为6 幅含噪测试图像经各算法去噪后的SSIM 值，其中本文的SSIM 值均高于其他对比算法，均值达到了0.916，相较于其他对比算法提高了0.005～0.279。

表4 不同算法得到的PSNR结果（噪声等级为50）Table 4 PSNR results obtained by different algorithms(noise level is 50) 单位：dB

表5 不同算法得到的SSIM结果（噪声等级为50）Table 5 SSIM results obtained by different algorithms(noise level is 50)

图8 用于高等级噪声去噪的测试原图Fig.8 Original test images for high level noise denoising

图9和图10分别为Room、Lena的网络输出图像去噪效果对比图。从整体来看，DnCNN、FFDNet 算法的视觉去噪效果与本文算法相当，但从局部放大的区域来看，本文算法更能还原原图像的边缘细节以及纹理细节。

图9 不同算法处理Room图的结果（噪声等级为50）Fig.9 Performance comparison of different algorithms on Room image(noise level is 50)

图10 不同算法处理Lena图的结果（噪声等级为50）Fig.10 Performance comparison of different algorithms on Lena image(noise level is 50)

为了验证算法的泛化能力，本文进一步对自然噪声图像和彩色噪声图像进行了去噪实验，图11 上半部分为6 幅来自数据集RNI6[23]带有自然噪声的图像，图11 下半部分的6 幅图像为经本文算法处理后的去噪图像。图12 上半部分为5 幅来自数据集Kodak24、高斯噪声等级为25 的彩色噪声图像，下半部分的图像为经本文算法处理后的去噪图像。红色框线内对应绿线框内的局部放大信息，可以看出噪声对图像质量影响较为严重。从图像中可以看到，本文算法可以较好地适用于自然噪声图像和彩色噪声图像的去噪，不仅有效去除了噪声，而且很好地保留了图像纹理信息以及边缘细节。

图11 本文算法处理自然图像的结果Fig.11 Performance of proposed algorithm on natural images

图12 本文算法处理彩色图像的结果Fig.12 Performance of proposed algorithm on color images

本文主要针对现有的深度学习去噪方法存在网络过深、网络参数大导致去噪速度慢的问题，结合密集块和残差学习的优势以及递进融合的策略，提出一种递进式残差融合密集网络，并将其用于高斯噪声的去除。实验结果表明，本文方法获得的去噪效果明显优于传统的NLM、WNNM、BM3D 等方法。虽然相比近些年去噪效果表现优异的DnCNN、FFDNet 算法，本文方法在评价指标方面没有明显提升，但是本文方法的去噪速度要明显优于DnCNN算法和FFDNet 算法。尽管本文方法能够取得较好的去噪效果，但是该方法仍然存在一些不足。首先，该方法的主要目标是在保证去噪效果的同时加快去噪速度，与相关算法对比，本文方法的去噪速度得到了较大幅度提升，但去噪效果提升幅度不及去噪速度，仍有提升的空间。后期将结合噪声的特性，引入注意力机制对该网络做进一步的改进。其次，该方法虽然能够用于彩色图像噪声的去除，但是由于网络的主要结构是处理单通道图像，在处理彩色图像时不可避免地会忽略彩色图像通道间的相关性，可能会导致去噪后的结果出现伪影或新的噪声。后期将针对如何同时保留图像的结构特征、细节特征和颜色特征的问题，利用四元数相关理论对该网络做进一步改进，从而获得更好的去噪效果。