CN109035163A

CN109035163A - 一种基于深度学习的自适应图像去噪方法

Info

Publication number: CN109035163A
Application number: CN201810750492.4A
Authority: CN
Inventors: 陈晓; 徐畅
Original assignee: Nanjing University of Information Science and Technology
Current assignee: Nanjing Xiaoyang Electronic Technology Co ltd
Priority date: 2018-07-09
Filing date: 2018-07-09
Publication date: 2018-12-18
Anticipated expiration: 2038-07-09
Also published as: CN109035163B

Abstract

本发明涉及一种基于深度学习的自适应图像去噪方法，包括如下步骤：步骤1）建立图像集；步骤2)构建自适应深度卷积神经网络；步骤3)训练自适应深度卷积神经网络：设置深度卷积神经网络网络的学习率和动量参数，通过深度学习框架训练所述自适应深度卷积神经网络直至训练达到迭代最大次数，生成训练后的自适应深度卷积神经网络模型；步骤4)图像去噪：将待去噪的图像输入至训练好的自适应深度卷积神经网络模型，得到对应的残差图像，再将待去噪的图像减去残差图像得到去噪后的图像。有益效果：该方法进一步提高和稳定卷积神经网络的训练性能，并且保证去噪性能，节省时间，无需手动调参，能实现未知噪声级图像的盲去噪。

Description

一种基于深度学习的自适应图像去噪方法

技术领域

本发明属于图像处理技术领域，特别涉及了一种基于深度学习的自适应图像去噪方法。

背景技术

图像在成像、存储和传输等过程中，由于受传感器缺陷、宽带限制、码流丢失、环境噪声、有损压缩和数模转换等问题影响，导致图像视觉效果变差。那么就会对后续的目标分割、识别、检测和跟踪等深层研究产生影响，进而对图像分析、描述、分类和解释造成干扰。尤其是在近年兴起的模式识别和人工智能领域，图像质量的高低对它们有着决定性的作用。所以，对污染的噪声进行图像去噪得到高质量的图像这一过程的分析是有必要的，同时更是图像处理方向最具基础和前景的学科之一。随着图像技术的广泛使用，图像去噪技术也已经渗透到人类生活的方方面面。

近年来，图像去噪方面各种去噪方法。这些去噪方法有三大缺点：第一，这些算法在测试阶段普遍存在复杂优化问题，以牺牲时间来达到高性能去噪效果，使得去噪时间延迟；第二，现有模型普遍是非凸的并且还有一部分是要手动选择参数从而提高去噪性能。第三，训练出的模型都是针对已知具体的噪声值，无法实现未训练图像的盲噪声去噪。

无论是以陈运锦等人提出的TNRD(Trainable Nonlinear Reaction Diffusion，TNRD)[Chen,Y.,&Pock,T.(2016).Trainable nonlinear reaction diffusion:aflexible framework for fast and effective image restoration.IEEE Transactionson Pattern Analysis&Machine Intelligence,39(6),1256-1272.]方法，还是Schmidt和Roth提出的CSF(Cascade of Shrinkage Fields，CSF)[Schmidt,U.,&Roth,S.(2014).Shrinkage Fields for Effective Image Restoration.IEEE Conference on ComputerVision and Pattern Recognition(pp.2774-2781).IEEE Computer Society.]方法,它们都较好的平衡了计算效率和去噪质量的关系，得到令人满意的结果。但是由于它们是基于先验知识的分析模型，具体而言，它们在获取图像全部特征结构时受到限制，以及在整个训练阶段都要手动的微调参数，此外这些方法训练出的模型都是针对已知具体的噪声级，无法实现未知噪声级图像的盲去噪。即使目前最优的DnCNN方法[Zhang K,Zuo W,Chen Y,etal.Beyond a Gaussian Denoiser:Residual Learning of Deep CNN for ImageDenoising.[J].IEEE Transactions on Image Processing,2017,26(7):3142-3155]打破了传统的去噪方法，利用残差学习完成去噪，也需要预先设定噪声训练图像的标准偏差。如果训练图像的所有标准偏差是相同的，则方法仅适用于特定的噪声级。因此该方法也无法实现未知噪声级图像的盲去噪。

发明内容

本发明的目的是克服上述背景技术的不足，提供一种基于深度学习的自适应图像去噪方法，保证去噪性能，节省时间，无需手动调参。为了实现上述技术目的，本发明的技术方案为：

所述基于深度学习的自适应图像去噪方法,包括如下步骤：

步骤1)建立图像集：设定有噪声的图像y、对应的理想无噪声图像u以及噪声v，则y＝u+v；

步骤2)构建自适应深度卷积神经网络；

步骤3)训练自适应深度卷积神经网络：设置深度卷积神经网络网络的学习率和动量参数，通过深度学习框架训练所述自适应深度卷积神经网络直至训练达到迭代最大次数，生成训练后的自适应深度卷积神经网络模型；

步骤4)图像去噪：将待去噪的图像输入至训练好的自适应深度卷积神经网络模型，得到对应的残差图像，再将待去噪的图像减去残差图像得到去噪后的图像。

所述基于深度学习的自适应图像去噪方法的进一步设计在于，所述步骤1)中噪声v的标准偏差设定为用于表示噪声级的σ。

所述基于深度学习的自适应图像去噪方法的进一步设计在于，所述步骤1)中建立图像集的过程具体为：获取伯克利BSDS500图像数据集并在互联网上下载无噪声的图像作为原始无噪声图像集，并采用y＝u+v添加不同σ值的噪声，噪声图像裁剪成n*n大小，处理得到N个噪声-干净训练图像和对应的噪声方标准差其中下标i表示序列号。

所述基于深度学习的自适应图像去噪方法的进一步设计在于，所述步骤2)包括：步骤2-1)图像特征提取：对输入的噪声图像y_i进行特征提取得到特征图a_0,i：

a_0,i＝f_act(W₀y_i+b₀) (1)

式(1)中W₀是初始层的卷积滤波系数，b₀是初始层的偏差，f_act为激活层使用的激活函数，f_act通过阈值法实现，f_act满足：

步骤2-2)图像特征变换；将所述特征图进行l次的特征变换，每次变换都是从当前特征图的上一层a_l-1,i中进行滤波得到当前特征图a_l,i：

a_l,i＝f_act(f_bn(W_la_l-1,i+b_l)) (3)

式(3)中，f_bn是批规范化函数，W_l是第l层的卷积滤波系数，b_l是第l层的偏差；

步骤2-3)根据式(4)计算残差图像R(y_i)；

R(y_i)＝W_d-1a_d-2,i+b_d-1 (4)

式(4)中的W_d-1是第d-1层的卷积滤波系数，a_d-,i是d-2层的特征图，b_d-1是第d-1层的偏差。

所述基于深度学习的自适应图像去噪方法的进一步设计在于，所述步骤2-2)中每一特征图a_l,i的特征转换层都由一个卷积层、批规范化层和激活层组成，其中卷积核大小为3*3，并采用64个滤波器。

所述基于深度学习的自适应图像去噪方法的进一步设计在于，所述步骤3)中训练自适应深度卷积神经网络采用的损失函数如式(5)，

式(5)中，i表示序列号，Θ表示训练参数，R为残差图像。

有益效果：

本发明的基于深度学习的自适应图像去噪方法使用阈值法作为激活函数，模型中通过使用批规范化和残差学习进一步提高和稳定卷积神经网络的训练性能，并且保证去噪性能，节省时间，无需手动调参。该方法无论是峰值信噪比PSNR还是结构相似性MSSIM都超过其它去噪方法。该方法既保证了去噪精度和速度，又可以在不降低去噪性能情况下能完成未知噪声级图像的盲去噪，节省了训练成本。

附图说明

图1为基于深度学习的自适应图像去噪方法的流程图。

图2为构造深度残差学习网络的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步详细的说明。

本实施例的基于深度学习的自适应图像去噪方法包括如下步骤：

步骤1)建立图像集。

设有噪声的图像y，对应理想无噪声图像u，噪声v，则y＝u+v。噪声v的标准偏差为σ，σ表示噪声级。

获取伯克利BSDS500图像数据集以及在网上下载无噪声的图像作为原始无噪声图像集，并用y＝u+v添加不同σ值的噪声，噪声图像裁剪成n*n大小(n为自然数)，处理得到N(N为自然数)个噪声-干净训练图像和对应的噪声方标准差其中下标i表示序列号。

步骤2)构建自适应深度卷积神经网络。

步骤2-1)图像特征提取：对输入的第i个噪声图像y_i进行特征提取得到特征图a_0,i。

a_0,i＝f_act(W₀y_i+b₀) (1)

W₀是初始层的卷积滤波系数，b₀是初始层的偏差。

式(1)中

该步骤中采用的卷积核大小为3*3，64个滤波器，激活层使用激活函数f_act。

步骤2-2)图像特征变换。

根据步骤2-1)得到的特征图进行l次的特征变换，每次变换都是从它上一层a_l-1,i中进行滤波得到本层的特征图a_l,i。

a_l,i＝f_act(f_bn(W_la_l-1,i+b_l)) (3)

式(3)中f_bn是批规范化函数，W_l是第l层的卷积滤波系数，b_l是第l层的偏差。

每一个特征转换层都由一个卷积层、批规范化层和激活层组成，其中卷积核大小为3*3，64个滤波器，从而进行17次的特征转换。

步骤2-3)计算残差图像R(y_i)；

R(y_i)＝W_d-1a_d-2,i+b_d-1 (4)

W_d-1是第d-1层的卷积滤波系数，a_d-,i是d-2层的特征图，b_d-1是第d-1层的偏差。

步骤3)训练自适应深度卷积神经网络；

设置深度卷积神经网络网络的学习率和动量参数，利用深度学习框架用步骤1的图像集按步骤2)训练卷积神经网络直至代价损失减少到一定程度且训练达到迭代最大次数，生成训练后的自适应深度卷积神经网络模型。训练卷积神经网络采用的损失函数其中i表示序列号，Θ表示训练参数，R为残差图像。

步骤4)图像去噪。

将待去噪的图像输入训练好的深度卷积神经网络，得到对应的残差图像。用待去噪的图像减去残差图像即得到去噪后的图像。

本实施例的基于深度学习的自适应图像去噪方法使用阈值法作为激活函数，模型中通过使用批规范化和残差学习来进一步提高和稳定卷积神经网络的训练性能，并且保证去噪性能，节省时间，无需手动调参。该方法实现了实现未知噪声级图像的盲去噪，客观评价值指标也都超过其它去噪方法。提出的方法既保证了去噪精度和速度，又可以在不降低去噪性能情况下能完成未知噪声级图像的盲去噪，节省了训练成本。

为了验证该方法的有效性与可靠性，与现有的去噪方法(包括两种非局部相似性方法：BM3D；一种生成式方法：EPLL；三种基于判别式训练方法：TNRD)进行比较。表1给出不同算法在BSD68数据集上的平均PSNR，表2给出BM3D、TNRD、DnCNN和本申请算法的MSSIM值比较的MSSIM。设置学习率为0.01，动量参数0.9，最大迭代次数100万次，n＝128，N＝400。

本实施例给出用于比较的三种基于判别式训练方法TNRD虽然都是基于判别式模型，但是这三种方法训练出来的模型只能对特定噪声级的图像去噪，比如训练σ＝25的模型，那么，测试时也只能用σ＝25的噪声图像进行去噪。

表1

表2

由表1、表2可知提出的方法无论是PSNR还是MSSIM都超过其它现有去噪方法，保证了去噪精度和速度，又可以在不降低去噪性能情况下完成未知噪声级图像的盲去噪，节省了训练成本。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围，包括但不限于用本方法以及其改进和变形方法用于其它图像处理方面，如图像分类、定位、识别、增强等。

Claims

1.一种基于深度学习的自适应图像去噪方法，其特征在于包括如下步骤：

步骤2)构建自适应深度卷积神经网络；

2.根据权利要求1所述的基于深度学习的自适应图像去噪方法，其特征在于所述步骤1)中噪声v的标准偏差设定为用于表示噪声级的σ。

3.根据权利要求2所述的基于深度学习的自适应图像去噪方法，其特征在于所述步骤1)中建立图像集的过程具体为：获取伯克利BSDS500图像数据集并在互联网上下载无噪声的图像作为原始无噪声图像集，并采用y＝u+v添加不同σ值的噪声，噪声图像裁剪成n*n大小，处理得到N个噪声-干净训练图像和对应的噪声方标准差其中下标i表示序列号。

4.根据权利要求1所述的基于深度学习的自适应图像去噪方法,其特征在于所述步骤2)包括：步骤2-1)图像特征提取：对输入的第i个噪声图像y_i进行特征提取得到特征图a_0,i：

a_0,i＝f_act(W₀y_i+b₀) (1)

a_l,i＝f_act(f_bn(W_la_l-1,i+b_l)) (3)

步骤2-3)根据式(4)计算残差图像R(y_i)；

R(y_i)＝W_d-1a_d-2,i+b_d-1 (4)

5.根据权利要求4所述的基于深度学习的自适应图像去噪方法,其特征在于所述

步骤2-2)中每一特征图a_l,i的特征转换层都由一个卷积层、批规范化层和激活层组成，其中卷积核大小为3*3，并采用64个滤波器。

6.根据权利要求1所述的基于深度学习的自适应图像去噪方法,其特征在于所述

步骤3)中训练自适应深度卷积神经网络采用的损失函数如式(5)，

式(5)中，i表示序列号，Θ表示训练参数，R为残差图像。