CN115601257A - 一种基于局部特征和非局部特征的图像去模糊方法 - Google Patents

Abstract

本发明公开一种基于局部特征和非局部特征的图像去模糊方法，包括以下步骤：(1)搭建生成对抗网络模型，设置参数；(2)设置图像语义内容约束项，图像结构重建约束项和判别目标损失函数；(3)为了预测清晰图像特征，抑制模糊图像特征，引入了IAM网络模块；(4)对于判别网络，将生成图像和标签图像输入到生成网络中，判别网络用需要对图像内容的真假进行判别；(5)判别网络将判别的结果反馈给生成网络，生成网络根据判别网络的反馈更新网络的参数进入下一次的迭代训练，生成网络和判别网络以上述描述的方式不断竞争训练，直到网络训练收敛；(7)将模糊图像载入到训练收敛的生成网络中，即可得到结构显著的生成图像。

Description

一种基于局部特征和非局部特征的图像去模糊方法

技术领域

本发明属于图像处理、计算机视觉技术领域，具体涉及一种基于局部特征和非局部特征的图像去模糊方法。

背景技术

作为外界客观世界信息记录和传递的载体，图像一直是人类获取和辨别客观世界信息的主要来源和手段。然而，在图像的拍摄过程中会经常发生由相机抖动或物体运动引发的图像模糊问题。由于模糊的图像失去了清晰的结构和丰富的纹理信息，使得人们很难从中获取清晰的内容和精细的信息。因此，如何清晰化运动模糊图像，使其可以更好的应用于高级图像处理(图像检测、图像识别)等领域已经成为了一个研究热点。

针对如何清晰化模糊图像这个问题，人们主要从以下两个方面展开研究：基于传统的方法和基于深度学习的图像去模糊方法。基于传统方法的图像去模糊方法依靠于从图像中手动提取先验或图像的统计信息，并在此基础上建模优化方程，通过迭代求解优化方程得到恢复后的图像。由于传统方法仅在有限的图像上提取先验，因此这类方法只在特定模糊图像上获得较好的去模糊结果，而在其他模糊图像上泛化性较低。此外，迭代求解优化函数需要耗费大量的时间，因而这类方法并不能很好的满足算法对实时性的要求。基于深度学习的图像去模糊问题通过在大量的数据集上提取特征，并在网络模型训练的过程中不断迭代选取更适合图像恢复的权值，从而恢复潜在的标签图像。虽然图像去模糊问题已经取得了一些成绩，但恢复得到的图像并不十分令人满意。例如，一些基于深度学习的方法中存在网络参数过多、网络模型过大的问题，而这无疑对网络训练在硬件配置方面提出了更高的要求；另外一些方法仅适用于合成的模糊图像，在实际的模糊图像中泛化性和鲁棒性较弱。

发明内容

本发明的目的是为了克服现有技术中的不足，通过综合利用对抗生成模型以及结构注意机制，研究并提供一种能够有效减少网络模型大小、满足图像去模糊实时处理需求，解决图像纹理和细节丢失等问题的图像去模糊方法。

本发明的目的是通过以下技术方案实现的：

一种基于局部特征和非局部特征的图像去模糊方法，包括以下步骤：

(1)准备数据，包括模糊图像和标签图像；搭建生成对抗网络模型并设置参数；

(2)设置生成网络和判别网络的网络结构框架；生成网络的网络结构框架采用U型网络结构，此网络包括编码器和解码器两部分，编码器用以下采样并提取图像中有用的细节特征进行编码，解码器用于上采样并解码图像；所述编码器和解码器之间还设置有稠密膨胀网络，所述稠密膨胀网络由稠密膨胀模块和注意力模块组成，分别用于学习图像的局部特征和非局部特征对图像清晰特征的预测，所述注意力模块中引入门限机制；具体的：

将模糊图像送入设计的生成网络中，在生成网络优化训练过程中，对其增加语义目标损失函数和结构目标损失函数的约束，使得生成图像具有和标签图像一致的语义以及结构信息；判别网络将判别的结果反馈给生成网络，驱使生成网络能够生成图像结构较为完整的生成图像；生成网络根据判别网络的反馈更新生成网络的参数进入下一次的迭代训练，生成网络和判别网络以上述描述的方式不断竞争训练，直到生成对抗网络训练收敛；

(3)设置生成对抗网络模型的目标损失函数：生成网络中的目标损失函数包括图像语义目标损失函数L_content、图像结构重建目标损失函数L_gradient；其中，L_content保证恢复前后的图像能保持相同的语义内容，L_gradient约束生成图像与清晰图像，在图像结构方面具有一致性；判别网络中的目标损失函数L_adv，L_adv用于完成生成图像与标签图像的判别，以提升判别网络对图像真假的判别学习能力；

(4)将模糊图像、标签图像输送到生成对抗网络模型中，判别网络用以判别生成图像和标签图像在内容方面的一致性；判别网络将判断得到的结果反馈给生成网络，生成网络和判别网络之间竞争学习，直到达到纳什均衡，生成对抗网络模型收敛；将模糊图像载入到训练收敛的生成网络中，最终得到结构完整的生成图像；

进一步的，步骤(3)中，生成对抗网络模型的目标损失函数加权地表示为：

L(G,D)＝βL_content+λL_gradient+αL_adv

其中，β，λ和α分别是L_content，L_gradient和L_adv的权重系数；各约束项的权重系数约束如下：β＝10,λ＝12,α＝1，值越大代表对应部分越重要；

10.根据权利要求1所述一种基于改进的注意机制的图像去模糊方法，其特征在于，对于生成网络，所述编码器包括一个卷积层用于将输入图像的维度映射到64×64；三个下采样层用以下采样并编码图像，在第二个和第三个下采样层后面分别添加三个残差块，图像分辨率由256×256递减至64×64；在上述操作完成之后引入一个稠密膨胀网络，用于学习图像的局部特征和非局部特征对图像清晰特征的预测；对应的，解码器包括三个上采样层用以上采样并解码图像，每一个上采样层前面分别添加三个残差块，图像分辨率由64×64递减至256×256；最终，去模糊后的图像由一个Tanh层和一个卷积层重建得到；

对于判别网络，采用基于块的生成对抗网络作为判别网络的网络结构，包括一个平卷积层、三个下采样卷积层、一个特征重建块；所述下采样卷积层用于降低输入图像的分辨率和编码局部特征；每个卷积层后面都添加了样本标准化层和带泄露修正线性单元激活函数Leaky ReLU，并且每个卷积层的卷积核大小为4×4。

进一步的，稠密膨胀网络分为三个部分，一个前置特征转换模块，一个深层特征提取模块，以及一个后置特征转换模块；其中深层特征提取模块由5个稠密膨胀模块、1个注意力模块以及1个1×1核的卷积层组成；5个稠密膨胀模块和1个注意力模块的输出按元素求和，求和得到的输出特征进行1×1的卷积运算，得到深层特征提取模块的输出特征，此特征再与深层特征提取模块的输入特征之间建立残差连接；稠密膨胀模块用于增强特征的相关性和构建高维度的复杂特征，注意力模块用于实现全局特征融合和残差学习。

进一步的，前置特征转换模块作为缓冲器将特征映射到高维特征，前置特征转换模块由两个级联的卷积层组成，卷积核的大小为3×3；

U_-1＝FT₁(U_n-1),

U₀＝FT₂(U_-1),

其中，FT₁和FT₂分别为前置特征转换模块中的第一个和第二个卷积层，特征U-₁是卷积层FT₁的输出特征；一方面特征U₀作为输入传递给深层特征提取模块；另一方面，特征U₀与深层特征提取模块的输出建立全局残差连接；

稠密膨胀模块的数学表达式为：

U_n＝DDB_n(U₀),

其中，U₀表示稠密膨胀模块的输入特征，DDB_n表示第n个稠密膨胀模块，对于每一个稠密膨胀模块，其第m个卷积层的输出

表示为：

其中，

表示第n个稠密膨胀模块的第m个卷积层，卷积层的数目m设置为4，(·)表示按元素的求和运算；

注意力模块用于将注意力集中在通道特征之间的上下文信息上，注意力模块内引入有门限机制；注意力模块的前端分为两路卷积模块，每路卷积模块均由两个卷积层组成；

由稠密膨胀模块处理得到的特征首先输入到注意力模块内的两路卷积模块中，输入特征分别经过两路卷积模块之后，通过求和运算进行特征融合；

融合得到的特征与注意力模块的输入特征之间建立残差连接，促进梯度的传播和网络优化训练；

经过残差连接的特征，再经过两组级联的卷积层，每一组级联的卷积层与该组级联卷积层的输入之间分别建立残差连接得到不断增强的局部特征，用于网络的优化和加速训练；

不断增强的局部特征经过门限控制输出为重新加权的非局部特征，不断增强的局部特征与重新加权的非局部特征进行点乘运算得到非局部特征；

在注意力模块的输入特征和非局部特征之间构建一个全局残差连接；经过全局残差连接的特征表示作为输入传递给后续的后置特征转换模块；

后置特征转换模块作为缓冲器将特征映射到高维特征，后置特征转换模块由两个级联的卷积层组成，卷积核的大小分别为1×1和3×3，采用全局特征融合运算，通过以下操作融合来自深层特征提取模块的局部特征；

U_GF＝GE(U₁,U₂,...,U_n)

其中，(·)表示按元素的求和运算，GE表示全局特征融合运算；最后，在GE和U_-1之间建立全局残差连接，用于增强网络优化和梯度传播。

进一步的，门限机制工作流程如下：

1)利用全局平均池化运算GP对进入门限控制的每一个特征映射u_C∈R^H×W的维度进行压缩，得到一个描述局部特征通道的全局分布标量z_C＝GP(u_C)，其中H×W代表特征映射的大小，向量z＝[z₁,z₂,...,z_C]∈R^C表示每个通道全局的分布情况，能够自适应地预测每个特征通道的重要性；为了利用z_C＝GP(u_C)，下面进行第二个操作用于充分捕捉特征通道方面的依赖性，学习特征通道之间的非线性交互，并且能够学习一种非相斥的关系，确保强调多个特征通道的重要性。

2)为了限制模型的复杂性和促进模型的泛化性，将门控机制参数化，具体操作如下：将步骤1)处理得到的描述局部特征通道的全局分布标量z_C与

进行卷积运算，用于将z_C进行压缩，并由软阈值函数

激活，得到压缩后的特征F_U；压缩后的特征F_U与

进行卷积运算，还原特征F_U到原有的尺寸，并由Sigmoid函数激活，输出矢量F_IAM的每一个元素作为通道门限用于重新标定各通道的重要性；

其中，α表示Sigmoid激活函数，ConvU表示一个可训练的上采样权重矩阵，

表示软阈值，R表示实数域，C表示特征通道，r表示缩放比例，

表示特征维度，ConvR表示代表可训练的下采样权重矩阵，GP表示全局池化操作；

3)进入门限控制的特征映射u_C的局部特征与非局部特征F_IAM对应特征通道的特征进行点乘运算

为重新加权的非局部特征。

进一步的，生成对抗网络模型搭载在计算机上运行；其中批量训练图像的个数是2，生成网络和判别网络的学习率是0.0001；激活函数Leaky ReLU的坡度是0.2；生成对抗网络使用Adam优化器，其动量参数分别是β₁＝0.5和β₂＝0.999。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述基于局部特征和非局部特征的图像去模糊方法的步骤。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述基于局部特征和非局部特征的图像去模糊方法的步骤。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1.本发明方法与现有的图像去模糊算法相比，本方法恢复得到的图像具有更清晰的结构以及更丰富的细节。相较以往从有限的图像中手动提取特征先验知识或的方法，本发明基于对抗生成网络的纯数据驱动的重构方式可以避免分开估计模型参数带来的累积误差，提高算法的准确性和鲁棒性。

2.本发明提出了一种基于局部特征和非局部特征的图像去模糊方法，该方法与现有方法相比较，能够生成结构显著、细节清晰的去模糊方面。

3.密集的连接使不同的特征与不同的感受野相互作用，与原始卷积层相比，本发明中应用的稠密膨胀模块可以从多个尺度上挖掘局部特征；此外稠密膨胀模块还可以促进局部特征融合和残差学习。

4.本发明注意力模块将注意力集中在通道特征之间的上下文信息上，引入有门限机制，以促进图像去粗取精的性能。

附图说明

图1为本发明方法的流程框架示意图；

图2为生成网络的网络布局和参数图；

图3为稠密膨胀网络(Dense Dilated Block Network,DDBNet)的结构示意图；

图4为稠密膨胀模块(Dense Dilated Block,DDB)的网络结构图；

图5为注意力模块(Improved Attention Module,IAM)的网络结构图；

图6为判别网络的网络布局和参数图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本实施例提供一种基于局部特征和非局部特征的图像去模糊方法，其包括以下步骤：

步骤1：准备数据，包括模糊图像和标签图像；搭建生成对抗网络模型并设置参数；其中标签图像未经模糊退化的清晰图像，生成对抗网络模型包括生成网络和判别网络两个子网络；

步骤2：构建生成网络和判别网络的网络结构；如图2和图6所示，其中生成网络用于学习图像清晰化的过程，而判别网络则对生成网络学习得到的去模糊结果加以判别和反馈。

(1)构建生成网络G网络结构

本实施例采用U型网络作为生成网络的网络结构，如图2所示。U型网络包括编码器和解码器两个部分，编码器阶段的主要作用是对图像进行空间压缩和编码，解码器阶段的主要作用是构建图像内容和域的特征。此外，在对应尺度的上采样层和下采样层之间建立跳变连接，将编码器中学习的低维度的特征与解码后的特征进行关联，指引对图像局部和细节的恢复，这对于图像结构和细节的学习十分关键。编码器部分包括一个卷积层将特征的维度映射到64×64；三个下采样层用以下采样并编码图像，在第二个和第三个下采样层后面分别添加如图2所示的三个残差块，图像分辨率由256×256递减至64×64。之后引入一个稠密膨胀网络(Dense Dilated Block Network,DDBNet)结构，详见步骤(2)。

对应的，解码器包括三个上采样层用以上采样并解码图像，每一个上采样层前面分别添加三个残差块，图像分辨率由64×64递减至256×256。最终，去模糊后的图像由一个Tanh层和一个卷积核是7×7的卷积层重建得到。

(2)构建DDBNet；

DDBNet分为三个部分，一个前置特征转换模块，一个深层特征提取模块，以及一个后置特征转换模块；其中深层特征提取模块由5个稠密膨胀模块、1个改进的注意力模块以及1个1×1核的卷积层组成；DDB模块能够增强特征的相关性和构建高维度的复杂特征，IAM模块能够实现全局特征融合和残差学习；

(201)前置特征转换模块作为缓冲器将特征映射到高维特征，前置特征转换模块由两个级联的卷积层组成，卷积核的大小为3×3；

U_-1＝FT₁(U_n-1),

U₀＝FT₂(U_-1),

其中，FT₁和FT₂分别为前置特征转换模块中的第一个和第二个卷积层，特征U-₁是卷积层FT₁的输出特征；一方面特征U₀作为输入传递给深层特征提取模块；另一方面，特征U₀与深层特征提取模块的输出建立全局残差连接；(202)深层特征提取模块如图3所示，它主要由稠密膨胀模块(Dense Dilated Block,DDB)和注意力模块(Improved AttentionModule,IAM)

两部分构成。需要指出的是，深层特征提取模块和DenseNet(即DenselyConnected Convolutional Networks，具体见https://arxiv.org/abs/1608.06993)之间有三个区别：1)卷积层的每一部分都逐层增加；2)在5个卷积层之后，还附加了1个改进的注意力模块；3)前4个平卷积层被膨胀卷积层代替，其膨胀率分别为1、2、3和3。对于当前的膨胀卷积层，其之前所有卷积层的感受野为RF_n-1，当前卷积层的卷积核大小为f_k，膨胀率为D，当前卷积层的感受野可以表示为RF_n＝RF_n-1+(((f_k-1)×D+1)-1)；DDB模块的结构如图4所示，密集的连接使不同的特征与不同的感受野相互作用，与原始卷积层相比，可以从多个尺度上挖掘局部特征；此外稠密膨胀模块还可以促进局部特征融合和残差学习；稠密膨胀模块的数学表达式为：U_n＝DDB_n(U₀),

其中，U₀表示稠密膨胀模块的输入特征，DDB_n表示第n个稠密膨胀模块，对于每一个稠密膨胀模块，其第m个卷积层的输出

表示为：

其中，

表示第n个稠密膨胀模块的第m个卷积层，卷积层的数目m设置为4，(·)表示按元素的求和运算；

对于模糊的图像，大多数图像去模糊的方法利用图像的上下文信息将模糊的区域与干净的图像区域分开。由通道注意模块构建的上下文信息已经在图像识别任务上有了突出的表现。考虑到基于CNN的图像去模糊方法在很大程度上依赖于感受野，它以同样的权重处理图像的特征信息；本实施例将注意力集中在通道特征之间的上下文信息上，首先引入门限机制，然后再并进一步引入IAM模块，以促进图像去粗取精的性能。

见图5，注意力模块用于将注意力集中在通道特征之间的上下文信息上，注意力模块内引入有门限机制；注意力模块的前端分为两路卷积模块，每路卷积模块均由两个卷积层组成；

由稠密膨胀模块处理得到的特征输入到注意力模块内的两路卷积模块中，输入特征分别经过两路卷积模块之后，通过求和运算进行特征融合；

融合得到的特征一方面流入下一个卷积层，另一方面与输入特征之间建立残差连接，促进梯度的传播和网络优化训练；

经过残差连接的特征，再经过两组级联的卷积层，每一组级联的卷积层与该组级联卷积层的输入之间分别建立残差连接得到不断增强的局部特征，用于网络的优化和加速训练；

不断增强的局部特征经过门限控制输出为重新加权的非局部特征，不断增强的局部特征与重新加权的非局部特征进行点乘运算得到非局部特征；

在注意力模块的输入特征和非局部特征之间构建一个全局残差连接；经过全局残差连接的特征表示作为输入传递给后续的后置特征转换模块。

门限机制的意义如下：捕捉长距离的非局部特征在深度神经网络中具有重要意义，一般卷积神经网络的每个通道的滤波器都是对局部感受野捕捉获得的，这些特征反映的是图像邻域内的局部空间关系，只有局部特征被不断反复，才能捕捉到长距离的非局部依赖关系，对于图像去模糊任务，将模糊区域进行准确区分的方法大多需要图像清晰区域的上下文信息，捕捉代表图像整体数据分布的非局部特征十分必要，模型通过直接建模通道之间的依赖关系，跨特征通道地引入非局部上下文信息，具体来说门限机制汇聚了所有特征通道的空间信息，通过基于通道依赖性的门控机制为每个通道学习特定的权值，根据特征本身的权值对特征通道重新加权排序，门限机制之前不断增强的局部特征与门限机制之后的重新加权的非局部特征进行点乘运算，网络依靠局部特征和非局部特征，预测图像清晰特征并抑制模糊特征，使得恢复的图像具有良好的视觉效果；

具体的，门限机制具体过程如下：

1)利用全局平均池化运算GP对进入门限控制的每一个特征映射u_C∈R^H×W的维度进行压缩，得到一个描述局部特征通道的全局分布标量z_C＝GP(u_C)，其中H×W代表特征映射的大小，向量z＝[z₁,z₂,...,z_C]∈R^C表示每个通道全局的分布情况，能够自适应地预测每个特征通道的重要性；为了利用z_C＝GP(u_C)，下面进行第二个操作用于充分捕捉特征通道方面的依赖性，学习特征通道之间的非线性交互，并且能够学习一种非相斥的关系，确保强调多个特征通道的重要性。

2)为了限制模型的复杂性和促进模型的泛化性，将门控机制参数化，具体操作如下：将步骤1)处理得到的描述局部特征通道的全局分布标量z_C与

进行卷积运算，用于将z_C进行压缩，并由软阈值函数

激活，得到压缩后的特征F_U；压缩后的特征F_U与

进行卷积运算，还原特征F_U到原有的尺寸，并由Sigmoid函数激活，输出矢量F_IAM的每一个元素作为通道门限用于重新标定各通道的重要性；

其中，α表示Sigmoid激活函数，ConvU表示一个可训练的上采样权重矩阵，

表示软阈值，R表示实数域，C表示特征通道，r表示缩放比例，

表示特征维度，ConvR表示代表可训练的下采样权重矩阵，GP表示全局池化操作；

3)进入门限控制的特征映射u_C的局部特征与非局部特征F_IAM对应特征通道的特征进行点乘运算

为重新加权的非局部特征，更具体的描述，

指重新加权校正通道的非局部特征。

(203)后置特征转换模块作为缓冲器将特征映射到高维特征，后置特征转换模块由卷积层组成，卷积层之间以级联的形式连接，卷积核的大小分别为1×1和3×3，采用全局特征融合运算，通过以下操作融合来自深层特征提取模块的局部特征；

U_GF＝GE(U₁,U₂,...,U_n)

其中，(·)表示按元素的求和运算，GE表示全局特征融合运算；最后，在GE和U_-1之间建立全局残差连接，用于增强网络优化和梯度传播。

(3)构建判别网络D网络结构

为了对真实的标签图像与生成网络生成的图像进行区分，本实施例采用PatchGAN作为判别网络，如图6所示。该判别网络包括一个卷积层；三个下采样卷积层降低输入图像的分辨率和编码重要的局部特征用以分类，经过三个下采样卷积层的图像分辨率由256×256递减至32×32；一个经过Sigmoid函数激活的卷积层用于得到最终的分类响应。每个卷积层后面都添加了样本标准化层和Leaky ReLU激活函数，并且所有卷积层的卷积核大小为4×4。对于生成网络，在生成网络优化训练过程中，对其增加语义目标损失函数和结构目标损失函数的约束，使得生成的生成图像具有和标签图像一致的语义以及结构信息，期望判别网络无法判别出输入图像是合成图像还是真实的标签图像。对于判别网络，其将判别的结果反馈给生成网络，驱使生成网络能够生成图像结构显著的生成图像；生成网络根据判别网络的反馈更新网络的参数进入下一次的迭代训练，生成网络和判别网络以上述描述的方式不断竞争训练，直到网络训练收敛，将模糊图像载入到训练收敛的生成网络中，即可得到结构显著的去模糊图像。

步骤3：构建生成对抗网络模型的目标损失函数；

围绕着本发明的结构判别机制，通过引进图像语义内容约束项L_content，图像结构重建约束项L_gradient，以及判别损失函数L_adv，分别对生成网络G和判别网络D的训练进行正则。因此，根据各部分的重要性，生成对抗网络整体的目标损失函数可加权地表示为：

L(G,D)＝βL_content+λL_gradient+αL_adv,

其中，β，λ和α分别是L_content，L_gradient和L_adv的权重系数。各约束项的权重系数约束如下：β＝10,λ＝12,α＝1，更大的值代表相应对的部分更重要。

步骤301：构建图像语义内容约束项L_content

图像去模糊的目的在于保证恢复前后的图像能保持相同的语义内容。本实施中采用预训练好的VGG19模型，分别抽取生成图像和标签图像的高阶特征，期望两者之间的距离无限逼近，并通过求解二范数L₂对生成图像的语义学习过程加以约束，语义约束函数的表示如下：

其中，L_content(s,G_θG(b))表示生成图像和标签图像的语义相似度之间的差距，W和H分别代表输入图像的宽度和高度，φ_i,j代表从VGG19模型第i个池化层和第j个卷基层激活之后得到的特征，G_θG表示生成网络以及全部参数，φ_i,j(s)_x,y表示标签图像的语义内容，φ_i,j(G_θG(b))_x,y表示生成图像的语义内容。

步骤302：构建图像结构重建约束项L_gradient

显著的结构是衡量图像是否清晰的定性指标之一，同时也是传统方法中重要的先验之一。因此，本实施例通过约束生成图像和标签图像在图像水平方向和垂直方向上，图像梯度的差距，使得生成图像具有显著的结构特征。具体来讲，通过求解一范数L₁对图像的结构特征加以约束，结构目标损失函数的表示如下：

其中，

代表图像水平方向上的梯度信息，

代表图像垂直方向上的梯度信息。

步骤203：判别损失函数L_adv。

如步骤1所述，将模糊图像b_i∈P_data(b)输入到生成网络中可得到清晰化后的图像G_θG(b)，标签图像s_i∈P_data(s)，其中P_data(b)表示模糊图像的数据分布，P_data(s)表示标签图像的数据分布。在本发明方法中，训练判别网络D的目标是最大限度地将正确的标签分配给清晰化的图像G_θG(b)，具有清晰结构的标签图像s_i∈P_data(s)，指引生成网络将模糊图像转换成标签图像。此外，本发明采用基于推土机距离和梯度惩罚项(WGAN-GP)作为判别网络的优化架构。因此，结构驱动的判别网络的约束函数表示如下：

其中，

项是判别网络D判别标签图像s_i为真，

项是判别网络D判别生成图像G(b_i)为假，

表示梯度惩罚项，λ为系数项，

表示在标签图像s_i和生成数据G(b_i)之间随机取值的连线上进行均匀采样得到的样本分布。

步骤4：生成对抗网络模型的训练与测试

本实施例中选取GOPRO数据集中的2103对标签图像/模糊图像的训练集作为本发明的训练集。本发明将模糊图像b_i∈P_data(b)，标签图像s_i∈P_data(s)随机裁剪成256×256大小的图像输入到生成网络中，学习图像的清晰化过程，并且此过程由目标损失函数L_content、L_gradient进行约束。判别网络需要完成即生成图像G_θG(b)和标签图像s_i∈P_data(s)的判别任务。生成网络和判别网络保持一种竞争学习的状态，直到网络训练收敛。当测试时，只需要将模糊图像输入到已经训练收敛的G中，即可得到结构显著的生成图像。

本实施例中将生成对抗网络模型搭载在配置为一块Intel(R)Core(TM)i7 CPU(16GB RAM)3.60GHz的CPU和1块NVIDIA GeForce GTX 1080Ti GPU的台式电脑上运行。其中batch size(批量训练图像的个数)是2，G和D学习率是0.0001。激活函数Leaky ReLU的坡度是0.2。网络使用Adam优化器，其动量参数分别是β₁＝0.5和β₂＝0.999。

本申请的实施例还提供能够实现上述实施例中的基于局部特征和非局部特征的图像去模糊方法中全部步骤的一种电子设备的具体实施方式，电子设备具体包括如下内容：

处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；

其中，处理器、存储器、通信接口通过总线完成相互间的通信；通信接口用于实现服务器端设备、计量设备以及用户端设备等相关设备之间的信息传输。

处理器用于调用存储器中的计算机程序，处理器执行计算机程序时实现上述实施例中的基于局部特征和非局部特征的图像去模糊方法中的全部步骤。

本申请的实施例还提供能够实现上述实施例中的基于基于局部特征和非局部特征的图像去模糊方法中全部步骤的一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的基于局部特征和非局部特征的图像去模糊方法的全部步骤。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

最后需要指出的是：以上实例仅用以说明本发明的计算过程，而非对其限制。尽管参照前述实例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述实例所记载的计算过程进行修改，或者对其中部分参数进行等同替换，而这些修改或者替换，并不使相应计算方法的本质脱离本发明计算方法的精神和范围。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (9)

1.一种基于局部特征和非局部特征的图像去模糊方法，其特征在于，包括以下步骤：

(1)准备数据，包括模糊图像和标签图像；搭建生成对抗网络模型并设置参数；

(2)设置生成网络和判别网络的网络结构框架；生成网络的网络结构框架采用U型网络结构，此网络包括编码器和解码器两部分，编码器用以下采样并提取图像中有用的细节特征进行编码，解码器用于上采样并解码图像；所述编码器和解码器之间还设置有稠密膨胀网络，所述稠密膨胀网络由稠密膨胀模块和注意力模块组成，分别用于学习图像的局部特征和非局部特征对图像清晰特征的预测，所述注意力模块中引入门限机制；具体的：

将模糊图像送入设计的生成网络中，在生成网络优化训练过程中，对其增加语义目标损失函数和结构目标损失函数的约束，使得生成图像具有和标签图像一致的语义以及结构信息；判别网络将判别的结果反馈给生成网络，驱使生成网络能够生成图像结构较为完整的生成图像；生成网络根据判别网络的反馈更新生成网络的参数进入下一次的迭代训练，生成网络和判别网络以上述描述的方式不断竞争训练，直到生成对抗网络训练收敛；

(3)设置生成对抗网络模型的目标损失函数：生成网络中的目标损失函数包括图像语义目标损失函数L_content、图像结构重建目标损失函数L_gradient；其中，L_content保证恢复前后的图像能保持相同的语义内容，L_gradient约束生成图像与清晰图像，在图像结构方面具有一致性；判别网络中的目标损失函数L_adv，L_adv用于完成生成图像与标签图像的判别，以提升判别网络对图像真假的判别学习能力。

(4)将模糊图像、标签图像输送到生成对抗网络模型中，判别网络用以判别生成图像和标签图像在内容方面的一致性；判别网络将判断得到的结果反馈给生成网络，生成网络和判别网络之间竞争学习，直到达到纳什均衡，生成对抗网络模型收敛；将模糊图像载入到训练收敛的生成网络中，最终得到结构完整的生成图像。

2.根据权利要求1所述一种基于改进的注意机制的图像去模糊方法，其特征在于，步骤(3)中，生成对抗网络模型的目标损失函数加权地表示为：

L(G,D)＝βL_content+λL_gradient+αL_adv

其中，β，λ和α分别是L_content，L_gradient和L_adv的权重系数；各约束项的权重系数约束如下：β＝10,λ＝12,α＝1，值越大代表对应部分越重要。

3.根据权利要求1所述一种基于改进的注意机制的图像去模糊方法，其特征在于，对于生成网络，所述编码器包括一个卷积层用于将输入图像的维度映射到64×64；三个下采样层用以下采样并编码图像，在第二个和第三个下采样层后面分别添加三个残差块，图像分辨率由256×256递减至64×64；在上述操作完成之后引入一个稠密膨胀网络，用于学习图像的局部特征和非局部特征对图像清晰特征的预测；对应的，解码器包括三个上采样层用以上采样并解码图像，每一个上采样层前面分别添加三个残差块，图像分辨率由64×64递减至256×256；最终，去模糊后的图像由一个Tanh层和一个卷积层重建得到；

对于判别网络，采用基于块的生成对抗网络作为判别网络的网络结构，包括一个平卷积层、三个下采样卷积层、一个特征重建块；所述下采样卷积层用于降低输入图像的分辨率和编码局部特征；每个卷积层后面都添加了样本标准化层和带泄露修正线性单元激活函数Leaky ReLU，并且每个卷积层的卷积核大小为4×4。

4.根据权利要求1所述一种基于局部特征和非局部特征的图像去模糊方法，其特征在于，稠密膨胀网络分为三个部分，一个前置特征转换模块，一个深层特征提取模块，以及一个后置特征转换模块；其中深层特征提取模块由5个稠密膨胀模块、1个注意力模块以及1个1×1核的卷积层组成，5个稠密膨胀模块和1个注意力模块的输出按元素求和，求和得到的输出特征进行1×1的卷积运算，得到深层特征提取模块的输出特征，此特征再与深层特征提取模块的输入特征之间建立残差连接；稠密膨胀模块用于增强特征的相关性和构建高维度的复杂特征，注意力模块用于实现全局特征融合和残差学习。

5.根据权利要求4所述一种基于局部特征和非局部特征的图像去模糊方法，其特征在于，

前置特征转换模块作为缓冲器将特征映射到高维特征，前置特征转换模块由两个级联的卷积层组成，卷积核的大小为3×3；

U_-1＝FT₁(U_n-1),

U₀＝FT₂(U_-1),

其中，FT₁和FT₂分别为前置特征转换模块中的第一个和第二个卷积层，特征U-₁是卷积层FT₁的输出特征；一方面特征U₀作为输入传递给深层特征提取模块；另一方面，特征U₀与深层特征提取模块的输出建立全局残差连接；

稠密膨胀模块的数学表达式为：

U_n＝DDB_n(U₀),

其中，U₀表示稠密膨胀模块的输入特征，DDB_n表示第n个稠密膨胀模块，对于每一个稠密膨胀模块，其第m个卷积层的输出

表示为：

其中，

表示第n个稠密膨胀模块的第m个卷积层，卷积层的数目m设置为4，(·)表示按元素的求和运算；

注意力模块用于将注意力集中在通道特征之间的上下文信息上，注意力模块内引入有门限机制；注意力模块的前端分为两路卷积模块，每路卷积模块均由两个卷积层组成；

由稠密膨胀模块处理得到的特征首先输入到注意力模块内的两路卷积模块中，输入特征分别经过两路卷积模块之后，通过求和运算进行特征融合；

融合得到的特征与注意力模块的输入特征之间建立残差连接，促进梯度的传播和网络优化训练；

经过残差连接的特征，再经过两组级联的卷积层，每一组级联的卷积层与该组级联卷积层的输入之间分别建立残差连接得到不断增强的局部特征，用于网络的优化和加速训练；

不断增强的局部特征经过门限控制输出为重新加权的非局部特征，不断增强的局部特征与重新加权的非局部特征进行点乘运算得到非局部特征；

在注意力模块的输入特征和非局部特征之间构建一个全局残差连接；经过全局残差连接的特征表示作为输入传递给后续的后置特征转换模块；

后置特征转换模块作为缓冲器将特征映射到高维特征，后置特征转换模块由两个级联的卷积层组成，卷积核的大小分别为1×1和3×3，采用全局特征融合运算，通过以下操作融合来自深层特征提取模块的局部特征；

U_GF＝GE(U₁,U₂,...,U_n)

其中，(·)表示按元素的求和运算，GE表示全局特征融合运算；最后，在GE和U_-1之间建立全局残差连接，用于增强网络优化和梯度传播。

6.根据权利要求5所述一种基于局部特征和非局部特征的图像去模糊方法，其特征在于，门限机制工作流程如下：

1)利用全局平均池化运算GP对进入门限控制的每一个特征映射u_C∈R^H×W的维度进行压缩，得到一个描述局部特征通道的全局分布标量z_C＝GP(u_C)，其中H×W代表特征映射的大小，向量z＝[z₁,z₂,...,z_C]∈R^C表示每个通道全局的分布情况，能够自适应地预测每个特征通道的重要性；为了利用z_C＝GP(u_C)，下面进行第二个操作用于充分捕捉特征通道方面的依赖性，学习特征通道之间的非线性交互，并且能够学习一种非相斥的关系，确保强调多个特征通道的重要性；

2)为了限制模型的复杂性和促进模型的泛化性，将门控机制参数化，具体操作如下：将步骤1)处理得到的描述局部特征通道的全局分布标量z_C与

进行卷积运算，用于将z_C进行压缩，并由软阈值函数

激活，得到压缩后的特征F_U；压缩后的特征F_U与

进行卷积运算，还原特征F_U到原有的尺寸，并由Sigmoid函数激活，输出矢量F_IAM的每一个元素作为通道门限用于重新标定各通道的重要性；

其中，α表示Sigmoid激活函数，ConvU表示一个可训练的上采样权重矩阵，

表示软阈值，R表示实数域，C表示特征通道，r表示缩放比例，

表示特征维度，ConvR表示代表可训练的下采样权重矩阵，GP表示全局池化操作；

3)进入门限控制的特征映射u_C的局部特征与非局部特征F_IAM对应特征通道的特征进行点乘运算

为重新加权的非局部特征。

7.根据权利要求1所述一种基于局部特征和非局部特征的图像去模糊方法，其特征在于，生成对抗网络模型搭载在计算机上运行；其中批量训练图像的个数是2，生成网络和判别网络的学习率是0.0001；激活函数Leaky ReLU的坡度是0.2；生成对抗网络使用Adam优化器，其动量参数分别是β₁＝0.5和β₂＝0.999。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述基于局部特征和非局部特征的图像去模糊方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述基于局部特征和非局部特征的图像去模糊方法的步骤。

Images