[go: up one dir, main page]

CN117036161A - 一种基于生成式对抗网络的大坝缺陷恢复方法 - Google Patents

一种基于生成式对抗网络的大坝缺陷恢复方法 Download PDF

Info

Publication number
CN117036161A
CN117036161A CN202310699458.XA CN202310699458A CN117036161A CN 117036161 A CN117036161 A CN 117036161A CN 202310699458 A CN202310699458 A CN 202310699458A CN 117036161 A CN117036161 A CN 117036161A
Authority
CN
China
Prior art keywords
dam
model
image
resolution
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310699458.XA
Other languages
English (en)
Inventor
王龙宝
余庆
毛莺池
高红民
徐淑芳
储洪强
张雪洁
徐荟华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202310699458.XA priority Critical patent/CN117036161A/zh
Publication of CN117036161A publication Critical patent/CN117036161A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于生成式对抗网络的大坝缺陷恢复方法，包括：对数据集进行预处理得到大坝巡检图像数据集；将大坝巡检图像数据集依次输入至构建好的高阶退化模型进行卷积退化处理生成低分辨率的大坝巡检图像对；将生成的低分辨率大坝巡检图像对依次输入到构建好的引入CBAM注意力模块的生成式对抗网络模型中进行模型预训练，得到预训练好的生成式对抗网络模型，并且通过生成式对抗网络模型生成高分辨率图像；进行模型的优化训练，并且通过生成式对抗网络模型输出高分辨率图像，实现对大坝缺陷的恢复。本发明方法采用基于生成式对抗网络的技术，有效解决大坝巡检图像的低分辨率、噪声和模糊等问题，能够及时恢复大坝渗漏、裂缝、沉降等缺陷。

Description

一种基于生成式对抗网络的大坝缺陷恢复方法
技术领域
本发明属于图像超分辨领域，具体涉及一种基于生成式对抗网络的大坝缺陷恢复方法。
背景技术
图像超分辨率技术是指通过一系列图像处理算法和模型，将低分辨率的图像恢复为高分辨率的图像，以获得更多的细节信息和更高的空间分辨率。这项技术在图像处理、地球观测等领域有着广泛的应用。
在大坝巡检中，由于传感器的限制和数据采集的成本，常常出现图像分辨率低的问题。而高分辨率的巡检图像能够提供更多细节信息，对于精确的地物分类、目标检测、三维重建等任务有着重要的作用。因此，如何通过技术手段提高图像的分辨率成为一个研究热点。
超分辨率技术的发展历程可以追溯到上世纪90年代初，最早的超分辨率方法是插值算法。插值算法利用原始低分辨率图像的像素值，通过某种数学函数拟合出高分辨率图像中每个像素的值，来达到提高图像分辨率的目的。然而，插值算法的效果受限于数学函数的选择和参数调整，因此在实际应用中效果并不理想。
近年来，随着深度学习技术的发展，基于卷积神经网络的超分辨率技术逐渐成为主流。这类方法通过构建深层神经网络，将低分辨率图像映射到高分辨率图像空间中，从而实现超分辨率。
虽然现有的超分辨率技术已经取得了很大的进展，但仍然存在一些可以改进的方面，目前对于超分辨率任务中的细节信息还不够精确，模型对于图像的光照、旋转、变形等变化的适应能力也还有待提高。现有的超分辨率技术主要是通过学习低分辨率图像和高分辨率图像之间的映射关系，来实现超分辨率。但对于一些细节信息，例如纹理细节和边缘细节，现有的超分辨率技术还无法完全捕捉到。
所以需要一个新的技术方案来解决上述问题。
发明内容
发明目的：为了克服现有技术中存在的不足，提供一种基于生成式对抗网络的大坝缺陷恢复方法，从退化模型、GAN网络生成器、鉴别器构建相应的大坝巡检图像超分辨率网络模型，对大坝巡检图像进行超分辨率重建。
技术方案：为实现上述目的，本发明提供一种基于生成式对抗网络的大坝缺陷恢复方法，包括如下步骤：
S1：对数据集进行预处理得到大坝巡检图像数据集；
S2：将大坝巡检图像数据集依次输入至构建好的高阶退化模型进行卷积退化处理生成低分辨率的大坝巡检图像对；
在大坝巡检图像数据集输入高阶退化模型进行卷积退化处理后，可以生成低分辨率的大坝巡检图像对。这里进行退化处理的目的是模拟实际场景中存在的图像退化问题，例如摄像头传感器噪声、光照条件不佳、图像模糊等。通过引入这些退化效果，可以更真实地模拟现实环境下的图像情况，从而提高超分辨率模型的泛化能力和鲁棒性。
S3：将步骤S2生成的低分辨率大坝巡检图像对依次输入到构建好的引入CBAM注意力模块的生成式对抗网络模型中进行模型预训练，得到预训练好的生成式对抗网络模型，并且通过生成式对抗网络模型生成高分辨率图像；
S4：将步骤S1的大坝巡检图像数据集和步骤S3生成的高分辨率图像分别输入到预训练好的生成式对抗网络模型中，进行模型的优化训练，并且通过生成式对抗网络模型输出高分辨率图像，实现对大坝缺陷的恢复。
进一步地，所述步骤S1中的预处理包括如下步骤：
A1：选择大坝巡检所需的图像类型；
A2：根据实际情况模拟大坝巡检场景；
A3：对标注后的照片进行数据清洗和处理；
A4：将清洗和处理后的数据分割成训练集、验证集和测试集；
A5：对数据集进行增强处理，将处理后的数据集作为大坝巡检图像数据集。
进一步地，所述步骤S2中高阶退化模型对大坝巡检图像进行卷积退化处理的表达式为：
其中，D为退化过程，y是图像真实值，k表示模糊核，r表示降采样的尺度因子，n为噪声，采用JPEG图像压缩，随机安排各因子的执行顺序(例如ksn、nks、snk等等)，同时每个因子又有不同的方法(例如：降采样核s采用双三次插值方式)，此时，就可以通过随机过程构建退化模型模仿真实场景下的退化过程。
进一步地，所述步骤S2中高阶退化模型对大坝巡检图像的卷积退化处理过程依次包括模糊、上下采样、噪声、压缩，模糊采用广义高斯模糊核，降采样使用的是双线性插值和双三次插值。
进一步地，所述步骤S3中生成式对抗网络模型包括生成器网络和鉴别器网络，所述生成器网络中加入了CBAM注意力模块，所述CBAM注意力模块包括通道注意力模块和空间注意力模块，所述鉴别器网络采用带普归一化的U-net鉴别器。
CBAM注意力模块是一种用于增强模型感知能力和提高特征表示性能的注意力机制，它可以应用于各种图像处理任务，包括超分辨率恢复。在本发明中，CBAM注意力模块被应用于生成器网络中，旨在增强生成器对输入图像特征的感知能力和对重要特征的聚焦。CBAM注意力模块可以帮助生成器网络更好地聚焦于重要的特征，提高生成器对输入图像的理解和恢复能力，从而改善大坝缺陷的恢复效果。
进一步地，所述通道注意力模块中，使用逐元素求和来合并输出特征向量，计算公式为：
式(2)中的σ表示sigmoid函数，W0∈RC/r×C，W1∈RC×C/r，隐藏激活大小设置为RC /r×1×1，其中r是缩减率；
空间注意力模块的计算公式为：
其中式(3)的σ表示sigmoid函数，f7×7表示滤波器大小为7×7的卷积操作。
进一步地，所述步骤S3中采样损失函数进行模型预训练，损失函数包括生成网络的损失函数和鉴别网络的损失函数，损失函数使用L1损失、感知损失和GAN损失的组合损失函数进行训练，L1损失、感知损失和GAN损失表达如下：
其中式(4)是L1损失，p是像素的索引，P是补丁；x(p)和y(p)分别是处理后的patch和ground truth的像素值；
其中式(5)是输出图像/>与目标y之间的(归一化)欧几里得距离，图像的形状是C×H×W；
其中式(6)Lgen是生成器损失，IL是低分辨率图像，G(IL)是生成器，也就是超分辨率模型，D(IH)是判别器；
组合损失函数表达如下：
其中L1是评估恢复图像G(xi)和真实图像y之间的1范数距离的内容损失，λ，η是平衡不同损失项的系数。
本发明中对于GAN(生成式对抗网络)模型的训练，是通过迭代训练，生成器学习生成更真实的高分辨率图像，鉴别器不断提高自己的判别能力；具体是将经过退化模型预处理过的自制大坝巡检数据集作为预训练数据集，进行迭代训练，预训练CBAM-GAN模型，提高带普归一化的U-net网络的鉴别能力。
本发明方法本质上是一种针对大坝缺陷恢复场景的图像增强方法，采用基于生成式对抗网络的技术，有效解决大坝巡检图像的低分辨率、噪声和模糊等问题及时恢复大坝渗漏、裂缝、沉降等缺陷。本发明方法通过构建二次高阶退化模型，随机混洗成像过程中的退化先验知识，模拟自然场景下的低分辨率图像生成过程。然后，针对大坝缺陷恢复场景的成对图像数据集，提出了一种基于CBAM注意力模块的生成式对抗网络模型，能够有效增强大坝巡检图像渗漏、裂缝、沉降等缺陷的纹理细节，并使用U-net网络减少成像伪影，实现图像的超分辨率重构和缺陷恢复。经过对自制大坝巡检图像数据集的评估，本发明提出的模型在常用的客观指标上表现优异。本发明的应用领域包括大坝水库巡检等需要高分辨率图像的场景，为大坝安全保障提供了有力的技术支持。
有益效果：本发明与现有技术相比，具备如下优点：
1、高质量的超分辨率重建：该模型能够生成高质量的图像超分辨率重建结果，能够有效地提高图像中大坝缺陷的分辨率和细节，帮助工程师更准确地发现和诊断大坝缺陷。
2、提高了图像大坝缺陷的细节：CBAM注意力机制能够准确地关注大坝巡检图像中的重要细节信息，从而提高了图像的细节信息，帮助工程师更好地了解和分析大坝缺陷的情况。
3、模型鲁棒性强：该模型使用GAN框架进行训练，能够通过学习图像大坝缺陷的特征分布，提高模型的鲁棒性和泛化能力，从而能够更好地处理各种复杂情况下的图像大坝缺陷。
4、可扩展性好：CBAM注意力机制是一种通用的注意力机制，可用于各种类型的图像和任务，从而提高了该模型的可扩展性，适用于不同类型和规模的图像缺陷恢复任务。
附图说明
图1为本发明所述图像超分辨率重建方法的工作框图；
图2为本发明所述图像超分辨率重建方法的总体结构图；
图3为本发明所述退化模型的结构图；
图4为本发明所述生成网络结构图；
图5位本发明所述残差密集块和CBAM注意力结合的工作结构图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1和图2所示，本发明提供一种基于生成式对抗网络的大坝缺陷恢复方法，包括如下步骤：
S1：对数据集进行预处理得到大坝巡检图像数据集；
S2：将大坝巡检图像数据集依次输入至构建好的高阶退化模型进行卷积退化处理生成低分辨率的大坝巡检图像对；
在大坝巡检图像数据集输入高阶退化模型进行卷积退化处理后，可以生成低分辨率的大坝巡检图像对。这里进行退化处理的目的是模拟实际场景中存在的图像退化问题，例如摄像头传感器噪声、光照条件不佳、图像模糊等。通过引入这些退化效果，可以更真实地模拟现实环境下的图像情况，从而提高超分辨率模型的泛化能力和鲁棒性。
S3：将步骤S2生成的低分辨率大坝巡检图像对依次输入到构建好的引入CBAM注意力模块的生成式对抗网络模型中进行模型预训练，得到预训练好的生成式对抗网络模型，并且通过生成式对抗网络模型生成高分辨率图像；
S4：将步骤S1的大坝巡检图像数据集和步骤S3生成的高分辨率图像分别输入到预训练好的生成式对抗网络模型中，进行模型的优化训练，并且通过生成式对抗网络模型输出高分辨率图像，实现对大坝缺陷的恢复。
步骤S1中的预处理包括如下步骤：
A1：选择大坝巡检所需的图像类型，包括不同视角下的大坝照片、不同时间段下的大坝照片、不同天气下的大坝照片等；
A2：根据实际情况模拟大坝巡检场景，例如模拟大坝渗漏、裂缝、沉降等缺陷，并在相应位置拍摄照片；
A3：对标注后的照片进行数据清洗和处理，例如去除模糊或重叠的照片、将照片转换为png；
A4：将清洗和处理后的数据分割成训练集、验证集和测试集；
A5：对数据集进行增强处理，例如旋转、平移、缩放、裁剪等，以增加数据集的多样性和数量，将处理后的数据集作为大坝巡检图像数据集，供后续的大坝巡检方法巡检和测试使用，
如图3所示，高阶退化模型对大坝巡检图像的卷积退化处理过程依次包括模糊、上下采样、噪声、JPEG压缩，其中，模糊采用广义高斯模糊核，降采样使用的是双线性插值和双三次插值，降采样比例为r，所述降采样比例r为4，即为4倍缩小比例。一阶退化模型退化效果难以符合真实场景下的退化过程，所以采用高阶进行多次退化。
步骤S2中高阶退化模型对大坝巡检图像进行卷积退化处理的表达式为：
其中，D为退化过程，y是图像真实值，k表示模糊核，r表示降采样的尺度因子，n为噪声，采用JPEG图像压缩，随机安排各因子的执行顺序(例如ksn、nks、snk等等)，同时每个因子又有不同的方法(例如：降采样核s采用双三次插值方式)，此时，就可以通过随机过程构建退化模型模仿真实场景下的退化过程。
步骤S3中生成式对抗网络模型包括生成器网络和鉴别器网络，生成器网络中加入了CBAM注意力模块，CBAM注意力模块包括通道注意力模块和空间注意力模块，所述鉴别器网络采用带普归一化的U-net鉴别器，可以有效缓解U-net结构带来的训练不稳定性，并且有利于减轻GAN训练引入的伪影。
通道注意力模块中，使用逐元素求和来合并输出特征向量，计算公式为：
式(2)中的σ表示sigmoid函数，W0∈RC/r×C，W1∈RC×C/r，隐藏激活大小设置为RC /r×1×1，其中r是缩减率；
空间注意力模块的计算公式为：
其中式(3)的σ表示sigmoid函数，f7×7表示滤波器大小为7×7的卷积操作。
步骤S3中生成式对抗网络模型的构建可以总结为这几点：设计低频特征提取器、深度残差密集块、卷积注意力模块作为整个生成网络，去除BN层，提高训练稳定性；使用CBAM注意力机制提高网络的特征表达能力；使用带普归一化的U-net鉴别网络；采样损失函数进行模型训练。
本发明中生成式对抗网络模型的构建使用具有3x3内核的低频特征提取器，将残差密集连接块作为特征提取模块，经过CBAM得到通道和空间维度上的注意力权重，生成有效的全局上下文轮廓。
如图4所示，基于注意力机制的残差密集块由三组卷积层、激活层、通道注意力和空间注意力组成，其中激活函数为ReLu，其中通道注意力和空间注意力组成了CBAM。
搭建有卷积层、ReLu激活层、通道注意力和空间注意力的判别网络，最终通过全连接层和L1损失得到判别损失。
步骤S3中采样损失函数进行模型预训练，损失函数包括生成网络的损失函数和鉴别网络的损失函数，损失函数使用L1损失、感知损失和GAN损失的组合损失函数进行训练，L1损失、感知损失和GAN损失表达如下：
其中式(4)是L1损失，p是像素的索引，P是补丁；x(p)和y(p)分别是处理后的patch和ground truth的像素值；
其中式(5)是输出图像/>与目标y之间的(归一化)欧几里得距离，图像的形状是C×H×W；
其中式(6)Lgen是生成器损失，IL是低分辨率图像，G(IL)是生成器，也就是超分辨率模型，D(IH)是判别器；
组合损失函数表达如下：
其中L1是评估恢复图像G(xi)和真实图像y之间的1范数距离的内容损失，λ，η是平衡不同损失项的系数。
本发明中对于GAN(生成式对抗网络)模型的训练，是通过迭代训练，生成器学习生成更真实的高分辨率图像，鉴别器不断提高自己的判别能力；具体是将经过退化模型预处理过的自制大坝巡检数据集作为预训练数据集，进行迭代训练，预训练CBAM-GAN模型，提高带普归一化的U-net网络的鉴别能力。
步骤S4中模型的优化训练过程为：
1)利用pytorch深度学习平台，优化器为Adam，基础学习率为2×10-3，迭代次数为1000K次，CBAM-GAN使用L1损失、感知损失和GAN损失的组合进行训练，权重分别为{1，1，0.1}，采用GPU加速训练。
2)参照图1，正式优化训练将训练集中经过退化模型的图像对的低分辨率图像作为样本输入，将低分辨率图像(LR图片)输入生成式对抗网络模型的生成器网络中，得到重建后的高分辨率图像(HR图片)，再将重建后的高分辨率图像和真实的高分辨率图像分别送入生成器网络和U-net鉴别器网络中，前者得到感知损失最终得到生成损失，后者得到鉴别信息，并将鉴别信息反向传播至生成器网络，优化网络参数，优化训练。
基于上述内容，可见本发明与现有技术相比，具备如下优点：
1、高质量的超分辨率重建：该模型能够生成高质量的图像超分辨率重建结果，能够有效地提高图像中大坝缺陷的分辨率和细节，帮助工程师更准确地发现和诊断大坝缺陷。
2、提高了图像大坝缺陷的细节：CBAM注意力机制能够准确地关注大坝巡检图像中的重要细节信息，从而提高了图像的细节信息，帮助工程师更好地了解和分析大坝缺陷的情况。
3、模型鲁棒性强：该模型使用GAN框架进行训练，能够通过学习图像大坝缺陷的特征分布，提高模型的鲁棒性和泛化能力，从而能够更好地处理各种复杂情况下的图像大坝缺陷。
4、可扩展性好：CBAM注意力机制是一种通用的注意力机制，可用于各种类型的图像和任务，从而提高了该模型的可扩展性，适用于不同类型和规模的图像缺陷恢复任务。
为了验证本发明提供的CBAM-GAN超分辨率模型的实际性能，本实施例中对训练完成的CBAM-GAN超分辨率模型进行评估和优化，评估指标PSNR、SSIM和MOS指标，考虑损失函数权重、网络结构、训练数据等因素，根据具体任务需求和数据集特点进行调整和优化。
表1定量呈现了最近邻插值、双三次插值、SRCNN、SRGAN、Real-ESRGAN以及CBAM-GAN的3种指标结果。从指标结果可知，CBAM-GAN虽然在视觉效果上不是最好，但它在UCMerced-LandUse上实现了53.4％PSNR，25.0％SSIM和136.9％MOS的增长率，并且在WHU-RS19上也实现了40.9％PSNR，35.1％SSIM和85.9％MOS的增长率，在两个不同数据集上的表现证明了CBAM-GAN的有效性。对PSNR评价指标而言，CBAM-GAN方法较传统方法有较高的提升，说明CBAM-GAN生成的图像质量是好的，即失真可以察觉但总体可以接受；对于SSIM指标而言，CBAM-GAN指标大于其他方法的数值，这说明CBAM-GAN方法能够较好地考虑图像在整体结构上的相似性；对于MOS指标而言，CBAM-GAN方法较高，这说明本发明所提的方法能够获得人眼满意度较高的遥感图像。
表1 在UCMerced-LandUse、WHU-RS19数据集上得分情况对比

Claims (8)

1.一种基于生成式对抗网络的大坝缺陷恢复方法，其特征在于，包括如下步骤：
S1：对数据集进行预处理得到大坝巡检图像数据集；
S2：将大坝巡检图像数据集依次输入至构建好的高阶退化模型进行卷积退化处理生成低分辨率的大坝巡检图像对；
S3：将步骤S2生成的低分辨率大坝巡检图像对依次输入到构建好的引入CBAM注意力模块的生成式对抗网络模型中进行模型预训练，得到预训练好的生成式对抗网络模型，并且通过生成式对抗网络模型生成高分辨率图像；
S4：将步骤S1的大坝巡检图像数据集和步骤S3生成的高分辨率图像分别输入到预训练好的生成式对抗网络模型中，进行模型的优化训练，并且通过生成式对抗网络模型输出高分辨率图像，实现对大坝缺陷的恢复。
2.根据权利要求1所述的一种基于生成式对抗网络的大坝缺陷恢复方法，其特征在于，所述步骤S1中的预处理包括如下步骤：
A1：选择大坝巡检所需的图像类型；
A2：根据实际情况模拟大坝巡检场景；
A3：对标注后的照片进行数据清洗和处理；
A4：将清洗和处理后的数据分割成训练集、验证集和测试集；
A5：对数据集进行增强处理，将处理后的数据集作为大坝巡检图像数据集。
3.根据权利要求1所述的一种基于生成式对抗网络的大坝缺陷恢复方法，其特征在于，所述步骤S2中高阶退化模型对大坝巡检图像进行卷积退化处理的表达式为：
其中，D为退化过程，y是图像真实值，k表示模糊核，r表示降采样的尺度因子，n为噪声，采用JPEG图像压缩，随机安排各因子的执行顺序，同时每个因子又有不同的方法，通过随机过程构建退化模型模仿真实场景下的退化过程。
4.根据权利要求3所述的一种基于生成式对抗网络的大坝缺陷恢复方法，其特征在于，所述步骤S2中高阶退化模型对大坝巡检图像的卷积退化处理过程依次包括模糊、上下采样、噪声、压缩，模糊采用广义高斯模糊核，降采样使用的是双线性插值和双三次插值。
5.根据权利要求1所述的一种基于生成式对抗网络的大坝缺陷恢复方法，其特征在于，所述步骤S3中生成式对抗网络模型包括生成器网络和鉴别器网络，所述生成器网络中加入了CBAM注意力模块，所述CBAM注意力模块包括通道注意力模块和空间注意力模块，所述鉴别器网络采用带普归一化的U-net鉴别器。
6.根据权利要求5所述的一种基于生成式对抗网络的大坝缺陷恢复方法，其特征在于，所述通道注意力模块中，使用逐元素求和来合并输出特征向量，计算公式为：
式(2)中的σ表示sigmoid函数，W0∈RC/r×C，W1∈RC×C/r，隐藏激活大小设置为RC/r×1×1，其中r是缩减率；
空间注意力模块的计算公式为：
其中式(3)的σ表示sigmoid函数，f7×7表示滤波器大小为7×7的卷积操作。
7.根据权利要求5所述的一种基于生成式对抗网络的大坝缺陷恢复方法，其特征在于，所述步骤S3中采样损失函数进行模型预训练，损失函数包括生成器网络的损失函数和鉴别器网络的损失函数，损失函数使用L1损失、感知损失和GAN损失的组合损失函数进行训练，L1损失、感知损失和GAN损失表达如下：
其中式(4)是L1损失，p是像素的索引，P是补丁；x(p)和y(p)分别是处理后的patch和ground truth的像素值；
其中式(5)是输出图像/>与目标y之间的欧几里得距离，图像的形状是C×H×W；
其中式(6)Lgen是生成器损失，IL是低分辨率图像，G(IL)是生成器，也就是超分辨率模型，D(IH)是判别器；
组合损失函数表达如下：
其中L1是评估恢复图像G(xi)和真实图像y之间的1范数距离的内容损失，λ，η是平衡不同损失项的系数。
8.根据权利要求7所述的一种基于生成式对抗网络的大坝缺陷恢复方法，其特征在于，所述步骤S4中模型的优化训练方法为：将训练集中经过退化模型的图像对的低分辨率图像作为样本输入，将低分辨率图像输入生成式对抗网络模型的生成器网络中，得到重建后的高分辨率图像，再将重建后的高分辨率图像和真实的高分辨率图像分别送入生成器网络和U-net鉴别器网络中，前者得到感知损失最终得到生成损失，后者得到鉴别信息，并将鉴别信息反向传播至生成器网络，优化网络参数。
CN202310699458.XA 2023-06-13 2023-06-13 一种基于生成式对抗网络的大坝缺陷恢复方法 Pending CN117036161A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310699458.XA CN117036161A (zh) 2023-06-13 2023-06-13 一种基于生成式对抗网络的大坝缺陷恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310699458.XA CN117036161A (zh) 2023-06-13 2023-06-13 一种基于生成式对抗网络的大坝缺陷恢复方法

Publications (1)

Publication Number Publication Date
CN117036161A true CN117036161A (zh) 2023-11-10

Family

ID=88623290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310699458.XA Pending CN117036161A (zh) 2023-06-13 2023-06-13 一种基于生成式对抗网络的大坝缺陷恢复方法

Country Status (1)

Country Link
CN (1) CN117036161A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688976A (zh) * 2023-12-12 2024-03-12 重庆交通大学 一种大坝时序重构网络及其搭建方法
CN119273607A (zh) * 2024-12-06 2025-01-07 山东皓鑫智能科技有限公司 一种盆底康复效果图像对比度增强方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109816593A (zh) * 2019-01-18 2019-05-28 大连海事大学 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法
CN115273089A (zh) * 2022-06-30 2022-11-01 国网甘肃省电力公司电力科学研究院 一种基于条件生成对抗网络的光学字符复原方法
CN115376003A (zh) * 2022-07-19 2022-11-22 安徽建筑大学 基于U-Net网络及CBAM注意力机制的路面裂缝分割方法
CN115936985A (zh) * 2022-12-01 2023-04-07 华中光电技术研究所(中国船舶集团有限公司第七一七研究所) 一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109816593A (zh) * 2019-01-18 2019-05-28 大连海事大学 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法
CN115273089A (zh) * 2022-06-30 2022-11-01 国网甘肃省电力公司电力科学研究院 一种基于条件生成对抗网络的光学字符复原方法
CN115376003A (zh) * 2022-07-19 2022-11-22 安徽建筑大学 基于U-Net网络及CBAM注意力机制的路面裂缝分割方法
CN115936985A (zh) * 2022-12-01 2023-04-07 华中光电技术研究所(中国船舶集团有限公司第七一七研究所) 一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688976A (zh) * 2023-12-12 2024-03-12 重庆交通大学 一种大坝时序重构网络及其搭建方法
CN119273607A (zh) * 2024-12-06 2025-01-07 山东皓鑫智能科技有限公司 一种盆底康复效果图像对比度增强方法

Similar Documents

Publication Publication Date Title
CN111062880B (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN113240613A (zh) 一种基于边缘信息重建的图像修复方法
CN112507997A (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN116523790B (zh) 一种sar图像去噪优化方法、系统和存储介质
Lin et al. A deep neural network based on prior-driven and structural preserving for SAR image despeckling
CN117036161A (zh) 一种基于生成式对抗网络的大坝缺陷恢复方法
CN105260995B (zh) 一种图像修复与去噪方法及系统
CN117422620A (zh) 基于深度学习面向真实场景的红外图像超分辨率重建方法
CN117830100A (zh) 基于深浅层特征融合的遥感影像超分辨率重建方法和系统
CN115511733A (zh) 一种图像退化建模方法、神经网络训练方法和装置
CN117611456A (zh) 基于多尺度生成对抗网络的大气湍流图像复原方法及系统
CN112163998A (zh) 一种匹配自然降质条件的单图像超分辨率分析方法
CN113487504A (zh) 基于生成对抗网络的水下灰度偏振图像复原方法
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN111640075A (zh) 一种基于生成对抗网络的水下图像去遮挡方法
CN116071268A (zh) 基于对比学习的图像去光照模型及其训练方法
CN118780987B (zh) 一种基于细节恢复的遥感图像超分辨重建方法及系统
CN120388037A (zh) 基于双分支网络架构的图像分割方法、系统、介质及设备
Yang et al. RSAMSR: A deep neural network based on residual self-encoding and attention mechanism for image super-resolution
CN116977473B (zh) 一种基于投影域和图像域的稀疏角ct重建方法及装置
CN116342392B (zh) 一种基于深度学习的单遥感影像超分辨率方法
Luo et al. RepDehazeNet: Dual subnets image dehazing network based on structural re-parameterization
CN117409186A (zh) 基于图像超分辨率重建的低分辨率图像小目标检测方法
CN114155148A (zh) 基于深度学习的仪表超分辨率处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20231110