[go: up one dir, main page]

CN111507898A - 基于自适应调整的图像超分辨率重建方法 - Google Patents

基于自适应调整的图像超分辨率重建方法 Download PDF

Info

Publication number
CN111507898A
CN111507898A CN202010183489.6A CN202010183489A CN111507898A CN 111507898 A CN111507898 A CN 111507898A CN 202010183489 A CN202010183489 A CN 202010183489A CN 111507898 A CN111507898 A CN 111507898A
Authority
CN
China
Prior art keywords
image
model
loss
resolution
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010183489.6A
Other languages
English (en)
Inventor
姜代红
程德强
张三友
孙天凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology Beijing CUMTB
Xuzhou University of Technology
Original Assignee
China University of Mining and Technology Beijing CUMTB
Xuzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology Beijing CUMTB, Xuzhou University of Technology filed Critical China University of Mining and Technology Beijing CUMTB
Priority to CN202010183489.6A priority Critical patent/CN111507898A/zh
Publication of CN111507898A publication Critical patent/CN111507898A/zh
Priority to PCT/CN2021/080920 priority patent/WO2021185225A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自适应调整的图像超分辨率重建方法，属于图像处理技术领域。本发明基本框架包括涉及生成式对抗网络的对抗训练模型,训练模型由一组相互竞争的生成模型和判别模型构成：生成模型负责生成高分辨率图像,通过判别模型确定输入图像是生成的还是从高分辨率数据库中获得的样本；随着识别能力的逐渐加强，判别模型将信息传递给生成模型，通过优化损失函数，使得生成模型生成的高分辨率图像更接近真实样本；随着生成图像质量的提高，判别模型的损失增大，同时判别模型的识别能力不断提升，当判别模型不能区分生成的图像和真实样本时，生成模型完成超分辨任务。本发明提高模型特征表达能力并获得更好的超分辨率重建效果。

Description

基于自适应调整的图像超分辨率重建方法
技术领域
本发明涉及一种图像超分辨率重建方法，属于图像处理技术领域。
背景技术
现有技术中，超分辨率重建方法主要有四类。第一种是插值方法，它利用已知像素点周围的邻域信息来估计插值点的像素值。二是重建方法，建立观测模型，然后求解逆过程实现重建。由于图像的退化是复杂多样的，很难对人类的观测模型进行全面的定义。随着放大倍数的增大，图像恢复效果不理想。第三种是示例方法，它可以获得LR图像与HR图像之间的非线性映射。然而，在高倍放大因子或更复杂的场景中，示例方法的效果仍然较差，这受到提取和表示能力的限制。四是深度学习方法，它弥补了浅层学习的表示能力不足，具有较好的泛化能力，与其他方法相比能够处理复杂的图像特征。但也存在图像平滑和阶跃效应、纹理特征表达精度不足、高倍放大视觉效果失真等问题。
目前，大多数基于深度学习的超分辨率重建方法训练过程中多采用基于MSE的损失，优点是可以获得较高的PSNR值，但单一的损失函数往往缺乏针对图像特征的多样性，难以准确恢复细节。因此，超分辨率效果并不好，特别是在高倍放大时，视觉感知容易失真。随着生成式对抗网络(GAN)[G.E.Hinton,S.Osindero,Y.W.Teh."A fast learningalgorithm for deep belief nets."Neural computation,2006,18(7):1527-1554]的出现，其强大的高维复杂数据分布建模能力为图像超分辨率提供了新的思路。Ledig等人[C.Ledig,L.Theis,F.Huszar,J.Caballero,A.Cunningham,A.Acosta,A.Aitken,A.Tejani,J.Totz,Z.Wang,W.Shi."Photo-realistic single image super-resolutionusing a generative adversarial network."Proceedings of the IEEE conference oncomputer vision and pattern recognition,2017:4681-4690.]首次将生成式对抗网络(GAN)引入到超分辨率中，并提出了SRGAN方法，该优化方法侧重于利用对抗损失和感知损失来增强超分辨率图像的真实纹理，这更符合人类对视觉感知的理解。
发明内容
为了克服上述现有技术的不足之处，本发明提供一种基于自适应调整的图像超分辨率重建方法，建立基于空间结构自适应调整的图像超分辨率对抗学习网络模型(ADTV-SRGAN)，提高模型特征表达能力并获得更好的超分辨率重建效果，进一步提高超分辨率图像质量。
本发明是通过如下技术方案实现的：一种基于自适应调整的图像超分辨率重建方法，建立基于空间结构自适应调整的图像超分辨率对抗学习网络模型(ADTV-SRGAN)，其基本框架包括涉及生成式对抗网络(GAN)的对抗训练模型,训练模型由一组相互竞争的生成模型和判别模型构成：所述生成模型负责生成高分辨率图像,通过所述判别模型确定输入图像是生成的还是从高分辨率数据库中获得的样本；随着识别能力的逐渐加强，所述判别模型将信息传递给生成模型，通过优化损失函数，使得生成模型生成的高分辨率图像更接近真实样本；随着生成图像质量的提高，所述判别模型的损失增大，同时判别模型的识别能力不断提升，当判别模型不能区分生成的图像和真实样本时，生成模型完成超分辨任务；
所述生成模型和判别模型的详细网络结构与SRGAN一致，生成模型的优化目标是使生成的图像G(ILR)逼近HR图像，而判别模型的优化目标是将生成的图像与HR图像IHR区分开来，优化过程是一个涉及两个模型的极大极小博弈过程，其优化函数V(D,G)如下:
Figure BDA0002413360350000021
其中θG和θD分别为生成模型和判别模型的网络参数，利用LR图像ILR训练超分辨率图像SR，需要求解最优生成模型参数如下:
Figure BDA0002413360350000022
其中，LSR是整个对抗网络的总损失，决定了生成模型能否生成与真实样本相近的超分辨率图像；它包括像素损失
Figure BDA0002413360350000023
特征损失
Figure BDA0002413360350000024
对抗损失
Figure BDA0002413360350000025
和空间损失；所述空间损失是基于自适应对角全变差模型的空间损失
Figure BDA0002413360350000026
能根据图像的空间结构进行调整，利用新的像素损失
Figure BDA0002413360350000027
和特征损失
Figure BDA0002413360350000028
实现总损融合优化:
Figure BDA0002413360350000029
进一步地，所述像素损失
Figure BDA0002413360350000031
用来评估HR图像和真实样本之间内容的一致性，采用Charbonnier loss function计算像素损失:
Figure BDA0002413360350000032
其中
Figure BDA0002413360350000033
为生成的HR图像和真实样本；
ε是Charbonnier惩罚的常数项；常数项ε设置为0.001。
进一步地，所述特征损失
Figure BDA0002413360350000034
用来评价HR图像与真实样本之间的语义相似性，利用预先训练好的VGG-16网络的第13层，计算高阶特征的欧氏距离作为超分辨率图像重建过程中的特征损失，特性损失计算如下:
Figure BDA0002413360350000035
其中φi,j为特征映射到第i层池化层之前的第j层卷积层；Wi,j和Hi,j分别表示特征图的长度和宽度。
进一步地，所述对抗损失
Figure BDA0002413360350000036
表示所生成的HR图像是由判别模型给出的真实样本的概率，对抗损失
Figure BDA0002413360350000037
是交叉熵:
Figure BDA0002413360350000038
其中
Figure BDA0002413360350000039
为图像为真实样本的概率，
Figure BDA00024133603500000310
为生成的HR图像。
进一步地，所述空间损失是基于全变差模型重建的图像，对于宽度W和高度H的图像，全变差模型如下:
Figure BDA00024133603500000311
其中
Figure BDA00024133603500000312
和
Figure BDA00024133603500000313
分别表示像素xi,j沿水平和垂直方向的梯度，且
Figure BDA00024133603500000314
和
Figure BDA00024133603500000315
满足以下方程:
Figure BDA00024133603500000316
结合像素点的对角线信息，提出对角线全变差模型如下:
Figure BDA00024133603500000317
其中
Figure BDA0002413360350000041
和
Figure BDA0002413360350000042
分别表示像素在两个对角线方向上的梯度，且满足:
Figure BDA0002413360350000043
利用差曲率指标来区分图像的边缘区域与平坦区域，空间损失能根据图像的结构进行调整，差分曲率定义如下:
Figure BDA0002413360350000044
其中uhh和uεε分别表示沿梯度方向和垂直方向的二阶导数；|.|表示绝对值，μx,μy,μxy,μxx,μyy表示像素点梯度信息的一阶导数和二阶导数；对于边缘区域，|uhh|的值较大，|uεε|的值较小；对于平坦区域，|uhh|和|uεε|都很小；因此，Ci,j在边缘区域小而在平坦区域大，将边缘区域与平坦区域区分开来；利用差曲率建立空间信息权值Wi,j，并进行自适应动态调整；Wi,j定义如下:
Figure BDA0002413360350000045
式中β为常数，在边缘区域中，Ci,j的值较大，空间信息自适应权值Wi,j的值较小；因此，为了更好的维护图像边缘细节，在平坦区域Ci,j的值较小，空间信息自适应权值的值较大，保证了生成的hr图像和真实样本在细节上不会有太大的偏差；自适应对角全变差模型和空间损失如下:
Figure BDA0002413360350000046
Figure BDA0002413360350000047
本发明的有益效果是：本发明提供了一个基于空间结构自适应调整的图像超分辨率对抗学习网络模型(ADTV-SRGAN)。使用像素损失、特征损失、空间损失和对抗损失提升重建图像的细节，结合全局和局部信息自适应方法，从不同的维度动态调整并保持图像的高频细节，避免简单的使用均方误差导致图像纹理过度平滑的现象，从而提高模型特征表达能力并获得更好的超分辨率重建效果，进一步提高超分辨率图像质量。
附图说明
下面根据附图和实施例对本发明进一步说明。
图1是本发明结构架构图；
图2是SRGAN网络结构参考图；
图3是VGG-16网络结构参考图。
具体实施方式
下面将结合说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有开展创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
对于本领域技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
参照图1，一种基于自适应调整的图像超分辨率重建方法，建立基于空间结构自适应调整的图像超分辨率对抗学习网络模型(ADTV-SRGAN)，其基本框架包括涉及生成式对抗网络(GAN)的对抗训练模型,训练模型由一组相互竞争的生成模型G和判别模型D构成：所述生成模型G负责生成高分辨率图像,通过所述判别模型D确定输入图像是生成的还是从高分辨率数据库中获得的样本；随着识别能力的逐渐加强，所述判别模型D将信息传递给生成模型G，通过优化损失函数，使得生成模型G生成的高分辨率图像更接近真实样本；随着生成图像质量的提高，所述判别模型D的损失增大，同时判别模型D的识别能力不断提升，当判别模型D不能区分生成的图像和真实样本时，生成模型G完成超分辨任务；
所述生成模型G和判别模型D的详细网络结构与SRGAN一致，(SRGAN网络结构可参考图2及论文C.Ledig,L.Theis,F.Huszar,J.Caballero,A.Cunningham,A.Acosta,A.Aitken,A.Tejani,J.Totz,Z.Wang,W.Shi."Photo-realistic single image super-resolution using a generative adversarial network."Proceedings of the IEEEconference on computer vision and pattern recognition,2017:4681-4690.)生成模型G的优化目标是使生成的图像G(ILR)逼近HR图像，而判别模型D的优化目标是将生成的图像与HR图像IHR区分开来，优化过程是一个涉及两个模型的极大极小博弈过程，其优化函数V(D,G)如下:
Figure BDA0002413360350000061
其中θG和θD分别为生成模型和判别模型的网络参数，利用LR图像ILR训练超分辨率图像SR，需要求解最优生成模型参数如下:
Figure BDA0002413360350000062
其中，LSR是整个对抗网络的总损失，决定了生成模型能否生成与真实样本相近的超分辨率图像；它包括像素损失
Figure BDA0002413360350000063
特征损失
Figure BDA0002413360350000064
对抗损失
Figure BDA0002413360350000065
和空间损失；所述空间损失是基于自适应对角全变差模型的空间损失
Figure BDA0002413360350000066
能根据图像的空间结构进行调整，利用新的像素损失
Figure BDA0002413360350000067
和特征损失
Figure BDA0002413360350000068
实现总损融合优化:
Figure BDA0002413360350000069
进一步地，所述像素损失
Figure BDA00024133603500000610
用来评估HR图像和真实样本之间内容的一致性，采用Charbonnier loss function(查尔邦尼损失函数)计算像素损失:
Figure BDA00024133603500000611
其中
Figure BDA00024133603500000612
为生成的HR图像和真实样本；
ε是Charbonnier惩罚的常数项，本发明将常数项ε设置为0.001。
进一步地，所述特征损失
Figure BDA00024133603500000613
用来评价HR图像与真实样本之间的语义相似性。VGG-16是一种图像分类网络，它提取的特征可以帮助保留图像边缘的轮廓，但是重建局部纹理细节的效果却不太理想。为了提取更多的高层次语义特征，提高重建精度，本发明利用预先训练好的VGG-16网络的第13层，VGG-16网络可参考图3，计算高阶特征的欧氏距离作为超分辨率图像重建过程中的特征损失，特性损失计算如下:
Figure BDA0002413360350000071
其中φi,j为特征映射到第i层池化层之前的第j层卷积层；Wi,j和Hi,j分别表示特征图的长度和宽度。
进一步地，所述对抗损失
Figure BDA0002413360350000072
表示所生成的HR图像是由判别模型给出的真实样本的概率，对抗损失
Figure BDA0002413360350000073
是交叉熵:
Figure BDA0002413360350000074
其中
Figure BDA0002413360350000075
为图像为真实样本的概率，
Figure BDA0002413360350000076
为生成的HR图像。
进一步地，所述空间损失是基于全变差模型重建的图像，全变差模型是经典的图像恢复模型，具有良好的边缘保持特性。在平滑的同时可以保留图像的细节。对于宽度W和高度H的图像，全变差模型如下:
Figure BDA0002413360350000077
其中
Figure BDA0002413360350000078
和
Figure BDA0002413360350000079
分别表示像素xi,j沿水平和垂直方向的梯度，且
Figure BDA00024133603500000710
和
Figure BDA00024133603500000711
满足以下方程:
Figure BDA00024133603500000712
结合像素点的对角线信息，提出对角线全变差模型如下:
Figure BDA00024133603500000713
其中
Figure BDA00024133603500000714
和
Figure BDA00024133603500000715
分别表示像素在两个对角线方向上的梯度，且满足:
Figure BDA00024133603500000716
对角全变分模型平衡了像素点各个方向的影响，克服了阶跃效应，在平滑的同时保护了边缘的细节。为了使空间损失能够控制像素点上对角全变差的约束强度，利用差曲率指标来区分图像的边缘区域与平坦区域。空间损失因此可以根据图像的结构进行调整。
差分曲率定义如下:
Figure BDA00024133603500000717
Figure BDA0002413360350000081
其中uhh和uεε分别表示沿梯度方向和垂直方向的二阶导数；|.|表示绝对值，μx,μy,μxy,μxx,μyy表示像素点梯度信息的一阶导数和二阶导数；对于边缘区域，|uhh|的值较大，|uεε|的值较小；对于平坦区域，|uhh|和|uεε|都很小；因此，Ci,j在边缘区域小而在平坦区域大，将边缘区域与平坦区域区分开来；利用差曲率建立空间信息权值Wi,j，并进行自适应动态调整；Wi,j定义如下:
Figure BDA0002413360350000082
式中β为常数，本发明将常数β设为0.1。
在边缘区域中，Ci,j的值较大，空间信息自适应权值Wi,j的值较小；因此，为了更好的维护图像边缘细节，在平坦区域Ci,j的值较小，空间信息自适应权值的值较大，保证了生成的hr图像和真实样本在细节上不会有太大的偏差；自适应对角全变差模型和空间损失如下:
Figure BDA0002413360350000083
Figure BDA0002413360350000084
本发明使用像素损失、特征损失、空间损失和对抗损失提升重建图像的细节，结合全局和局部信息自适应方法，从不同的维度动态调整并保持图像的高频细节，避免简单的使用均方误差导致图像纹理过度平滑的现象，从而提高模型特征表达能力并获得更好的超分辨率重建效果。
以上所述仅为本发明的示例性实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于自适应调整的图像超分辨率重建方法，其特征在于：
建立基于空间结构自适应调整的图像超分辨率对抗学习网络模型(ADTV-SRGAN)，其基本框架包括涉及生成式对抗网络(GAN)的对抗训练模型,训练模型由一组相互竞争的生成模型(G)和判别模型(D)构成：所述生成模型(G)负责生成高分辨率图像,通过所述判别模型(D)确定输入图像是生成的还是从高分辨率数据库中获得的样本；随着识别能力的逐渐加强，所述判别模型(D)将信息传递给生成模型(G)，通过优化损失函数，使得生成模型(G)生成的高分辨率图像更接近真实样本；随着生成图像质量的提高，所述判别模型(D)的损失增大，同时判别模型(D)的识别能力不断提升，当判别模型(D)不能区分生成的图像和真实样本时，生成模型(G)完成超分辨任务；
所述生成模型(G)和判别模型(D)的详细网络结构与SRGAN一致，生成模型(G)的优化目标是使生成的图像G(ILR)逼近HR图像，而判别模型(D)的优化目标是将生成的图像与HR图像IHR区分开来，优化过程是一个涉及两个模型的极大极小博弈过程，其优化函数V(D,G)如下:
Figure FDA0002413360340000011
其中θG和θD分别为生成模型和判别模型的网络参数，利用LR图像ILR训练超分辨率图像SR，需要求解最优生成模型参数如下:
Figure FDA0002413360340000012
其中，LSR是整个对抗网络的总损失，决定了生成模型能否生成与真实样本相近的超分辨率图像；它包括像素损失
Figure FDA0002413360340000013
特征损失
Figure FDA0002413360340000014
对抗损失
Figure FDA0002413360340000015
和空间损失；所述空间损失是基于自适应对角全变差模型的空间损失
Figure FDA0002413360340000016
能根据图像的空间结构进行调整，利用新的像素损失
Figure FDA0002413360340000017
和特征损失
Figure FDA0002413360340000018
实现总损融合优化:
Figure FDA0002413360340000019
2.根据权利要求1所述的基于自适应调整的图像超分辨率重建方法，其特征在于：所述像素损失
Figure FDA0002413360340000021
用来评估HR图像和真实样本之间内容的一致性，采用Charbonnier lossfunction(查尔邦尼损失函数)计算像素损失:
Figure FDA0002413360340000022
其中
Figure FDA0002413360340000023
为生成的HR图像和真实样本；
ε是Charbonnier惩罚的常数项。
3.根据权利要求2所述的基于自适应调整的图像超分辨率重建方法，其特征在于：常数项ε设置为0.001。
4.根据权利要求1所述的基于自适应调整的图像超分辨率重建方法，其特征在于：所述特征损失
Figure FDA0002413360340000024
用来评价HR图像与真实样本之间的语义相似性，利用预先训练好的VGG-16网络的第13层，计算高阶特征的欧氏距离作为超分辨率图像重建过程中的特征损失，特性损失计算如下:
Figure FDA0002413360340000025
其中φi,j为特征映射到第i层池化层之前的第j层卷积层；Wi,j和Hi,j分别表示特征图的长度和宽度。
5.根据权利要求1所述的基于自适应调整的图像超分辨率重建方法，其特征在于：所述对抗损失
Figure FDA0002413360340000026
表示所生成的HR图像是由判别模型给出的真实样本的概率，对抗损失
Figure FDA0002413360340000027
是交叉熵:
Figure FDA0002413360340000028
其中
Figure FDA0002413360340000029
为图像为真实样本的概率，
Figure FDA00024133603400000210
为生成的HR图像。
6.根据权利要求1所述的基于自适应调整的图像超分辨率重建方法，其特征在于：所述空间损失是基于全变差模型重建的图像，对于宽度W和高度H的图像，全变差模型如下:
Figure FDA00024133603400000211
其中
Figure FDA0002413360340000031
和
Figure FDA0002413360340000032
分别表示像素xi,j沿水平和垂直方向的梯度，且
Figure FDA0002413360340000033
和
Figure FDA0002413360340000034
满足以下方程:
Figure FDA0002413360340000035
结合像素点的对角线信息，提出对角线全变差模型如下:
Figure FDA00024133603400000311
其中
Figure FDA0002413360340000036
和
Figure FDA0002413360340000037
分别表示像素在两个对角线方向上的梯度，且满足:
Figure FDA0002413360340000038
利用差曲率指标来区分图像的边缘区域与平坦区域，空间损失能根据图像的结构进行调整，差分曲率定义如下:
Figure FDA0002413360340000039
其中uhh和uεε分别表示沿梯度方向和垂直方向的二阶导数；|.|表示绝对值，μx,μy,μxy,μxx,μyy表示像素点梯度信息的一阶导数和二阶导数；对于边缘区域，|uhh|的值较大，|uεε|的值较小；对于平坦区域，|uhh|和|uεε|都很小；因此，Ci,j在边缘区域小而在平坦区域大，将边缘区域与平坦区域区分开来；利用差曲率建立空间信息权值Wi,j，并进行自适应动态调整；Wi,j定义如下:
Figure FDA00024133603400000310
式中β为常数，在边缘区域中，Ci,j的值较大，空间信息自适应权值Wi,j的值较小；因此，为了更好的维护图像边缘细节，在平坦区域Ci,j的值较小，空间信息自适应权值的值较大，保证了生成的hr图像和真实样本在细节上不会有太大的偏差；自适应对角全变差模型和空间损失如下:
Figure FDA0002413360340000041
Figure FDA0002413360340000042
7.根据权利要求6所述的基于自适应调整的图像超分辨率重建方法，其特征在于：常数β设为0.1。
CN202010183489.6A 2020-03-16 2020-03-16 基于自适应调整的图像超分辨率重建方法 Pending CN111507898A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010183489.6A CN111507898A (zh) 2020-03-16 2020-03-16 基于自适应调整的图像超分辨率重建方法
PCT/CN2021/080920 WO2021185225A1 (zh) 2020-03-16 2021-03-16 基于自适应调整的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010183489.6A CN111507898A (zh) 2020-03-16 2020-03-16 基于自适应调整的图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN111507898A true CN111507898A (zh) 2020-08-07

Family

ID=71869300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010183489.6A Pending CN111507898A (zh) 2020-03-16 2020-03-16 基于自适应调整的图像超分辨率重建方法

Country Status (2)

Country Link
CN (1) CN111507898A (zh)
WO (1) WO2021185225A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149617A (zh) * 2020-10-13 2020-12-29 中国工程物理研究院计算机应用研究所 一种基于深度学习的脉冲波形去噪方法
CN112927172A (zh) * 2021-05-10 2021-06-08 北京市商汤科技开发有限公司 图像处理网络的训练方法和装置、电子设备和存储介质
WO2021185225A1 (zh) * 2020-03-16 2021-09-23 徐州工程学院 基于自适应调整的图像超分辨率重建方法
CN113592715A (zh) * 2021-08-05 2021-11-02 昆明理工大学 一种面向小样本图像集的超分辨率图像重构方法
CN113763247A (zh) * 2021-09-09 2021-12-07 中国矿业大学 基于流形判别的三维矿井图像超分辨率重建方法及系统
CN114782247A (zh) * 2022-04-06 2022-07-22 温州理工学院 图像超分辨率重建方法
WO2022252883A1 (zh) * 2021-05-31 2022-12-08 北京有竹居网络技术有限公司 图像修复模型的训练方法及图像修复方法、装置及设备
TWI831334B (zh) * 2021-08-19 2024-02-01 新加坡商聯發科技（新加坡）私人有限公司 收集訓練資料集的方法和系統
CN119006933A (zh) * 2024-10-23 2024-11-22 广东海洋大学 一种浮式风电平台的疲劳裂纹缺陷确定方法及系统
CN119477693A (zh) * 2024-10-25 2025-02-18 无锡宇宁智能科技有限公司 基于ai的智能局部图像超分辨率处理方法和系统

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887170B (zh) * 2021-09-29 2024-08-23 北京搜狗科技发展有限公司 公式识别模型的训练方法、装置和用于模型训练的装置
CN113870166A (zh) * 2021-10-25 2021-12-31 视彻科技(杭州)有限公司 一种基于生成式对抗网络的小行星图像合成方法、系统及计算机可读存储介质
CN114092327B (zh) * 2021-11-02 2024-06-07 哈尔滨工业大学 一种利用异构知识蒸馏的高光谱图像超分辨率方法
CN114036856B (zh) * 2021-11-26 2022-12-23 广东省科学院智能制造研究所 一种锂离子电池电极干燥流场高分辨率图像重构方法
CN114140736B (zh) * 2021-12-30 2025-09-02 浙江大学 一种基于高低频重建的图像异常检测方法
CN114463177B (zh) * 2022-01-29 2024-06-28 北京理工大学 基于共源信息传递网络的遥感图像超分辨率重建方法
CN114596285B (zh) * 2022-03-09 2024-09-27 南京邮电大学 一种基于生成对抗网络的多任务医学图像增强方法
CN114677276B (zh) * 2022-03-21 2025-03-18 南京大学 一种基于主动采样对抗学习的真实世界图像超分辨率方法
CN114863164B (zh) * 2022-04-02 2024-09-10 华中科技大学 一种面向小目标超分辨重建图像的目标识别模型构建方法
CN114677282B (zh) * 2022-04-19 2025-03-25 中国人民解放军火箭军工程大学 一种图像超分辨率重建方法及系统
CN114693564B (zh) * 2022-04-25 2025-10-10 杭州电子科技大学 一种基于稳定场跳跃连接的gan图像修复方法
CN114820321B (zh) * 2022-05-11 2024-12-27 武汉工程大学 基于双重判别生成对抗网络的人脸图像超分辨率方法及系统
CN114881861B (zh) * 2022-05-25 2024-06-04 厦门大学 基于双采样纹理感知蒸馏学习的不均衡图像超分方法
CN114943646B (zh) * 2022-06-07 2025-04-29 山东师范大学 基于纹理导向的梯度权重损失和注意力机制超分辨方法
CN115082296B (zh) * 2022-07-11 2024-05-14 杭州师范大学 一种基于小波域图像生成框架的图像生成方法
CN115358927B (zh) * 2022-08-22 2023-12-26 重庆理工大学 一种结合空间自适应和纹理转换的图像超分辨重建方法
CN116882484B (zh) * 2023-07-17 2025-12-05 杭州电子科技大学 一种基于高频特征损失的gan类生成图像的优化方法
CN116612013B (zh) * 2023-07-19 2023-10-31 山东智洋上水信息技术有限公司 一种红外图像超分方法及其移植至前端设备的方法
CN117036835B (zh) * 2023-08-21 2025-11-14 电子科技大学长三角研究院(衢州) 一种无参数二维融合lasso模型求解方法
CN117291803B (zh) * 2023-09-28 2024-02-27 太原理工大学 Pamgan轻量化面部超分辨率重建方法
WO2025118278A1 (zh) * 2023-12-08 2025-06-12 中国科学院深圳先进技术研究院 高分辨率图像重构方法和装置、计算机设备及存储介质
CN117593188B (zh) * 2024-01-19 2024-04-12 成都宜图智享信息科技有限公司 一种基于无监督深度学习的超分辨率方法及相应设备
CN118429187B (zh) * 2024-05-08 2025-07-01 广州计量检测技术研究院 一种基于pso的esrgan远距离表盘信息识别方法
CN119624785B (zh) * 2024-11-22 2025-07-01 中国科学院合肥物质科学研究院 一种基于频域低通滤波器引导的多图像超分成像方法
CN119809933B (zh) * 2024-12-20 2025-07-22 鄂尔多斯应用技术学院 一种基于深度学习的图像超分辨率重建方法
CN120163710B (zh) * 2025-02-27 2025-12-09 三峡大学 基于多通道融合和语义信息的热红外图像优化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110268334A1 (en) * 2010-04-30 2011-11-03 Korean Advanced Institute Of Science And Technology Apparatus for Improving Image Resolution and Apparatus for Super-Resolution Photography Using Wobble Motion and Point Spread Function (PSF), in Positron Emission Tomography
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110189253A (zh) * 2019-04-16 2019-08-30 浙江工业大学 一种基于改进生成对抗网络的图像超分辨率重建方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
CN107154023B (zh) * 2017-05-17 2019-11-05 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN109615582B (zh) * 2018-11-30 2023-09-01 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109978762B (zh) * 2019-02-27 2023-06-16 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN109993698A (zh) * 2019-03-29 2019-07-09 西安工程大学 一种基于生成对抗网络的单幅图像超分辨纹理增强方法
CN111507898A (zh) * 2020-03-16 2020-08-07 徐州工程学院 基于自适应调整的图像超分辨率重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110268334A1 (en) * 2010-04-30 2011-11-03 Korean Advanced Institute Of Science And Technology Apparatus for Improving Image Resolution and Apparatus for Super-Resolution Photography Using Wobble Motion and Point Spread Function (PSF), in Positron Emission Tomography
CN110189253A (zh) * 2019-04-16 2019-08-30 浙江工业大学 一种基于改进生成对抗网络的图像超分辨率重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021185225A1 (zh) * 2020-03-16 2021-09-23 徐州工程学院 基于自适应调整的图像超分辨率重建方法
CN112149617A (zh) * 2020-10-13 2020-12-29 中国工程物理研究院计算机应用研究所 一种基于深度学习的脉冲波形去噪方法
CN112927172A (zh) * 2021-05-10 2021-06-08 北京市商汤科技开发有限公司 图像处理网络的训练方法和装置、电子设备和存储介质
WO2022252883A1 (zh) * 2021-05-31 2022-12-08 北京有竹居网络技术有限公司 图像修复模型的训练方法及图像修复方法、装置及设备
CN113592715A (zh) * 2021-08-05 2021-11-02 昆明理工大学 一种面向小样本图像集的超分辨率图像重构方法
CN113592715B (zh) * 2021-08-05 2024-05-24 昆明理工大学 一种面向小样本图像集的超分辨率图像重构方法
TWI831334B (zh) * 2021-08-19 2024-02-01 新加坡商聯發科技（新加坡）私人有限公司 收集訓練資料集的方法和系統
CN113763247A (zh) * 2021-09-09 2021-12-07 中国矿业大学 基于流形判别的三维矿井图像超分辨率重建方法及系统
CN113763247B (zh) * 2021-09-09 2023-12-05 中国矿业大学 基于流形判别的三维矿井图像超分辨率重建方法
CN114782247A (zh) * 2022-04-06 2022-07-22 温州理工学院 图像超分辨率重建方法
CN114782247B (zh) * 2022-04-06 2025-03-25 温州理工学院 图像超分辨率重建方法
CN119006933A (zh) * 2024-10-23 2024-11-22 广东海洋大学 一种浮式风电平台的疲劳裂纹缺陷确定方法及系统
CN119477693A (zh) * 2024-10-25 2025-02-18 无锡宇宁智能科技有限公司 基于ai的智能局部图像超分辨率处理方法和系统

Also Published As

Publication number Publication date
WO2021185225A1 (zh) 2021-09-23

Similar Documents

Publication Publication Date Title
CN111507898A (zh) 基于自适应调整的图像超分辨率重建方法
CN107958444A (zh) 一种基于深度学习的人脸超分辨率重建方法
CN107977932B (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN111652827B (zh) 一种基于生成对抗网络的正面人脸合成方法及系统
CN107154023B (zh) 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN109886881B (zh) 人脸妆容去除方法
CN113177882B (zh) 一种基于扩散模型的单帧图像超分辨处理方法
CN109214990A (zh) 一种基于Inception模型的深度卷积神经网络图像去噪方法
CN113658040A (zh) 一种基于先验信息和注意力融合机制的人脸超分辨方法
CN102567973B (zh) 基于改进的形状自适应窗口的图像去噪方法
CN107464217B (zh) 一种图像处理方法及装置
CN103279933B (zh) 一种基于双层模型的单幅图像超分辨率重建方法
CN108334816A (zh) 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法
CN109544450B (zh) 一种对抗生成网络构建方法及装置、图像重构方法及装置
CN106558022A (zh) 一种基于边缘差异约束的单幅图像超分辨率重建方法
CN107590775B (zh) 一种利用回归树场的图像超分辨率放大方法
CN113592711B (zh) 点云数据不均匀的三维重建方法、系统、设备及存储介质
CN113096015B (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
CN109035172A (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN110570443A (zh) 一种基于结构约束条件生成模型的图像线状目标提取方法
CN112288645A (zh) 一种颅骨面貌复原模型构建方法及复原方法与系统
Thakur et al. Gradient and multi scale feature inspired deep blind gaussian denoiser
CN112785539B (zh) 基于图像自适应分解及参数自适应的多聚焦图像融合方法
CN114219920A (zh) 三维人脸模型的构建方法及装置、存储介质、终端
CN109522865A (zh) 一种基于深度神经网络的特征加权融合人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination