[go: up one dir, main page]

CN113129236A - 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统 - Google Patents

基于Retinex和卷积神经网络的单张低光照图像增强方法及系统 Download PDF

Info

Publication number
CN113129236A
CN113129236A CN202110449727.8A CN202110449727A CN113129236A CN 113129236 A CN113129236 A CN 113129236A CN 202110449727 A CN202110449727 A CN 202110449727A CN 113129236 A CN113129236 A CN 113129236A
Authority
CN
China
Prior art keywords
component
image
neural network
retinex
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110449727.8A
Other languages
English (en)
Other versions
CN113129236B (zh
Inventor
张强
王健
付飞琪
张凯
蒲亦非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202110449727.8A priority Critical patent/CN113129236B/zh
Publication of CN113129236A publication Critical patent/CN113129236A/zh
Application granted granted Critical
Publication of CN113129236B publication Critical patent/CN113129236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉图像技术领域,提供了一种基于Retinex和卷积神经网络的单张低光照图像增强方法及系统。该方法包括,获取图像,并对图像进行预处理,使三通道分离,获得色调分量、饱和度分量和明度分量;采用训练后的深度卷积神经网络模型,依据明度分量,得到光照分量;利用Retinex理论计算光照分量的反射分量;将反射分量与色调分量、饱和度分量重组,得到HSV色彩空间中的三通道图像。

Description

基于Retinex和卷积神经网络的单张低光照图像增强方法及 系统
技术领域
本发明属于计算机视觉图像技术领域,尤其涉及一种基于Retinex和卷积神经网络的单张低光照图像增强方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
随着科技的发展,从图像中获取信息成为一种常用的手段。许多计算机视觉算法如目标检测、识别及跟踪等越来越普遍。但是,不是所有传感器获取的图像都能够直接用于这些算法。如在弱光环境下获取到的图像会出现质量退化,如能见度低、对比度低、颜色失真及高噪声等等。人类通过这些照片能够得到的信息很少。这些照片直接应用到计算机视觉算法中会影响算法的性能。因此如何提高在复杂环境下获取到的图像的质量,是计算机视觉领域近年来一个研究热点。
低光照图像一般指在光线不足的环境中采集到的质量低下的图像。低光照图像增强的主要目的是增加低光照图像(或欠曝光图像)的亮度和对比度,突出图像的主要信息,主要是从软件的角度实现这一技术。增强后的图像能够更好的用于计算机视觉任务,可以提供有价值信息。低光照图像增强方法在监控、自动驾驶等领域有着广阔的应用前景。
传统的低光照图像增强方法主要分为四类:(1)基于空间域的图像增强方法。此类方法主要是改变图像像素值的分布范围从而实现图像增强。此类方法大多基于直方图均衡化、gamma校正和模糊逻辑变换等等,如直方图均衡化和限制对比度自适应直方图均衡化。(2)基于变换域的图像增强方法,此类方法主要是将图像转换到频率域,在频率域用合适的滤波函数对图像进行增强。此类方法大多基于频域和小波变换域,使用的滤波函数主要有低通滤波、带通滤波和高通滤波等。代表性方法是小波变换法。(3)基于图像融合的图像增强方法。此类算法主要是将多幅图像进行融合的方式实现图像增强。此类方法基于多幅同一场景的不同图像,融合不同图像中视觉效果好的部分,形成一幅高亮度的图像。代表性方法如高动态光照渲染。(4)基于Retinex理论的图像增强方法。Retinex理论指的是图像是由光照与物体共同作用形成的,图像可以表示为光照分量与反射分量的乘积,反射分量是物体的固有属性,在不同的光照条件下具有一致不变性。此类方法大多是通过原始图像求反射分量(也有求光照分量和反射分量)。代表性的方法有对图像的照明分量使用高斯滤波的单尺度Retinex;对图像使用多个尺度的高斯滤波以及增加颜色影响因子的带色彩恢复的多尺度Retinex;使用结构先验估计光照分量,利用Retinex理论求反射分量并将其作为最终结果的LIME等等。
这些方法在部分图像上可以取得较好的效果,但是受限于模型,缺少泛化能力,很难适用于更广泛的场景。
卷积神经网络在处理图像任务上具有极大的优势,已经应用于各种类型的计算机视觉任务,并且取得了极大的成功。在低光图像处理领域,基于卷积神经网络的方法也有很多。LLNet建立了一个自编码器对图像进行增强;Msr-net通过学习明暗图像之间的映射关系实现图像增强;Retinex-Net建立了一个分解网络和一个增强网络,使用配对图像数据集训练网络等等。这些方法具有很强的泛化能力,能适应很多的场景,但是其效果与网络模型的训练使用的配对数据集有很大的关系,且明暗图像对数据集的建立是一个艰难的工作,真实图像(即正常图像)的亮度也没有一个具体的标准。
发明内容
为了解决上述背景技术中存在的技术问题,本发明提供一种基于Retinex和卷积神经网络的单张低光照图像增强方法及系统,可以有效对单张低光照图像进行增强,且不会出现颜色失真以及能保留原图纹理细节,在不同数据集上具有很好的泛化能力。
为了实现上述目的,本发明采用如下技术方案:
本发明的第一个方面提供一种基于Retinex和卷积神经网络的单张低光照图像增强方法。
一种基于Retinex和卷积神经网络的单张低光照图像增强方法,包括:
获取图像,并对图像进行预处理,使三通道分离,获得色调分量、饱和度分量和明度分量;
采用训练后的深度卷积神经网络模型,依据明度分量,得到光照分量;
利用Retinex理论计算光照分量的反射分量;
将反射分量与色调分量、饱和度分量重组,得到HSV色彩空间中的三通道图像。
将HSV色彩空间中的三通道图像转换到RGB色彩空间,得到增强后的低光照图像。
进一步的,增强后的低光照图像获得的过程包括:将HSV色彩空间中的三通道图像转换到RGB色彩空间,并调整其像素范围从[0,1]到[0,255],得到增强后的低光照图像。
进一步的,所述获得色调分量、饱和度分量和明度分量的过程包括:将图像的像素归一化到[0,1],归一化后的图像从色彩空间RGB转化到HSV空间,将三通道分离,得到色调分量、饱和度、明度分量。
进一步的,所述深度卷积神经网络模型训练的过程包括:
构建深度卷积神经网络模型,基于Retinex理论和先验假设建立神经网络的目标损失函数;
对明度分量取对数并归一化之后得到对数化的明度分量,通过明度分量得到亮通道先验分量;
将光照分量、明度分量及亮通道先验分量带入目标损失函数,计算误差,并通过目标损失函数对神经网络的权值和参数使用Adam优化算法实现梯度更新,直到误差小于设定的阈值或者迭代达到预定次数,模型训练结束。
所述目标损失函数为:
E=Lossis1Lossr2Lossrs3Losslc
其中,Lossis表示光照平滑性损失函数,Lossr表示反射损失函数,Lossrs表示反射平滑性损失函数,Losslc表示亮通道先验损失函数,λ123分别为反射损失、反射分量平滑性损失、亮通道先验损失的权重。
作为一种实施方式,三个权重值可以取:λ1=0.05,λ2=0.1,λ3=0.5。需要说明的是,三个权重值的数值仅是本发明的一种实施情况,不应该理解为对本发明的限定。
本发明的第二个方面提供一种基于Retinex和卷积神经网络的单张低光照图像增强系统。
一种基于Retinex和卷积神经网络的单张低光照图像增强系统,包括:
采集和预处理模块,其被配置为:获取图像,并对图像进行预处理,使三通道分离,获得色调分量、饱和度分量和明度分量;
光照分量获得模块,其被配置为:采用训练后的深度卷积神经网络模型,依据明度分量,得到光照分量;
反射分量获得模块,其被配置为:利用Retinex理论计算光照分量的反射分量;
重组模块,其被配置为:将反射分量与色调分量、饱和度分量重组,得到HSV色彩空间中的三通道图像。
输出模块,其被配置为:将HSV色彩空间中的三通道图像转换到RGB色彩空间,得到增强后的低光照图像。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一个方面所述的基于Retinex和卷积神经网络的单张低光照图像增强方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述第一个方面所述的基于Retinex和卷积神经网络的单张低光照图像增强方法中的步骤。
与现有技术相比,本发明的有益效果是:
1、本发明通过将低光照图像从色彩空间RGB转化到色彩空间HSV,并且将通道分离,只对明度分量进行增强,将颜色信息保留在色调(H)和饱和度(S)中,避免在增强图像过程中造成颜色失真。
2、本发明通过Retinex理论和一系列先验建立深度学习神经网络的目标函数,实现了从单张图像的明度分量估计出光照分量,进而估计反射分量,从而得到增强后的图像,完成了无监督的图像增强过程,具有很强的泛化能力。
3、本发明在神经网络的目标函数中使用分数阶微分,提高了对增强后图像细节的保留能力。
本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1是本发明基于Retinex和卷积神经网络的单张低光照图像增强方法的简要流程图;
图2是本发明实施例中深度卷积网络构架图;
图3是本发明的物体成像过程示意图;
图4(a)是输入的低光照图像;
图4(b)是BIMEF算法DICM数据集图像增强处理后的可视化效果图;
图4(c)是DONG算法DICM数据集图像增强处理后的可视化效果图;
图4(d)是LIME算法DICM数据集图像增强处理后的可视化效果图;
图4(e)是MF算法DICM数据集图像增强处理后的可视化效果图;
图4(f)是NPE算法DICM数据集图像增强处理后的可视化效果图;
图4(g)是SIRE算法DICM数据集图像增强处理后的可视化效果图;
图4(h)是ULE算法DICM数据集图像增强处理后的可视化效果图;
图4(i)是Retinex-Net算法DICM数据集图像增强处理后的可视化效果图;
图4(j)是KinD算法DICM数据集图像增强处理后的可视化效果图;
图4(k)是本发明所述方法DICM数据集图像增强处理后的可视化效果图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示,本实施例提供了一种基于Retinex和卷积神经网络的单张低光照图像增强方法,本实施例以该方法应用于服务器进行举例说明,可以理解的是,该方法也可以应用于终端,还可以应用于包括终端和服务器和系统,并通过终端和服务器的交互实现。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。本实施例中,该方法包括以下步骤:
步骤1:获取图像,并对图像进行预处理,使三通道分离,获得色调分量、饱和度分量和明度分量;
对获取到的低光照图像进行预处理,具体步骤如下:
步骤1.1,在读入低光照图像阶段,通过使用特殊的读入函数,将读入图像的像素值范围变为[0,1];或者创建归一化函数将低光照图像的像素从[0,255]归一化到[0,1]。
步骤1.2:将步骤1.1得到的图像从色彩空间RGB转化到色彩空间HSV,并提取三个通道分量:色调(H)、饱和度(S)、明度(V)。具体实现方法如下:
步骤1.2.1:计算图像的最大通道(cmax)、最小通道(cmin)和对比度(Δ),计算公式为:cmax=max(R,G,B),cmin=min(R,G,B),Δ=cmax-cmin(其中R、G、B为色彩空间RGB的三个通道,其值位于[0,1]之间);
步骤1.2.2:根据以下公式计算色调(H)、饱和度(S)、明度(V):
Figure BDA0003038197660000081
Figure BDA0003038197660000082
V=cmax
步骤1.3:使用函数y=log(x+1)对明度分量对数化处理,再对结果归一化得到对数化后的明度分量(v)。
步骤1.4:通过公式计算得到亮通道先验分量(vlight),公式如下:
Figure BDA0003038197660000091
其中Ω是以(i,j)为中心的k×k大小的区域,
Figure BDA0003038197660000092
和vp,q代表指定位置的像素。
步骤2:采用训练后的深度卷积神经网络模型,依据明度分量,得到光照分量;
其中构建深度卷积神经网络模型,具体步骤如下:
步骤2.1:搭建深度卷积网络。本发明的网络结构如图2所示,输入为步骤1.3得到的明度分量(v),输出为光照分量(l),网络模型的前4层由一个卷积操作和一个ReLU函数组成,之后的一层只有1个卷积操作,最后再接一个sigmoid层。网络模型各层的具体信息如下:
表1深度卷积网络
Figure BDA0003038197660000093
步骤2.2:基于Retinex理论和先验假设建立神经网络的目标函数。图3表示了物体的成像过程,Retinex理论将这中成像过程表示为:
Figure BDA0003038197660000101
其中S表示获取(或观察到的图像),R为物体的反射分量,L为环境的光照分量,
Figure BDA0003038197660000102
代表按元素乘。在光照的空间变化平滑的假设下,提出了光照平滑性损失:
Figure BDA0003038197660000103
其中,l为网络输出的光照分量,
Figure BDA0003038197660000104
为v1(为正数)阶导数,v2是一个正数,N为图像的像素总数。通过对光照分量的分数阶梯度施加约束,使得神经网络得到的光照分量空间变化时平滑的。
为了避免得到的光照图像与原图差距太大,提出了设计了反射损失:
Figure BDA0003038197660000105
其中,l为网络输出的光照分量,v为输入的明度分量,v2是一个正数。
为了使反射分量空间变化尽可能平滑,保证其清晰度和视觉效果,提出了反射平滑性损失:
Figure BDA0003038197660000106
为了让反射分量(R)的值处于[0,1]之间,需要保证光照分量(L)要大于(V),因此提出了亮通道先验损失:
Figure BDA0003038197660000107
其中,vlight是通过明度分量v计算得到的亮通道先验分量,
在以上损失中,本发明使用分数阶梯度和分数阶微分提高模型对于图像纹理细节的保留能力。
综合各部分的损失函数,模型的目标损失函数为:
E=Lossis1Lossr2Lossrs3Losslc
其中,λ123分别为反射损失、反射分量平滑性损失、亮通道先验损失的权重,三个权重的值分别为:λ1=0.05,λ2=0.1,λ3=0.5。通过4个损失的约束,能够使得到的光照分量空间平滑,保留纹理细节。
步骤2.3:随机初始化网络权值,确定权值优化算法为Adam优化算法。
其中,训练神经网络。将步骤1.3得到的明度分量(v)输入到卷积神经网络之中,将神经网络得到的光照分量(l)、明度分量(v)及亮通道先验分量(vlight)带入到步骤2.2的目标函数中,计算误差,并通过目标函数对神经网络的权值和参数使用Adam优化算法实现梯度更新,误差满足要求或者迭代达到预定次数即停止迭代。
步骤3:利用Retinex理论计算光照分量的反射分量;
步骤3.1:将步骤3.1得到的明度分量(v)输入到步骤3训练好的深度卷积神经网络中,得到输出的光照分量(l)。
步骤3.2:对步骤3.1得到的光照分量进行gamma校正,再将步骤1.3得到的明度分量(v)和光照分量(l)指数化处理得到指数化之后的明度分量(V)和光照分量(L)。根据Retinex理论得到反射分量的计算公式:R=V/L。通过计算公式计算反射分量(R)。
步骤4:将反射分量与色调分量、饱和度分量重组,得到HSV色彩空间中的三通道图像;将HSV色彩空间中的三通道图像转换到RGB色彩空间,得到增强后的低光照图像。
具体的,将反射分量(R)当作明度分量(V),与步骤1.2得到的色调(H)、饱和度(S)组合恢复出在色彩空间HSV增强图像,再将图像从色彩没空间HSV转化到色彩空间RGB,再通过特殊的读出函数或者创建映射函数将像数值范围从[0,1]变为[0,255]。
通过以上步骤,即可得到增强后的图像。
我们在DICM低光照图像数据集上进行了测试,使用峰值信噪比PSNR(Peak Signalto Noise Ratio)和结构相似度SSIM(structural similarity index)评价网络性能。同时,还与目前先进的算法进行了可视化和量化比较,包括自然色保留增强算法NPE,基于去雾的DONG,基于融合的MF,基于光照分量估计的LIME,基于光照分量估计与多曝光融合的BIMEF,同时估计反射分量和光照分量的SRIE,基于深度学习的ULE、Retinex-Net和KinD。
本次实验的环境为CPU处理器Intel(R)Xeon(R)CPU E5-2620 v3@2.40GHz,内存128G,显卡为Nvidia GeForce GTX TITAN X,显存12G。软件系统为Windows10,pytorch深度学习框架,python3.8,CUDA版本为10.0,cuDNN版本为7.4。使用的开发软件为Pycharm2020和Matlab2020a。
本次实验的参数设置学习率为0.001,总迭代次数为1000。
图4(a)-(k)展示了在DICM数据集上不同算法的可视化对比结果。图4(a)为输入的低光照图像,图4(b)-图4(j)为其他方法的结果,图4(k)为本发明所提出的方法。图4(b):BIMEF、图4(d):LIME、图4(e):MF、图4(f):NPE、图4(h):ULE和图4(i):Retinex-Net方法过度增强了图像,且增强后的图像出现了颜色失真。图4(c):DONG和图4(g):SIRE的结果出现不自然的现象,有一些地方增强过度。而从图像图4(k)可以看出,本实施例的方法保留了图像细节,使图像更自然,且不会出现颜色失真和过度增强。通过对比,本发明方法在整体效果上表示更好,颜色和结构细节能得到更好的恢复。
在DICM数据集上的量化测试结果如下:
表2在DICM数据集上的量化比较
Figure BDA0003038197660000131
实施例二
本实施例提供了一种基于Retinex和卷积神经网络的单张低光照图像增强系统。
一种基于Retinex和卷积神经网络的单张低光照图像增强系统,包括:
采集和预处理模块,其被配置为:获取图像,并对图像进行预处理,使三通道分离,获得色调分量、饱和度分量和明度分量;
光照分量获得模块,其被配置为:采用训练后的深度卷积神经网络模型,依据明度分量,得到光照分量;
反射分量获得模块,其被配置为:利用Retinex理论计算光照分量的反射分量;
重组模块,其被配置为:将反射分量与色调分量、饱和度分量重组,得到HSV色彩空间中的三通道图像。
输出模块,其被配置为:将HSV色彩空间中的三通道图像转换到RGB色彩空间,得到增强后的低光照图像。
实施例三
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例一所述的基于Retinex和卷积神经网络的单张低光照图像增强方法中的步骤。
实施例四
本实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述实施例一所述的基于Retinex和卷积神经网络的单张低光照图像增强方法中的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于Retinex和卷积神经网络的单张低光照图像增强方法,其特征在于,包括:
获取图像,并对图像进行预处理,使三通道分离,获得色调分量、饱和度分量和明度分量;
采用训练后的深度卷积神经网络模型,依据明度分量,得到光照分量;
利用Retinex理论计算光照分量的反射分量;
将反射分量与色调分量、饱和度分量重组,得到HSV色彩空间中的三通道图像。
2.根据权利要求1所述的基于Retinex和卷积神经网络的单张低光照图像增强方法,其特征在于,将HSV色彩空间中的三通道图像转换到RGB色彩空间,得到增强后的低光照图像。
3.根据权利要求2所述的基于Retinex和卷积神经网络的单张低光照图像增强方法,其特征在于,增强后的低光照图像获得的过程包括:将HSV色彩空间中的三通道图像转换到RGB色彩空间,并调整其像素范围从[0,1]到[0,255],得到增强后的低光照图像。
4.根据权利要求1所述的基于Retinex和卷积神经网络的单张低光照图像增强方法,其特征在于,所述获得色调分量、饱和度分量和明度分量的过程包括:将图像的像素归一化到[0,1],归一化后的图像从色彩空间RGB转化到HSV空间,将三通道分离,得到色调分量、饱和度、明度分量。
5.根据权利要求1所述的基于Retinex和卷积神经网络的单张低光照图像增强方法,其特征在于,所述深度卷积神经网络模型训练的过程包括:
构建深度卷积神经网络模型,基于Retinex理论和先验假设建立神经网络的目标损失函数;
对明度分量取对数并归一化之后得到对数化的明度分量,通过明度分量得到亮通道先验分量;
将光照分量、明度分量及亮通道先验分量带入目标损失函数,计算误差,并通过目标损失函数对神经网络的权值和参数使用Adam优化算法实现梯度更新,直到误差小于设定的阈值或者迭代达到预定次数,模型训练结束。
6.根据权利要求5所述的基于Retinex和卷积神经网络的单张低光照图像增强方法,其特征在于,所述目标损失函数为:
E=Lossis1Lossr2Lossrs3Losslc
其中,Lossis表示光照平滑性损失函数,Lossr表示反射损失函数,Lossrs表示反射平滑性损失函数,Losslc表示亮通道先验损失函数,λ123分别为反射损失、反射分量平滑性损失、亮通道先验损失的权重,三个权重的值分别为:λ1=0.05,λ2=0.1,λ3=0.5。
7.根据权利要求1所述的基于Retinex和卷积神经网络的单张低光照图像增强方法,其特征在于,深度卷积神经网络模型包括五个卷积层和一个sigmoid激活层。
8.一种基于Retinex和卷积神经网络的单张低光照图像增强系统,其特征在于,包括:
采集和预处理模块,其被配置为:获取图像,并对图像进行预处理,使三通道分离,获得色调分量、饱和度分量和明度分量;
光照分量获得模块,其被配置为:采用训练后的深度卷积神经网络模型,依据明度分量,得到光照分量;
反射分量获得模块,其被配置为:利用Retinex理论计算光照分量的反射分量;
重组模块,其被配置为:将反射分量与色调分量、饱和度分量重组,得到HSV色彩空间中的三通道图像。
输出模块,其被配置为:将HSV色彩空间中的三通道图像转换到RGB色彩空间,得到增强后的低光照图像。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的基于Retinex和卷积神经网络的单张低光照图像增强方法中的步骤。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于Retinex和卷积神经网络的单张低光照图像增强方法中的步骤。
CN202110449727.8A 2021-04-25 2021-04-25 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统 Active CN113129236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110449727.8A CN113129236B (zh) 2021-04-25 2021-04-25 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110449727.8A CN113129236B (zh) 2021-04-25 2021-04-25 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统

Publications (2)

Publication Number Publication Date
CN113129236A true CN113129236A (zh) 2021-07-16
CN113129236B CN113129236B (zh) 2022-07-12

Family

ID=76779830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110449727.8A Active CN113129236B (zh) 2021-04-25 2021-04-25 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统

Country Status (1)

Country Link
CN (1) CN113129236B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114202475A (zh) * 2021-11-24 2022-03-18 北京理工大学 自适应图像增强方法和系统
CN114266705A (zh) * 2021-11-04 2022-04-01 山东师范大学 低光图像增强方法及系统
CN114283288A (zh) * 2021-12-24 2022-04-05 合肥工业大学智能制造技术研究院 一种夜间车辆图像增强的方法、系统、设备及存储介质
CN114549362A (zh) * 2022-02-28 2022-05-27 讯飞智元信息科技有限公司 低光照图像增强方法、相关设备及可读存储介质
CN114862737A (zh) * 2022-06-02 2022-08-05 大连海事大学 基于图像反射分量和深度学习模型的水下图像增强方法
CN115797205A (zh) * 2022-11-24 2023-03-14 兰州大学 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统
CN116563139A (zh) * 2023-04-03 2023-08-08 深圳市恒天伟焱科技股份有限公司 图像处理方法及相关设备
CN116824511A (zh) * 2023-08-03 2023-09-29 行为科技(北京)有限公司 一种基于深度学习和颜色空间的工装识别方法和装置
CN116993636A (zh) * 2023-07-10 2023-11-03 中国地质大学(武汉) 一种地下低照度深部地层空区图像增强方法和装置
CN117274085A (zh) * 2023-09-19 2023-12-22 湖南科技大学 低照度图像增强方法及装置
CN117853783A (zh) * 2023-12-12 2024-04-09 济南大学 一种基于深度学习的单板缺陷识别方法及系统
CN119478589A (zh) * 2025-01-14 2025-02-18 中国船舶集团有限公司第七〇七研究所 图像增强模型的构建方法、图像的增强方法、装置、设备及介质
CN115908198B (zh) * 2022-12-28 2025-11-11 广东工业大学 一种基于深度学习的低光照增强方法、系统和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080101719A1 (en) * 2006-10-30 2008-05-01 Samsung Electronics Co., Ltd. Image enhancement method and system
CN106600564A (zh) * 2016-12-23 2017-04-26 潘敏 一种新型图像增强方法
CN110298796A (zh) * 2019-05-22 2019-10-01 中山大学 基于改进Retinex与对数图像处理的低照度图像增强方法
WO2020001164A1 (en) * 2018-06-28 2020-01-02 Boe Technology Group Co., Ltd. Image enhancement method and apparatus
CN110930341A (zh) * 2019-10-17 2020-03-27 杭州电子科技大学 一种基于图像融合的低光照图像增强方法
CN112465727A (zh) * 2020-12-07 2021-03-09 北京邮电大学 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080101719A1 (en) * 2006-10-30 2008-05-01 Samsung Electronics Co., Ltd. Image enhancement method and system
CN106600564A (zh) * 2016-12-23 2017-04-26 潘敏 一种新型图像增强方法
WO2020001164A1 (en) * 2018-06-28 2020-01-02 Boe Technology Group Co., Ltd. Image enhancement method and apparatus
CN110298796A (zh) * 2019-05-22 2019-10-01 中山大学 基于改进Retinex与对数图像处理的低照度图像增强方法
CN110930341A (zh) * 2019-10-17 2020-03-27 杭州电子科技大学 一种基于图像融合的低光照图像增强方法
CN112465727A (zh) * 2020-12-07 2021-03-09 北京邮电大学 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIYUN ZHUANG ET.AL: "Image Enhancement by Deep Learning Network Based on derived image and Retinex", 《2019 IEEE 3RD ADVANCED INFORMATION MANAGEMENT,COMMUNICATES,ELECTRONIC AND AUTOMATION CONTROL CONFERENCE》 *
张红颖 等: "空间的RetinexNet低照度图像增强算法", 《激光与光电子学进展》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114266705A (zh) * 2021-11-04 2022-04-01 山东师范大学 低光图像增强方法及系统
CN114202475B (zh) * 2021-11-24 2024-11-01 北京理工大学 自适应图像增强方法和系统
CN114202475A (zh) * 2021-11-24 2022-03-18 北京理工大学 自适应图像增强方法和系统
CN114283288A (zh) * 2021-12-24 2022-04-05 合肥工业大学智能制造技术研究院 一种夜间车辆图像增强的方法、系统、设备及存储介质
CN114549362A (zh) * 2022-02-28 2022-05-27 讯飞智元信息科技有限公司 低光照图像增强方法、相关设备及可读存储介质
CN114862737A (zh) * 2022-06-02 2022-08-05 大连海事大学 基于图像反射分量和深度学习模型的水下图像增强方法
CN114862737B (zh) * 2022-06-02 2024-11-05 大连海事大学 基于图像反射分量和深度学习模型的水下图像增强方法
CN115797205B (zh) * 2022-11-24 2025-08-05 兰州大学 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统
CN115797205A (zh) * 2022-11-24 2023-03-14 兰州大学 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统
CN115908198B (zh) * 2022-12-28 2025-11-11 广东工业大学 一种基于深度学习的低光照增强方法、系统和存储介质
CN116563139A (zh) * 2023-04-03 2023-08-08 深圳市恒天伟焱科技股份有限公司 图像处理方法及相关设备
CN116993636A (zh) * 2023-07-10 2023-11-03 中国地质大学(武汉) 一种地下低照度深部地层空区图像增强方法和装置
CN116993636B (zh) * 2023-07-10 2024-02-13 中国地质大学(武汉) 一种地下低照度深部地层空区图像增强方法和装置
CN116824511A (zh) * 2023-08-03 2023-09-29 行为科技(北京)有限公司 一种基于深度学习和颜色空间的工装识别方法和装置
CN117274085A (zh) * 2023-09-19 2023-12-22 湖南科技大学 低照度图像增强方法及装置
CN117274085B (zh) * 2023-09-19 2025-08-22 湖南科技大学 低照度图像增强方法及装置
CN117853783B (zh) * 2023-12-12 2024-11-12 济南大学 一种基于深度学习的单板缺陷识别方法及系统
CN117853783A (zh) * 2023-12-12 2024-04-09 济南大学 一种基于深度学习的单板缺陷识别方法及系统
CN119478589A (zh) * 2025-01-14 2025-02-18 中国船舶集团有限公司第七〇七研究所 图像增强模型的构建方法、图像的增强方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113129236B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN113129236A (zh) 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统
Lv et al. Attention guided low-light image enhancement with a large scale low-light simulation dataset
US20240062530A1 (en) Deep perceptual image enhancement
Zhou et al. Multi-scale retinex-based adaptive gray-scale transformation method for underwater image enhancement
Wang et al. Joint iterative color correction and dehazing for underwater image enhancement
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN112348747A (zh) 图像增强方法、装置及存储介质
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
Steffens et al. Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing
CN116664462A (zh) 一种基于ms-dsc和i_cbam的红外和可见光图像融合方法
CN115035011B (zh) 一种融合策略下自适应RetinexNet的低照度图像增强方法
CN117974459A (zh) 一种融合物理模型和先验的低照度图像增强方法
CN119893306A (zh) 图像采集卡的图像处理方法及装置
Singh et al. A Review on Computational Low-Light Image Enhancement Models: Challenges, Benchmarks, and Perspectives
CN120219900A (zh) 基于isp图像信号处理视觉传感器的图像融合方法
Srigowri Enhancing unpaired underwater images with cycle consistent network
Singh et al. Multiscale reflection component based weakly illuminated nighttime image enhancement
Tao et al. MTIE-Net: Multi-technology fusion of low-light image enhancement network
US20230125040A1 (en) Temporally Consistent Neural Network Processing System
Jayanthi et al. Underwater haze removal using contrast boosted grayscale image
Li et al. Underwater image clearing algorithm based on the Laplacian edge detection operator
Jiang et al. An adaptive weight fusion low-light image enhancement based on HSV space
CN120410893B (zh) 一种自适应分布差异感知的统一图像融合方法及系统
Nie et al. LESN: Low-Light Image Enhancement via Siamese Network
Tania et al. Custom Dataset-Driven Unsupervised Low-Light Image Enhancement Using 2D CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant