CN116405786A - 一种服务于雾天复杂场景下成像计算及数据恢复方法 - Google Patents

Abstract

本发明公开了一种服务于雾天复杂场景下成像计算及数据恢复方法，将复杂场景下成像数据计算分解为亮度空间和色彩空间数据。通过平滑先验特征建模构建亮度空间成像数据的损失函数，进一步通过损失函数优化计算对亮度空间成像数据进行恢复；通过白平衡方法对色彩空间成像数据进行恢复；将恢复后的亮度空间成像数据和色彩空间成像数据进行组合，形成复杂场景下成像数据恢复结果。本发明所公开技术能够稳定高效地应用于复杂场景下成像数据计算和恢复。

Description

一种服务于雾天复杂场景下成像计算及数据恢复方法

技术领域

本发明涉及一种复杂场景下成像计算及数据恢复方法，具体是建立一种平滑先验特征模型构造了亮度空间中成像数据的损失函数用于分离出亮度空间中的清晰成像数据；将其与通过白平衡计算后得到的色彩空间中的成像数据组合，形成复杂场景下成像数据恢复结果，属于数据恢复、成像计算技术领域。

背景技术

高散射环境是成像探测中所常见的复杂场景。由于复杂场景中的前向和后向散射作用，成像噪声强烈，成像质量严重降低，依赖于后处理技术以提高成像数据质量。其中，成像数据恢复是一种重要的技术手段。不同于其他数据质量提高方法，成像恢复基于物理成像模型，通过对成像模型的反变换获得清晰的成像数据，具有较好的可解释性和收敛性，已发展成为该领域中的主流方法。然而，本质上对于成像模型的反变换是一种“病态”问题，有赖于先验模型。其中，暗信道先验模型已在典型复杂场景下成像数据恢复应用中获得了成功。然而，在复杂场景下，尤其是非均匀光照的条件下，暗信道先验模型的鲁棒性严重降低，导致成像恢复结果中存在大量的畸变，成像数据恢复的成效严重降低。为了解决这一问题，本发明公开了一种区分亮度空间和色彩空间的成像数据恢复方法，对两个空间中的成像数据分别进行成像数据恢复并组合。在亮度空间中，提出了一种平滑先验特征，特别用于亮度空间中成像数据恢复。将亮度空间中成像数据恢复结果与色彩空间中的数据恢复结果组合，得到复杂场景下成像数据恢复结果。

发明内容

发明目的：针对现有技术难以稳定鲁棒地实现复杂场景下成像数据恢复，本发明提供了一种复杂场景下成像计算及数据恢复方法，将原始的成像数据分解为亮度空间中的成像数据和色彩空间中的成像数据，采用平滑先验特征建模在亮度空间中对成像数据进行恢复，采用白平衡方法对色彩空间数据进行恢复，将恢复后的亮度空间和色彩空间中的成像数据组合，形成复杂场景下成像数据恢复结果。能够有效服务于井下、水下、雾天等强复杂环境中的成像数据恢复。

为实现上述目的，本发明提出一种复杂场景下成像计算及数据恢复方法，其特征在于，包括以下步骤：

A、将复杂场景下成像数据计算分解为亮度空间和色彩空间的成像数据；

B、对两个空间中的成像数据分别进行成像计算及数据恢复，其中，在亮度空间中通过平滑先验特征建模建立亮度空间数据损失函数，通过亮度空间数据损失函数优化分离复杂场景下亮度空间中的清晰成像数据和噪声成像数据，将亮度空间中的清晰成像数据作为复杂场景下亮度空间成像数据恢复结果；基于白平衡方法对色彩空间成像数据进行恢复；

C、将亮度空间和色彩空间恢复后的成像数据进行组合，形成复杂场景下成像数据恢复结果。

所述对亮度空间中的成像数据通过平滑先验特征建模建立亮度空间成像数据损失函数的方法，包括如下步骤：

首先，将亮度空间中的成像数据L表示为：

L＝J+B

其中，L为复杂场景下原始成像数据，J为复杂场景下清晰成像数据，B为复杂场景下亮度空间中的噪声成像数据；

然后，平滑先验特征：复杂场景下噪声成像数据B比清晰成像数据J更平滑性，梯度分布密度更小；即复杂场景下噪声成像数据B的梯度分布密度小于复杂场景下清晰成像数据J的梯度分布密度，可表示为:

P_J(▽_xJ)＞P_B(▽_xB)

其中，

其中，▽_xJ、▽_xB为清晰成像数据J和噪声成像数据B在像素x处的梯度，P_J(▽_xJ)、P_B(▽_xB)为清晰成像数据J和噪声成像数据B梯度的概率密度函数；w是正则化参数，参数τ是截断值；σ₁和σ₂为清晰成像数据J和噪声成像数据B高斯分布的标准方差；

在亮度空间中通过平滑先验特征建模建立亮度空间数据损失函数：在L＝J+B的约束下，当P_J(▽_xJ)最大且P_B(▽_xB)最小时能够最优分离清晰成像数据J和噪声成像数据B，据此建立损失函数：

其中符号*为卷积操作，||·||_F为弗罗贝尼乌斯范数，f₁＝[-1,1]为一阶水平梯度算子，f₂＝[-1,1]^T为一阶竖直梯度算子，

为二阶Laplace算子，ρ()为ρ(a)＝min{a²/k,1}，λ、k为小常数。

所述的通过亮度空间数据损失函数优化分离复杂场景下亮度空间中的清晰成像数据的方法，包括：

其中，

α是权重参数，F表示快速傅里叶变换，/>

表示复共轭，为了避免分母为零，引入了一个极小的正常数ε。

基于白平衡方法对色彩空间数据进行恢复的方法，包括：将恢复后的亮度空间成像数据和色彩空间成像数据进行组合变化，形成复杂场景下成像数据恢复结果；采用白平衡的方法对色彩空间中的成像数据[a b]进行恢复，得到[a′ b′]，与J′组合形成亮度-色彩空间中的[J′,a′,b′]数据，作为复杂场景下成像数据恢复结果。

本发明的复杂场景下成像计算及数据恢复方法，将复杂场景下的原始成像数据分解为亮度、色彩空间中的原始成像数据，分别对亮度空间和色彩空间中的原始成像数据进行恢复。

所述的平滑先验特征为：在亮度空间中的原始成像数据可以表达为清晰成像数据加上噪声成像数据。其中，噪声成像数据比较清晰成像数据更加平滑。

随后，建立基于平滑先验特征关于清晰成像数据和噪声成像数据的损失函数。

随后，通过损失函数的优化分离清晰成像数据和噪声成像数据，将清晰成像数据作为亮度空间中成像数据的恢复结果。

随后，通过白平衡方法对色彩空间数据进行恢复。

随后，将亮度空间和色彩中成像数据的恢复结果组合，形成复杂场景下成像数据恢复结果。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明结果及与现有方法的比较。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

以高散射环境为代表的复杂场景下原始的成像数据为RGB空间数据，通过空间变换得到Lab亮度-色彩空间的数据，其中L为亮度空间中成像数据，[a,b]为色彩空间中的成像数据。从RGB到Lab空间的变换过程可表示为：

其中X_n，Y_n，Z_n的值分别为0.950456，1.000000，1.088754，X、Y、Z通过下式计算得到：

其中，R、G、B为原始成像RGB空间数据。

其中，f(t)函数的定义如下

亮度空间中成像数据L是由清晰成像数据J和噪声成像数据B组成：

L＝J+I B (4)

其中，L为复杂场景下亮度空间中的原始成像数据，J为复杂场景下亮度空间中的清晰成像数据，B为复杂场景下亮度空间中的噪声成像数据。

平滑先验特征：以高散射环境为代表的复杂场景下亮度空间中的噪声成像数据比清晰成像数据更平滑，梯度分布密度更小；即复杂场景下亮度空间中噪声成像数据的梯度分布密度P_B(▽_xB)小于复杂场景下亮度空间中清晰成像数据的梯度分布密度P_J(▽_xJ)，可表示为:

P_J(▽_xJ)＞P_B(▽_xB) (5)

其中，

其中，▽_xJ、▽_xB表示清晰成像数据J和噪声成像数据B在像素x处的梯度的大小，P_J(▽_xJ)、P_B(▽_xB)表示清晰成像数据J和噪声成像数据B的梯度分布密度。w是正则化参数，参数τ是截断值。σ₁和σ₂表示清晰成像数据J和噪声成像数据B高斯分布的标准方差。

由平滑先验特征可知，当噪声成像数据的梯度分布密度P_B(▽_xB)达到最小，同时清晰成像数据的梯度分布密度P_J(▽_xJ)达到最大时，所对应的清晰成像数据J′和噪声成像数据B′最优，即清晰成像数据和噪声成像数据最优的分离，其中J′为亮度空间中成像数据恢复结果。

根据上述规则建立损失函数

当该损失函数最小时，P_B(▽_xB)达到最小P_J(▽_xJ)达到最大。

将式(2)代入式(7)，得

令ρ(a)＝min{a²/k,1}，则式(8)表示为：

其中，

引入梯度算子，则式(9)表示为：

其中符号*表示卷积操作，||·||_F表示弗罗贝尼乌斯范数，f₁＝[-1,1]表示一阶水平梯度算子，f₂＝[-1,1]^T表示一阶竖直梯度算子，

表示二阶Laplace算子。

采用半二次分离方法，(具体方法参考：Charbonnier P,Blanc-Féraud L,AubertG,et al.Deterministic edge-preserving regularization in computed imaging[J].IEEE Transactions on image processing,1997,6(2):298-311.)对上述模型进行求解可得到：

其中，

α是权重参数，F为快速傅里叶变换，/>

为复共轭，为了避免分母为零，引入了一个极小的正常数ε，典型值为10^-4。

对色彩空间的成像数据[a,b]采用白平衡方法进行数据恢复(具体方法参考：郭永刚,葛庆平,郭楠.利用白平衡进行偏色图像的颜色校正[J].计算机工程与应用,2005,41(20):56-59.)：

其中，a_v和b_v分别是色彩分量a和b的在空间中的均值，a′和b′是恢复后的色彩分量。

将亮度空间和色彩空间中的成像数据恢复结果组合，形成[J′,a′,b′]，作为复杂场景下成像数据恢复结果。

图2展示了本发明方法所获得了结果及与其他方法的比较。对比方法包括：基于水下暗通道模型的水下图像恢复(Using Dark Channel Prior，UDCP)[He,K.,Jian,S.,Fellow,IEEE,&Tang,X..2011.Single image haze removal using dark channelprior.IEEE Transactions on Pattern Analysis&Machine Intelligence,33(12),2341-2353.]、基于图像模糊度和吸收度估计的水下图像恢复(Image Blurriness and LightAbsorption，IBLA)[Peng,Y.T.,&Cosman,P.C.2017.Underwater image restorationbased on image blurriness and light absorption.IEEE transactions on imageprocessing,26(4),1579-1594.]、基于多尺度小波相关计算的水下图像增强(MSCW)[Liu,X.,Zhang,H.,Cheung,Y.M.,You,X.,&Tang,Y.Y..2017.Efficient single imagedehazing and denosing:an efficient multi-scale correlated waveletapproach.Computer Vision and Image Understanding,23-33.]、基于水下衰减先验的水下图像恢复(ULAP)[Song,W.,Wang,Y.,Huang,D.,&Tjondronegoro,D.2018.A rapid scenedepth estimation model based on underwater light attenuation prior forunderwater image restoration.Pacific Rim Conference on Multimedia.Berlin,German:Springer:678-688.)]和基于背景光和传输图统计模型的水下图像恢复(Wei’s)[Song,W.,Wang,Y.,Huang,D.,Liotta,A.,&Perra,C..2020.Enhancement of underwaterimages with statistical model of background light and optimization oftransmission map.IEEE Transactions on Broadcasting,PP(99),1-17.]。图2选取了6幅水下图像(Boat、Fish1、Rock1、Dive、Rock2、Fish2)进行定性比较。从比较分析中可以看到UDCP方法可以消除大部分的散射光噪声，图像的清晰度得以有效提高，但其中可以发现较为明显的色彩畸变。蓝色谱段衰减系数的估计误差是导致这一问题的主要原因。IBLA方法对于远景目标具有较好的水下图像恢复结果，然而，对于近景尤其是暗体目标，恢复结果的图像亮度严重降低，难以分辨图像信息。MSCW能够实现较为出色的图像清晰化，在散射噪声抑制上的表现较好，但在色彩信息的畸变矫正上能力欠佳。ULAP对于水下场景的距离估计存在较为明显的误差，在恢复过程中对于亮度信息的补偿过大，导致图像亮度尤其是红色信道的亮度信息偏执较为明显。同样的问题也出现的Wei’s方法所获结果中，展现出了较为明显的非均匀化分布。相比较，本发明所提出的方法在场景信息的保真度上优于其他对比方法，例如对于Fish1、Rock1、Rock2等图像，本文处理结果能够较为准确的刻画出岩石部分的成像信息。虽然本文结果在图像对比度的拉伸上稍显不足，尤其是阴影部分，但其能够较为真实反应出水下场景的成像信息。此外，对Dive样本本文方法在能够最为真实地恢复水下红色条带色彩信息，而其他方法在此区域内均产生了不同程度的畸变。

从结果中可以看到本发明方法能够有效实现复杂场景(以水下场景为例)下的成像数据，本发明恢复结果优于其他方法，证明了本发明方法的优势和有益效果。

Claims (2)

1.一种服务于雾天复杂场景下成像计算及数据恢复方法，其特征在于，包括以下步骤：

A、将复杂场景下成像数据计算分解为亮度空间和色彩空间的成像数据；

B、对两个空间中的成像数据分别进行成像计算及数据恢复，其中，在亮度空间中通过平滑先验特征建模建立亮度空间数据损失函数，通过亮度空间数据损失函数优化分离复杂场景下亮度空间中的清晰成像数据和噪声成像数据，将亮度空间中的清晰成像数据作为复杂场景下亮度空间成像数据恢复结果；基于白平衡方法对色彩空间成像数据进行恢复；

C、将亮度空间和色彩空间恢复后的成像数据进行组合，形成复杂场景下成像数据恢复结果；

所述的平滑先验特征为：在亮度空间中的原始成像数据表达为清晰成像数据加上噪声成像数据；

所述在亮度空间中的成像数据通过平滑先验特征建模建立亮度空间成像数据损失函数的方法，包括如下步骤：

首先，将亮度空间中的成像数据L表示为：

L＝J+B

其中，L为复杂场景下原始成像数据，J为复杂场景下清晰成像数据，B为复杂场景下亮度空间中的噪声成像数据；

然后，平滑先验特征：复杂场景下噪声成像数据B比清晰成像数据J更平滑性，梯度分布密度更小；即复杂场景下噪声成像数据B的梯度分布密度小于复杂场景下清晰成像数据J的梯度分布密度，表示为：

其中，

其中，

为清晰成像数据J和噪声成像数据B在像素x处的梯度，

为清晰成像数据J和噪声成像数据B梯度的概率密度函数；w是正则化参数，参数τ是截断值；σ₁和σ₂为清晰成像数据J和噪声成像数据B高斯分布的标准方差；

在亮度空间中通过平滑先验特征建模建立亮度空间数据损失函数：在L＝J+B的约束下，当

最大且/>

最小时能够最优分离清晰成像数据J和噪声成像数据B，据此建立损失函数：

其中符号*为卷积操作，||·||_F为弗罗贝尼乌斯范数，f₁＝[-1,1]为一阶水平梯度算子，f₂＝[-1,1]^T为一阶竖直梯度算子，

为二阶Laplace算子，ρ()为ρ(a)＝min{a²/k,1}，λ、k为小常数。

2.根据权利要求1所述的方法，其特征在于，基于白平衡方法对色彩空间数据进行恢复的方法，包括：将恢复后的亮度空间成像数据和色彩空间成像数据进行组合变化，形成复杂场景下成像数据恢复结果；

采用白平衡的方法对色彩空间中的成像数据[a b]进行恢复，得到[a′b′]，与J′组合形成亮度-色彩空间中的[J′,a′,b′]数据，作为复杂场景下成像数据恢复结果。

Images