CN114881905A - 一种基于小波变换的红外图像与可见光图像融合的处理方法 - Google Patents

Abstract

可见光图像细节丰富，分辨率高，但是容易受到天气因素的干扰，红外图像因其红外成像的特点可有效避免天气的干扰。对两种图像融合时保留各自的有用信息，能够得到鲁棒性强且信息丰富的融合图像。传统的图像融合方法在选取融合规则时在低频和高频分量都采用平均值的融合规则，无法保持低频信息的全部优势，从而导致融合图像的对比度损失，使融合图像存在“水洗”现象。为弥补传统方法的缺点，本发明提出了一种基于小波变换的红外图与可见光图像融合的处理方法。将两种图像进行小波变换，在像素级别对低频和高频分量分别采用加权平均法和绝对值最大法融合规则进行融合，通过小波逆变换得到融合后的图像，能够保持可见光图像的纹理信息和红外图像的特征细节。本发明适用于红外图像与可见光图像的高质量融合。

Description

一种基于小波变换的红外图像与可见光图像融合的处理方法

技术领域

本发明涉及图像处理领域的图像融合问题，研究内容为基于小波变换的红外图像与可见光图像融合的处理方法。

背景技术

随着红外图像与可见光图像融合研究越来越多，关于这两类异质图像的融合方法也是各有特点。但现有的研究基本主要集中在如何改善红外特性以及如何消除光谱差异造成的伪影上，而没有考虑可见图像中的精细纹理。在实际工程应用中，背景细节有时与红外功能同样重要。可见光图像的细节丰富，分辨率高，但容易受到天气情况的影响，红外图像因其红外成像的特点恰好可弥补其缺点。针对红外和可见光图像的特点，在选择融合策略时，基于小波变换方法来进行两种图像的融合来提升图像融合效果。

图像融合作为图像增强技术，目标是将不同类型的图像结合起来，以融合成具有更加丰富信息的图像。通过将来自不同源传感器的图像组合起来，构建具有更丰富、更重要信息的融合图像，从而改进后续处理和决策方法。一个好的融合方法的关键是有效的图像信息提取和合适的融合方法。在信息爆炸时代，图像融合技术正在迅速发展。复杂的应用需要信息更加强大的图像。因此，融合技术越来越多地发挥在现代应用和计算机愿景中的重要作用。来自不同传感器的异质图像，如可见光图像、红外图像、计算机断层扫描(CT)和磁共振成像(MRI)，他们都非常适合用来作为融合的源图像。其中，红外与可见光图像的融合在很多方面具有优势。首先，它们的信号来自不同的传感器，这些传感器从同一场景提供不同的信息。可见光图像捕捉反射光，而红外图像捕捉热辐射。因此，这种组合图像可以提供比单模信号更多的信息。依据融合在处理流程中的所处的阶段，多源图像融合也可以被分为三类：像素级图像融合、特征级图像融合、决策级图像融合。

针对来自不同传感器的异质图像，当前图像融合有两种趋势：一种是基于像素特征的经典融合，另一种是利用人工神经网络融合图像。基于像素的经典的融合算法中，小波变换首先出现在大众视野中。小波变换的数学基础是傅里叶变换。小波方法是应用非常广泛的图像融合方法之一，因为它简单，并且能够保留融合图像的细节。小波变换方法将图像分解为多个分辨率层，并通过应用不同的融合规则融合每一层，最终重建图像。由于这些层在不同尺度上的相关性，融合图像包含冗余信息。通过小波变换可以实现较快的计算速度并且它在捕捉图像的边缘和轮廓以及水平、垂直和对角线方向时收集有限的方向信息。

传统的图像融合方法在选取融合规则时在低频和高频分量都采用平均值的融合规则，无法保持低频信息的全部优势，从而导致融合图像的对比度损失，使融合图像存在“水洗”现象。本发明有效利用小波变换实现图像融合，在像素级别对低频和高频分量分别采用加权平均法和绝对值最大法融合规则进行融合，旨在通过小波变换能够使融合图像保留可见光图像的纹理信息和红外图像的特征细节，从而有效实现图像融合。

发明内容

本发明所要解决的技术问题是：提出一种红外光图像与可见光图像融合的方法，解决传统技术中在低频和高频分量都采用平均值的融合规则进行图像融合时，存在的图像对比度损失和“水洗”现象的问题。

本发明构建模型的主要思想为：通过小波变换将图像从空间域转换到小波域。将两种图像进行小波变换，得到不同尺度的源图像低频分量和高频分量，在像素级别对低频和高频分量分别采用加权平均法和绝对值最大法融合规则进行融合，通过小波逆变换得到红外图像与可见光图像融合后的图像。

本发明解决上述技术问题所采用的方案是：

红外光图像与可见光图像融合的方法，包括以下步骤：

步骤1：对原始图像进行预处理和图像配准。

步骤2：对处理后的原始图像进行小波变换，用小波对原始图像V、I进行K层分解，得到3K+1张子图像。

步骤3：将V、I对应分解层次的不同频率分量融合，得到3K张高频子图和K层低频子图。每一层上的不同频率分量可以通过不同的融合算子进行融合，进而得到小波变换金字塔。

步骤4：通过小波逆变换得到红外图像与可见光图像融合后的结果图像。

有益效果

本发明提出的基于小波变换的图像融合方法可以保证图像融合过程中没有信息丢失和冗余，更能突出图像的结构，小波变换固有的特性使其在图像处理中具有以下优点：完美的重构能力，保证信号分解过程中没有信息丢失和冗余信息小波分析提供与人类视觉系统方向一致的选择性图像，能够保持可见光图像的纹理信息和红外图像的特征细节。

附图说明

图1为图像小波变换过程；

图2为不同分量图像融合过程；

图3中，(a)为可见光图像，(b)为红外图像，(c)为基于传统平均值融合规则的效果图；(d)本发明的效果图。

具体实施方式

本发明旨在提出一种红外光图像与可见光图像融合的方法，解决传统技术中在低频和高频分量都采用平均值的融合规则进行图像融合时，存在的图像对比度损失和“水洗”现象的问题。在像素级别对低频和高频分量分别采用加权平均法和绝对值最大法融合规则进行融合，使融合图像保留可见光图像的纹理信息和红外图像的特征细节。

本发明的具体实施步骤如下：

步骤1：对原始图像进行预处理和图像配准。经过对比，选择基于边缘特征的图像配准方法。首先提取原始图像的特征，然后生成特征描述子，最后根据描述子的相似程度对两幅图像的特征之间进行配准，记得到的处理后的图像分别为V(x,y)和I(x,y)。

步骤2：对处理后的原始图像进行小波变换ω。小波变换是利用小波系数以特征的形式检测图像或特征的边缘。用小波对原始图像V、I进行K层分解，得到3K+1张子图像，其中包括3K个具有细节信息的高频带子图和一个具有近似分量的低频带子图，如图1所示。记红外图像经小波变换后的高频和低频子图分别为ω_L(V(x,y))和ω_H(I(x,y))，可见光图像经小波变换后的高频和低频子图分别为ω_L(V(x,y))和ω_H(I(x,y))。

小波变换包含不同尺度的源图像的低-高频带、高-低频带、高-高频带和低-低频带。低-低频带具有所有正变换值，其余频带具有围绕零波动的变换值。这些波段中较大的变换值响应亮度的急剧变化，从而响应图像中显著特征(例如边缘、线条和边界)的变化。

步骤3：将经过小波变换的原始图像对应分解层次的不同频率分量融合，得到3K张高频子图和K层低频子图。每一层上的不同频率分量可以通过不同的融合算子进行融合，进而得到小波变换塔形结构，如图2所示。

对待图像进行小波变换后，采用加权平均法得到融合图像在低频分量上相应方向的低频系数矩阵，并在高频分量上相应方向选取较大值。融合后的图像将通过逆变换后的小波系数矩阵获得。其中低频分量采用加权平均法对应计算过程如(1)所示：

L_k(F(x,y))＝λ_k(V)*ω_L(V(x,y))+λ_k(I)*ω_L(I(x,y)) (1)

其中λ_k(V)和λ_k(I)是分别对应可见光图像和红外图像的加权系数，L_k(F(x,y))表示低频分量融合后的结果。

高频分量采用绝对值最大法对应的计算过程如公式(2)所示：

H_k(F(x,y))＝max{ω_H(V(x,y)),ω_H(I(x,y))} (2)

其中H_k(F(x,y))表示高频分量融合后的结果。

通常，红外图像包含粗尺度信息，而可见光图像包含细尺度信息。此外，通过将绝对值最大规则应用于高频分量，将加权平均法应用于低频分量，将更多的可见图细节和较少的红外图细节转移到融合图像中。

步骤4：小波逆变换得到红外图像与可见光图像融合后的结果图像。对应计算过程如公式(3)所示：

F(x,y)＝ω^-1(φ(w(V(x,y)),w(I(x,y)))) (3)

其中融合规则为φ，ω^-1代表小波逆变换。

如图3所示，是用两种方法对两组图片进行图像融合操作的结果。从左至右依次是(a)为可见光图像，(b)为红外图像，(c)为基于传统平均值融合规则的效果图；(d)本发明的效果图。从图片的对比中我们可以看出，传统方法得到的图片中存在明显的振铃现象，且对比度低，“水洗”现象严重。本发明提出的方法得到的融合图像与人类视觉系统方向一致，能够保持可见光图像的纹理信息和红外图像的特征细节。

由于主观评估不足以评估自动化系统中的工作，因此使用客观图像融合性能指标是评估不同融合方案质量的常用方法。对于两种方法，本发明选择了7种指标。信息熵(EN)、标准差(SD)、结构相似性(SSIM)、相关系数(CC)、空间频率(SF)、视觉保真度(VIF)、边缘强度系数(Qabf)进行评估。

信息熵(EN)被定义为单个像素可以适应的强度级别的相应状态。它用于定量分析和评估图像细节，使用熵值可以更好地比较图像细节。信息熵越大，融合图像信息越丰富。

标准差(SD)反映了图像像素值与均值的离散程度，可以代表融合图像像素的分布情况和对比度，标准差越大说明图像的质量越好。

结构相似性指数(SSIM)主要由三个组成部分组成：相关性、亮度变形和对比度失真的丧失。SSIM越大表示融合性能越好。

线性相关性(CC)测量融合图像和源图像的线性相关程度。CC越大，融合图像和源图像越相似，融合性能越好。

空间频率(SF)是一种图像质量指标，用于测量图像中的整体活动水平。空间频率定义为SF旨在测量图像的渐变分布。SF越大表示边缘和纹理信息越丰富。

视觉信息保真度(VIF)衡量在某些图片处理过程中(例如图像压缩)中人类感知信息的损失。VIF对处理后图像和原始图像之间的进行对比。VIF越大，融合图像效果越好。

边缘强度系数(Qabf)是一种新颖的融合图像客观非参考质量评估指标，指标Qabf表示了融合图像边缘信息的保留情况。Qabf的值越接近于1，表示融合图像的质量越好，边缘信息强度高。Qabf的值越接近于0，表示融合图像的的边缘信息强度越低。

本发明使用公开FLIR数据集，该数据集提供了带注释的热成像数据集和对应的无注释RGB图像。从中选取41组可见光图像与红外图像，分别用基于平均值融合规则的传统方法和本发明方法进行图像融合。信息熵(EN)、标准差(SD)、结构相似性(SSIM)、相关系数(CC)、空间频率(SF)、视觉保真度(VIF)、边缘强度系数(Qabf)七项评价指标的对比如表1所示：

表1：两种方法的融合效果评价指标对比表

从表1中可以看出，在SSIM、CC、SF、VIF、Qabf指标方面本发明的方法表现更好，在SSIM指标方面效果提高5.1％左右，在CC指标方面效果提高15.2％左右，在SF指标方面效果提高23.0％左右，在VIF指标方面效果提高50.3％左右，在Qabf指标方面效果提高37.8％左右。在EN、SD指标方面与传统方法差别不大。因此综合来看，基于七项指标本发明提出的方法具有更好的图像融合能力，特别是能够更好地保持可见光图像的纹理信息和红外图像的特征细节。

Claims (5)

1.一种基于小波变换的红外图像与可见光图像融合的处理方法，其特征在于包括以下步骤：

步骤一，对原始图像进行预处理和图像配准。

步骤二，对处理后的原始图像进行小波变换，用小波对原始图像V、I进行K层分解，得到3K+1张子图像。

步骤三，将V、I对应分解层次的不同频率分量融合，得到3K张高频子图和K层低频子图。每一层上的不同频率分量可以通过不同的融合算子进行融合，进而得到小波变换金字塔。

步骤四：小波逆变换得到红外图像与可见光图像融合后的结果图像。

2.根据权利要求1所述的基于小波变换的红外图像与可见光图像融合的处理方法，其特征在于，所述步骤一具体为：对原始图像进行预处理和图像配准。经过对比，选择基于边缘特征的图像配准方法。首先提取原始图像的特征，然后生成特征描述子，最后根据描述子的相似程度对两幅图像的特征之间进行配准，得到的处理后的图像分别为V(x,y)和I(x,y)。

3.根据权利要求1所述的基于小波变换的红外图像与可见光图像融合的处理方法，其特征在于，所述步骤二具体为：对处理后的原始图像进行小波变换ω。小波变换是利用小波系数以特征的形式检测图像或特征的边缘。用小波对原始图像V、I进行K层分解，得到3K+1张子图像，其中包括3K个具有细节信息的高频带子图和一个具有近似分量的低频带子图。记红外图像经小波变换后的高频和低频子图分别为ω_L(V(x,y))和ω_H(I(x,y))，可见光图像经小波变换后的高频和低频子图分别为ω_L(V(x,y))和ω_H(I(x,y))。

小波变换包含不同尺度的源图像的低-高频带、高-低频带、高-高频带和低-低频带。低-低频带具有所有正变换值，其余频带具有围绕零波动的变换值。这些波段中较大的变换值响应亮度的急剧变化，从而响应图像中显着特征(例如边缘、线条和边界)的变化。

4.根据权利要求1所述的基于小波变换的红外图像与可见光图像融合的处理方法，其特征在于，所述步骤三具体为：将经过小波变换的原始图像对应分解层次的不同频率分量融合，得到3K张高频子图和K层低频子图。每一层上的不同频率分量可以通过不同的融合算子进行融合，进而得到小波变换塔形结构。

对待图像进行小波变换后，采用加权平均法得到融合图像在低频分量上相应方向的低频系数矩阵，并在高频分量上相应方向选取较大值。融合后的图像将通过逆变换后的小波系数矩阵获得。其中低频分量采用加权平均法对应计算公式如下所示：

L_k(F(x,y))＝λ_k(V)*ω_L(V(x,y))+λ_k(I)*ω_L(I(x,y)) (1)

其中λ_k(V)和λ_k(I)是分别对应可见光图像和红外图像的加权系数，L_k(F(x,y))表示低频分量融合后的结果。

高频分量采用绝对值最大法对应的计算过程如下所示：

H_k(F(x,y))＝max{ω_H(V(x,y)),ω_H(I(x,y))} (2)

其中H_k(F(x,y))表示高频分量融合后的结果。

通常，红外图像包含粗尺度信息，而可见光图像包含细尺度信息。此外，通过将绝对值最大规则应用于高频分量，将加权平均法应用于低频分量，将更多的可见图细节和较少的红外图细节转移到融合图像中。

5.根据权利要求1所述的基于小波变换的红外图像与可见光图像融合的处理方法，其特征在于，所述步骤四具体为：小波逆变换得到红外图像与可见光图像融合后的结果图像。对应计算过程如下所示：

F(x,y)＝ω^-1(φ(w(V(x,y)),w(I(x,y)))) (3)

其中融合规则为φ，ω^-1代表小波逆变换。

Images