CN111401203A - 基于多维图像融合的目标识别方法 - Google Patents

Abstract

本发明属于人工智能与计算机视觉技术领域，具体涉及一种基于多维图像融合的目标识别方法。本发明通过研究不同传感器的成像特性和图像特征之间的相关性，实现了基于多分辨率分析的拉普拉斯金字塔分解结构的融合算法。利用图像的金字塔分解，能分析图像中不同大小的物体。同时，通过对高分辨率的下层进行分析所得到的信息还可能用于指导对低分辨率的上层进行分析，从而可大大简化分析和计算。由于本发明的图像融合方法符合战场复杂环境中的自然现实条件，因而，与其它现有图像融合方法相比，本发明具有融合效果好、细节丰富等特点。

Description

基于多维图像融合的目标识别方法

技术领域

本发明属于人工智能与计算机视觉技术领域，具体涉及一种基于多维图像融合的目标识别方法。

背景技术

图像目标识别是通过存储的目标信息与当前的图像信息进行比较实现对图像的识别。图像的描述是目标识别的前提，通过采用数字或者符号来表示图像或景物中各个目标的相关特征，甚至目标之间的关系，最终得到目标特征以及它们之间的关系的抽象表达。图像识别技术对图像中个性特征进行提取时，可以采用模板匹配模型。在某些具体的应用中，图像识别除了要给出被识别对象是什么物体外，还需要给出物体所处的位置。目前，图像识别技术已广泛应用于多个领域，如生物医学、卫星遥感、机器人视觉、货物检测、目标跟踪、自主车导航、公安、银行、交通、军事、电子商务和多媒体网络通信等。随着人工智能与计算机视觉技术的快速发展，出现了基于机器视觉的目标识别、基于深度学习的目标识别等，大大提高了图像识别的准确度和识别效率。

然而，单一波段传感器所获取的图像信息存在着不足之处。例如，可见光图像细节丰富，但是晚上或者光线弱的情况下无法成像；红外图像能够24小时成像，但是得到的是物体温度的分布，不能够实现对细节的观测。采用图像融合手段，可以将单一传感器的多波段信息或不同类传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，以增强影像中信息透明度，改善解译的精度、可靠性以及使用率，以形成对目标的清晰、完整、准确的信息描述。高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有效地提高图像信息的利用率、系统对目标识别的可靠性及系统的自动化程度。

在无人侦察机、车载全景态势感知、舰载光电搜索跟踪等系统中，通过基于多维图像融合的目标识别技术可以满足军用光电系统的多项需求，解决对外部场景的自动化、智能化感知能力，同时基于多维图像融合的目标识别技术在民用领域的航测、工业测量方面也有广泛的用途，因此能为我国军事和侦察领域带来巨大的社会效益和经济效益。

近年来有许多学者开展了目标识别方法的研究，但目前主要采用单一波段传感器图像的方法进行目标识别。中国期刊《指挥控制与仿真》2019,Vol.28,No.1,pp.1-5刊登了一篇题为“基于深度学习的海战场图像目标识别”的论文，作者单连平等人在该论文中分析了基于区域建议的R-CNN系列模型与基于回归的YOLO模型的优势和缺陷，梳理了深度学习技术在海战场图像目标识别中的应用现状。可见，传统的目标识别算法不能够在低信噪比条件下的图像中识别出有效的目标。因此，要实现有效的图像识别必须研究和寻找更为有效、准确、实时的技术途径。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：为满足复杂环境下的目标识别需求，如何为无人系统提供一种基于多维图像融合的目标识别方法。

(二)技术方案

为解决上述技术问题，本发明提供一种基于多维图像融合的目标识别方法，所述方法包括：

步骤1：对图像进行预处理；包括：

步骤11：计算图像相对参数变换矩阵；

当接到无人侦察系统装置发出的识别命令后，通过相应的传感器采集可见光图像作为基准图像g_B，红外图像作为候选图像g_c；

假定匹配点数量为N，N的数量至少为3，假设N＝3，则在基准图像中选择3个特征点，分别为B₁，B₂和B₃；在候选图像g_c中选择对应的3个匹配点，分别为C₁，C₂和C₃；

对于基准图像g_B和候选图像g_C两幅多源图像，一共找到了N对匹配点；则基准图像g_B和候选图像g_C之间的相对参数变换矩阵P_C←B采用以下最小二乘法公式计算：

P_C←B＝C*B^T*(B*B^T)^-1

其中，C表示候选图像坐标系中的匹配点的奇次坐标，C为3×N矩阵，B表示基准图像坐标系中的匹配点的奇次坐标，B为3×N矩阵，B^T为B的转置矩阵，相对参数变换矩阵P_C←B为3×3矩阵；

步骤12：将候选图像变换到基准图像坐标系中；

采用逆向映射，从基准图像g_B出发，通过变换函数求解基准图像g_B上每一个像素点位置在候选图像g_C上的对应位置；根据基准图像g_B中每个点B⁰的奇次坐标，都可以根据下式计算出候选图像g_C中与之对应的点C⁰的奇次坐标：

其中，B⁰的水平坐标为

其取值范围为(1,2,…,W)；垂直坐标为

其取值范围为(1,2,…,H)；C⁰的水平坐标为

其取值范围为(1,2,…,W)；垂直坐标为

其取值范围为(1,2,…,H)；

将候选图像g_C中点C⁰的像素灰度值赋予基准图像g_B对应像素点B⁰后，获得变换后的候选图像g_B←C，并将该图像g_B←C作为输出与基准图像g_B进行融合；

步骤2：基于多源特征对图像进行图像融合；包括：

将基准图像g_B与变换后的候选图像g_B←C进行融合，采用基于多分辨率分析的金字塔分解结构的图像融合算法，实现的步骤如下：

步骤21：进行图像的Gauss塔型分解；

对于作为源图像的基准图像g_B，以G₀作为Gauss金字塔的零层，则高斯金字塔的第l层图像G_l为：

式中：N1为Gauss金字塔顶层层号；C_l为Gauss金字塔第l层图像的列数；R_l为Gauss金字塔第l层图像的行数；w(m,n)表示5×5窗口函数，具有低通特性，具体如下：

步骤22：建立图像的Laplace金字塔；

其中：

式中，

是由G_l内插放大得到的图像，其尺寸与G_l-1的尺寸相同，但

与G_l-1并不相等，在原有像素间内插的新像素的灰度值是通过对原有像素灰度值的加权平均确定的；由于G_l是对G_l-1低通滤波得到的，即G_l是模糊化、降采样的G_l-1，因此

的细节信息比G_l-1的少；

由此得到Laplace金字塔各层的分解图像LP_l：

式中：N2为Laplace金字塔顶层的层号；LP_l表示Laplace金字塔分解的第l层图像；

步骤23：由Laplace金字塔重建源图像；

由上式进行转化可得

步骤24：基于Laplace金字塔分解的图像融合；

设A,B为两幅源图像，F为融合后的图像，融合过程如下：

步骤241：对每幅源图像进行Laplace金字塔分解，建立各自的Laplace金字塔；

步骤242：对图像金字塔的各分解层分别进行融合处理，得到融合后图像的Laplace金字塔；

步骤243：对融合后的Laplace金字塔进行图像重构，得到最终的融合图像；

步骤3：进行目标识别；该步骤包括：

步骤31：进行大数据标注；

对于M张采集到的大数据图像，采用标注工具选择矩形区域，将背景区域的label定义为0，定义目标的区域label为1；分类构成一个有一定规模的用于训练深度学习模型的训练集和验证集，实现对1类目标的识别；所述M的数量至少为12000；

步骤32：进行数据训练；

利用上一步标注好的数据集对目标分类模型进行训练；

步骤33：进行实时图像融合；

实时采集可见光图像与红外图像，并进行融合，得到融合后的图像；

步骤34：进行目标识别与定位；

利用训练好的分类模型对上一步求得的融合图像进行舰船目标检测，将由分类模型识别出来的所有的舰船目标的大小位置记录下来，并使用矩形标识框将这一矩形区域在图像上标识出来。

(三)有益效果

与现有技术相比较，本发明具备如下有益效果：

(1)本发明提出基于多维图像信息进行融合的方法。通过研究不同传感器的成像特性和图像特征之间的相关性，实现了基于多分辨率分析的拉普拉斯金字塔分解结构的融合算法。利用图像的金字塔分解，能分析图像中不同大小的物体，例如，高分辨率层(下层)可用于分析细节，低分辨率层(顶层)可用于分析较大的物体。同时，通过对高分辨率的下层进行分析所得到的信息还可能用于指导对低分辨率的上层进行分析，从而可大大简化分析和计算。图像的塔型分解提供了一种方便灵活的图像多分辨率分析方法，图像的拉普拉斯塔型分解可以将图像的重要性(例如边缘)按照不同的尺度分解到不同的塔型分解层上。由于本发明的图像融合方法符合战场复杂环境中的自然现实条件，因而，与其它现有图像融合方法相比，本发明具有融合效果好、细节丰富等特点。

(2)在本发明中，对融合后的图像采用基于深度学习的卷积神经网络进行目标识别，具有识别准确、抗尺度与光照变化能力强等特点。

(3)在本发明中，采用特征点进行异源图像配准。并采用最小二乘法计算图像变换参数，具有计算精度高、速度快、融合识别效果好等优点。

附图说明

图1(a)-图1(d)是多维度图像融合实验结果图。其中，图1(a)是多维度图像融合软件启动界面；图1(b)是多维度图像融合软件加载图像视频后的界面；图1(c)是可见光与红外图像配准选点界面；图1(d)是多维度图像融合结果。

图2是本发明基于多维图像融合的目标识别方法的操作流程图。

图3是本发明基于金字塔分解的图像融合原理图。

图4(a)及图4(b)是本发明优选实施例对舰船目标图像视频进行目标识别的实验结果图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

为满足复杂环境下的目标识别需求，本发明为无人系统提供一种基于多维图像融合的目标识别方法，该方法对多个传感器融合得到的大数据图像进行学习和训练，从而提高目标识别的能力。

本发明的主要任务是采用图像融合方法对多波段视频图像序列进行融合，并采用深度学习方法最终智能识别出目标。由此可见，视频图像序列是本发明需要处理的对象。基于多维图像融合的目标识别技术是将多波段融合图像大数据进行标注、训练学习，用来自动识别出图像中的多个目标。

本发明的图像采集装置采用全瑞视讯可见光相机，红外采用EXA-IR2非制冷热像仪。本优选实施例中的计算机硬件采用I7-7700处理器，主频为2.80G，硬盘大小为1T，用该计算机对一帧图像进行目标识别算法计算只需0.1秒左右。采集1帧可见光图像与1帧红外图像进行图像融合操作。假定可见光图像为基准图像，红外图像为候选图像。图像融合技术的基本流程是，首先对基准图像和候选图像进行配准，从而建立两幅图像的数学变换模型；再根据建立的数学变换模型，进行统一坐标变换，即将所有候选图像序列变换到基准图像的坐标系中，以此来构成融合后的图像。对于两幅图像来说，由于存在尺度、旋转和平移变换，其变换关系至少需要3对匹配点来求解。

本发明优选实施例提供的基于多维图像融合的目标识别方法，按照图2所示的工作流程完成图像的实时识别，其识别过程包括以下四大部分内容。

具体而言，本发明所提供的基于多维图像融合的目标识别方法，包括：

步骤1：对图像进行预处理；包括：

步骤11：计算图像相对参数变换矩阵；

当接到无人侦察系统装置发出的识别命令后，通过相应的传感器采集可见光图像作为基准图像g_B，红外图像作为候选图像g_c；

假定匹配点数量为N，N的数量至少为3，假设N＝3，则在基准图像中选择3个特征点，分别为B₁，B₂和B₃；在候选图像g_c中选择对应的3个匹配点，分别为C₁，C₂和C₃；

对于基准图像g_B和候选图像g_C两幅多源图像，一共找到了N对匹配点；如果N≥3，则基准图像g_B和候选图像g_C之间的相对参数变换矩阵P_C←B采用以下最小二乘法公式计算：

P_C←B＝C*B^T*(B*B^T)^-1

其中，C表示候选图像坐标系中的匹配点的奇次坐标，C为3×N矩阵，B表示基准图像坐标系中的匹配点的奇次坐标，B为3×N矩阵，B^T为B的转置矩阵，相对参数变换矩阵P_C←B为3×3矩阵；

步骤12：将候选图像变换到基准图像坐标系中；

由于基准图像g_B和候选图像g_C之间存在一定的变换关系，因此需要将它们变换到同一个坐标系中进行图像融合。本发明中，需要将候选图像g_C变换到基准图像g_B坐标系中。

采用逆向映射，从基准图像g_B出发，通过变换函数求解基准图像g_B上每一个像素点位置在候选图像g_C上的对应位置；根据基准图像g_B中每个点B⁰的奇次坐标，都可以根据下式计算出候选图像g_C中与之对应的点C⁰的奇次坐标：

其中，B⁰的水平坐标为

其取值范围为(1,2,…,W)；垂直坐标为

其取值范围为(1,2,…,H)；C⁰的水平坐标为

其取值范围为(1,2,…,W)；垂直坐标为

其取值范围为(1,2,…,H)；

将候选图像g_C中点C⁰的像素灰度值g_c(i,j)赋予基准图像g_B对应像素点B⁰后，获得变换后的候选图像g_B←C，并将该图像g_B←C作为输出与基准图像g_B进行融合；

通常图像变换可以采用两种映射方式：正向映射和逆向映射；正向映射是根据计算出的图像变换参数将候选图像变换到基准图像所处的坐标空间上；即扫描候选图像的每一个像素，通过变换函数，依次计算每个像素对应到基准图像中的位置。当候选图像的两个相邻像素点映射到基准图像的两个不相邻像素点时，就会出现离散的马赛格和虚点空洞现象。因此，需要转换思路，可以采用逆向思维，反过来对基准图像的每一个点，都寻找与之对应的候选图像的坐标。逆向映射是从基准图像g_B出发，通过变换函数求解基准图像g_B上每一个像素点位置在候选图像g_C上的对应位置。首先扫描基准图像g_B的每个像素点位置，然后根据变换函数，计算在候选图像g_C上的对应采样像素点，并将该点的灰度值赋值给基准图像g_B的对应像素点。

逆向映射的效果要好于正向映射，因为基准图像的每个像素都能被扫描，获得适当的灰度值，从而避免了正向映射中输出图像的某些点可能没有被赋值而出现虚点空洞和马赛克的情况。

步骤2：基于多源特征对图像进行图像融合；包括：

将基准图像g_B与变换后的候选图像g_B←C进行融合，采用基于多分辨率分析的金字塔分解结构的图像融合算法，实现的步骤如下：

步骤21：进行图像的Gauss塔型分解；

对于作为源图像的基准图像g_B，以G₀作为Gauss金字塔的零层(底层)，则高斯金字塔的第l层图像G_l为：

式中：N1为Gauss金字塔顶层层号；C_l为Gauss金字塔第l层图像的列数；R_l为Gauss金字塔第l层图像的行数；w(m,n)表示5×5窗口函数(生成核)，具有低通特性，具体如下：

步骤22：建立图像的Laplace金字塔；

其中：

式中，

是由G_l内插放大得到的图像，其尺寸与G_l-1的尺寸相同，但

与G_l-1并不相等，在原有像素间内插的新像素的灰度值是通过对原有像素灰度值的加权平均确定的；由于G_l是对G_l-1低通滤波得到的，即G_l是模糊化、降采样的G_l-1，因此

的细节信息比G_l-1的少；

由此得到Laplace金字塔各层的分解图像LP_l：

式中：N2为Laplace金字塔顶层的层号；LP_l表示Laplace金字塔分解的第l层图像；

步骤23：由Laplace金字塔重建源图像；

由上式进行转化可得

步骤24：基于Laplace金字塔分解的图像融合；

基于Laplace金字塔分解的图像融合方法如图3所示；设A,B为两幅源图像，F为融合后的图像，融合过程如下：

步骤241：对每幅源图像进行Laplace金字塔分解，建立各自的Laplace金字塔；

步骤242：对图像金字塔的各分解层分别进行融合处理，得到融合后图像的Laplace金字塔；

步骤243：对融合后的Laplace金字塔进行图像重构，得到最终的融合图像；

步骤3：进行目标识别；该步骤包括：

步骤31：进行大数据标注；

对于M张采集到的大数据图像，采用标注工具选择矩形区域，将背景区域的label定义为0，定义舰船目标的区域label为1；分类构成一个有一定规模的用于训练深度学习模型的训练集和验证集，实现对1类舰船目标的识别；所述M的数量至少为12000；

步骤32：进行数据训练；

利用上一步标注好的数据集对舰船目标分类模型进行训练；

步骤33：进行实时图像融合；

实时采集可见光图像与红外图像，并进行融合，得到融合后的图像；

步骤34：进行目标识别与定位；

利用训练好的分类模型对上一步求得的融合图像进行舰船目标检测，将由分类模型识别出来的所有的舰船目标的大小位置记录下来，并使用矩形标识框将这一矩形区域在图像上标识出来。

图4(a)及图4(b)给出了采用本优选实施例进行基于多维图像融合的目标识别的实验结果。其中图4(a)中有两个舰船目标，图4(b)中有一个舰船目标。可以看出，本发明由于采用基于多维图像融合的目标识别方法，因此具有较好的目标识别效果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (1)

1.一种基于多维图像融合的目标识别方法，其特征在于，所述方法包括：

步骤1：对图像进行预处理；包括：

步骤11：计算图像相对参数变换矩阵；

当接到无人侦察系统装置发出的识别命令后，通过相应的传感器采集可见光图像作为基准图像g_B，红外图像作为候选图像g_c；

假定匹配点数量为N，N的数量至少为3，假设N＝3，则在基准图像中选择3个特征点，分别为B₁，B₂和B₃；在候选图像g_c中选择对应的3个匹配点，分别为C₁，C₂和C₃；

对于基准图像g_B和候选图像g_C两幅多源图像，一共找到了N对匹配点；则基准图像g_B和候选图像g_C之间的相对参数变换矩阵P_C←B采用以下最小二乘法公式计算：

P_C←B＝C*B^T*(B*B^T)^-1

其中，C表示候选图像坐标系中的匹配点的奇次坐标，C为3×N矩阵，B表示基准图像坐标系中的匹配点的奇次坐标，B为3×N矩阵，B^T为B的转置矩阵，相对参数变换矩阵P_C←B为3×3矩阵；

步骤12：将候选图像变换到基准图像坐标系中；

采用逆向映射，从基准图像g_B出发，通过变换函数求解基准图像g_B上每一个像素点位置在候选图像g_C上的对应位置；根据基准图像g_B中每个点B⁰的奇次坐标，都可以根据下式计算出候选图像g_C中与之对应的点C⁰的奇次坐标：

其中，B⁰的水平坐标为

其取值范围为(1,2,…,W)；垂直坐标为

其取值范围为(1,2,…,H)；C⁰的水平坐标为

其取值范围为(1,2,…,W)；垂直坐标为

其取值范围为(1,2,…,H)；

将候选图像g_C中点C⁰的像素灰度值赋予基准图像g_B对应像素点B⁰后，获得变换后的候选图像g_B←C，并将该图像g_B←C作为输出与基准图像g_B进行融合；

步骤2：基于多源特征对图像进行图像融合；包括：

将基准图像g_B与变换后的候选图像g_B←C进行融合，采用基于多分辨率分析的金字塔分解结构的图像融合算法，实现的步骤如下：

步骤21：进行图像的Gauss塔型分解；

对于作为源图像的基准图像g_B，以G₀作为Gauss金字塔的零层，则高斯金字塔的第l层图像G_l为：

0≤l≤N1，0≤i<C_l，0≤j<R_l；

式中：N1为Gauss金字塔顶层层号；C_l为Gauss金字塔第l层图像的列数；R_l为Gauss金字塔第l层图像的行数；w(m,n)表示5×5窗口函数，具有低通特性，具体如下：

步骤22：建立图像的Laplace金字塔；

0≤l≤N2，0≤i<C_l，0≤j<R_l；

其中：

式中，

是由G_l内插放大得到的图像，其尺寸与G_l-1的尺寸相同，但

与G_l-1并不相等，在原有像素间内插的新像素的灰度值是通过对原有像素灰度值的加权平均确定的；由于G_l是对G_l-1低通滤波得到的，即G_l是模糊化、降采样的G_l-1，因此

的细节信息比G_l-1的少；

由此得到Laplace金字塔各层的分解图像LP_l：

式中：N2为Laplace金字塔顶层的层号；LP_l表示Laplace金字塔分解的第l层图像；

步骤23：由Laplace金字塔重建源图像；

由上式进行转化可得

步骤24：基于Laplace金字塔分解的图像融合；

设A,B为两幅源图像，F为融合后的图像，融合过程如下：

步骤241：对每幅源图像进行Laplace金字塔分解，建立各自的Laplace金字塔；

步骤242：对图像金字塔的各分解层分别进行融合处理，得到融合后图像的Laplace金字塔；

步骤243：对融合后的Laplace金字塔进行图像重构，得到最终的融合图像；

步骤3：进行目标识别；该步骤包括：

步骤31：进行大数据标注；

对于M张采集到的大数据图像，采用标注工具选择矩形区域，将背景区域的label定义为0，定义目标的区域label为1；分类构成一个有一定规模的用于训练深度学习模型的训练集和验证集，实现对1类目标的识别；所述M的数量至少为12000；

步骤32：进行数据训练；

利用上一步标注好的数据集对目标分类模型进行训练；

步骤33：进行实时图像融合；

实时采集可见光图像与红外图像，并进行融合，得到融合后的图像；

步骤34：进行目标识别与定位；

利用训练好的分类模型对上一步求得的融合图像进行舰船目标检测，将由分类模型识别出来的所有的舰船目标的大小位置记录下来，并使用矩形标识框将这一矩形区域在图像上标识出来。

Images