CN110135522B - 一种检测与标注遥感图像小目标一体化的智能方法 - Google Patents

Abstract

本发明公开了一种检测与标注遥感图像小目标一体化的智能方法，属于高分辨率遥感图像的小目标检测和标注技术领域。本发明的方法是：对已经标注好目标的遥感图像集，进行自适应图像增强，该方法可进行数据增强和样本扩充；将经过自适应图像增强后的图像集输入到基于快速卷积神经网络的目标检测框架，进行目标检测；经过多次训练迭代后，获得本发明的模型；最后通过迁移学习的方法将其迁移到待标注遥感图像集中。本发明通过卷积神经网络和迁移学习的方法实现了对遥感图像数据中的小目标的精准检测和标注，适应多种处理环境，对复杂的环境具备较好的抗干扰能力。

Description

一种检测与标注遥感图像小目标一体化的智能方法

技术领域

本发明涉及一种检测与标注遥感图像小目标一体化的智能方法，属于高分辨率遥感图像的小目标检测和标注技术领域。

背景技术

现代遥感技术获取的遥感影像速度快，图像质量高，因此已经广泛应用于战场环境仿真、洪涛灾害预测、军事目标侦察、城市土地规划、森林火险监测等领域。遥感图像的标注已经成为遥感图像解译分析的一个重要研究方向，受到各方面的关注和研究。随着遥感图像空间分辨率的不断增高，以及对地遥感图像平台的增多，图像的数量成倍增多，图像中所包含的信息也越来越丰富。如何准确，快速的识别出目标并标注出目标的位置已经成为遥感图像解译分析工作的重点和难点。

近年来，深度学习方法在大数据驱动下异军突起，其中以卷积神经网络为代表的方法在图像领域取得了革命性的进展。很多学者也将卷积神经网络应用于遥感图像领域的识别和目标检测等方向。但是基于卷积神经网络的识别和目标检测等方向都需要大量的具有人工标注的图像来训练，即目标是什么，目标的位置信息。而在遥感图像中，由于感兴趣目标较小，人工标注代价过高，因此对于卷积神经网络会陷入过拟合的情况。另外，即使有人工标注的遥感图像数据集，但是由于标注数量有限，也会造成卷积神经网络在训练过程中出现过拟合的现象。针对该问题本发明提出一种自动标注遥感图像小目标的智能方法

发明内容

本发明解决的技术问题是：提出一种遥感图像小目标自动标注方法。为了解决小目标标注和检测存在的上述技术问题，本发明提出的技术方案是提供了一种基于卷积神经网络基础上的图像自适应增强策略，非极大值抑制重置函数，迁移学习网络模型策略的遥感图像小目标自动标注方法。具体内容如下：

步骤1对已经标注的遥感图像集，进行自适应图像增强；首先存在一个已经标注好目标的遥感图像集，将该标注好目标的遥感图像集用本发明所述自适应图像增强的方法进行数据增强，样本扩充。

步骤2：将经过自适应图像增强后的图像集输入到基于快速卷积神经网络的目标检测框架，进行目标检测；S1:使用VGG16网络上训练的ImageNet的网络模型作为初始权重进行迁移学习微调；S2:采用本发明所提出的半监督方法对卷积神经网络中的候选区域网络的候选框anchor的大小进行选取；S3:在VGG16网络的卷积层的最后一层，进入到候选区域的选取，在感兴趣区域的选取后，该检测流程进入到检测的后处理阶段，在后处理阶段，本发明采用改进非极大值抑制算法进行候选区域的选择。

步骤3：将待训练的遥感图像集进行步骤1所述的图像自适应增强后输入到步骤2所述的卷积神经网络中进行训练迭代，得到小目标检测和标注的模型。

步骤4：得到小目标检测和标注的模型后通过迁移学习的方法将其迁移到待标注遥感图像集中。

附图说明

下面结合附图对本发明的作进一步说明。

图1是本发明在基于卷积神经网络基础上所采用的训练遥感图像数据集的整体流程图。

图2a是原图；

图2b是经过本发明图像所述的自适应图像增强旋转60度的示意图；

图2c是经过本发明图像所述的自适应图像增强旋转90度的示意图；

图2d是经过本发明图像所述的自适应图像增强旋转150度的示意图；

图3为采用VGG16卷积神经网络的目标检测框架流程；

图4a为采用本发明方法检测到的遥感图像场景中的飞机目标；

图4b为采用本发明方法检测到的遥感图像场景中的轮船目标；

图4c为采用本发明方法检测到的遥感图像场景中的轮船和油桶；

图4d为采用本发明方法检测到的遥感图像场景中的极小目标轮船；

图5为本发明自动标注和检测高分辨率遥感图像中的小目标。

具体实施方式

本发明的目的在于针对小目标检测准确率不高和小目标标注数据少的问题提出解决方案。本发明的具体实施过程可见图1。如图1所示，首先将具有小目标的遥感数据集A经过图像自适应增强后，进入基于卷积神经网络检测框架，然后在后处理阶段，采用本发明所述的改进的NMS(Non-Maximum Suppression)算法进行最后检测框的取舍，最终获得该遥感数据集A的检测网络模型。然后将本发明所示所得到的数据集A的检测网络模型，用于待测遥感数据集的标注，同时将待测遥感数据集输入到基于卷积神经网络的检测框架中，由于已经有数据集A的检测网络模型权重的支撑，因此可以自动标注出待测遥感数据集的目标和目标的准确位置。

详细的实施步骤如下：

步骤1：对已经标注的遥感图像集，进行自适应图像增强；

本发明首先存在一个已经标注好目标的遥感图像集，该图像集中标注了每一张图像中的物体，并且标注了该物体在图像中的位置，位置的标注采用左上角的横纵坐标，和右下角的横纵坐标的标注方法。如图1中的①所示，将该标注好目标的遥感图像集用本发明所述自适应图像增强的方法进行数据增强，样本扩充。

本发明所提出的自适应图像增强方法，具体介绍如下：首先计算该已标注遥感图像数据集的类别，和每个类别的数量(此处的目标数据类别一般包括但不限于：飞机、轮船、油桶等)。假设某个遥感图像数据集有{1,2,3,...,n,...,m}类，对应的每一类所标注的数目为{c₁,c₂,c₃,...,c_n,...,c_m}，经计算得到第n类所包含的标注目标最多为c_n。将最大类别的数目和每个类别的数目相比，得到下面序列

本发明所述的自适应图像增强的方法采用图像旋转的方式：本发明中创建一个旋转字典dict＝[180°,150°,120°,90°,60°,30°](字典内部编号从1开始到6)，当任意一个ratio序列中ratio_i∈(0,2]或ratio_i∈(0,1]或ratio_i∈(1,2]，，对这一类别的图像进行180度旋转，即取dict[1]。旋转可以是顺时针旋转也可以是逆时针旋转。当比值ratio_i∈(2,3]，对这一类别的图像分别进行dict[1]和dict[2]。当ratio_i∈(3,4]，对这一类别的图像分别进行dict[1]，dict[2]，dict[3]旋转。当ratio_i∈(4,5]，对这一类别的图像分别进行dict[1]，dict[2]，dict[3]，dict[4]旋转。当ratio_i∈(5,6]，对这一类别的图像分别取dict字典中的前5个角度旋转。当ratio_i>6，对这一类别的图像分别按照dict字典中的角度全部旋转。同时由于旋转以后，图像标注框的长(w)和宽(h)相比原图像是有角度的变化，考虑到这种变化，我们使用如下公式，计算旋转后图像标注框的长和宽。W^*＝h*sin(θ)+w*cos(θ)，H^*＝h*cos(θ)+w*sin(θ)，其中W^*和H^*分别表示旋转后的长和宽，w和h分别表示原图的长和宽，θ表示旋转的角度。上述自适应图像增强的方法不仅仅对遥感图像集进行了大幅度的增强，而且解决图像集中样本类别之间的不均衡问题。

图像集经由本发明的自适应图像增强的方法后，测试样本的数目大幅度增强，图2b、图2c、图2d展示了本图像自适应增强的60度，90度，150度旋转的图像。

步骤2：将经过自适应图像增强后的图像集输入到基于快速卷积神经网络的目标检测框架，进行目标检测。

本发明所采用的卷积神经网络是VGG16，该目标检测框架的详细流程如图3所示，检测流程具体描述如下：

首先使用VGG16网络上训练的ImageNet的网络模型作为初始权重进行迁移学习微调。然后本发明所提出的半监督方法对卷积神经网络中的候选区域网络的候选框anchor的大小进行选取。具体描述如下：

首先通过采用手工标注的方法预估；然后再采用K-近邻法进行维度聚类，对候选框anchor的大小进一步的修正，k-means聚类方法使用数据集标注的ground truth聚类，采用交并比(IoU)执行尺寸的聚类。因此实际的度量尺寸可采用以下公式：

d(prebox,boxcenter)＝1-IOU(prebox,boxcenter)

其中prebox是指人工选取的候选框anchor的大小，boxcenter是指ground truth矩形框的中心点。通过K-近邻法的聚类，可以使得我们选取更准确的目标检测框。

最后，在VGG16网络的卷积层的最后一层，进入到候选区域的选取，在感兴趣区域的选取后，该检测流程进入到检测的后处理阶段，在后处理阶段，本发明采用改进的NMS行候选区域的选择，这样更有利于检测小目标，如图1中的②所示。

本发明中改进非极大值抑制(NMS)算法公式为：

b_i表示一系列检测框的集合，B＝{b1，b2,..bi,…bn}，s_i表示对应的检测框b_i的分数。M是最高分对应的框，iou表示检测框和M的重叠率。其中σ是衰减参数。N_t是一个硬阈值，其中N_t＝0.7，σ＝0.6时，小目标检测效果最好。

本发明中改进的非极大值抑制算法广泛应用于目标检测的后处理阶段，能够将一些算法产生的不同程度重叠的检测框消除，但是现有的非极大值抑制算法属于贪心算法，缺点是如果一个物体处于预设的重叠阈值之内，可能导致检测不到该待测物体，尤其是小物体。而本发明所提出一种针对非极大值抑制的改进算法，则可以避免上述的缺陷。

步骤3将待训练的遥感图像集进行步骤1所述的图像自适应增强后输入到步骤2所述的卷积神经网络中进行训练迭代，得到小目标检测和标注的模型。

将待训练的遥感图像集进行步骤1所述的图像自适应增强后输入到步骤2所述的卷积神经网络中进行训练迭代，得到小目标检测和标注的模型。

本发明中，经过60000次左右训练迭代后，本发明获得较好的模型，该模型可以很好的检测遥感图像中的小目标。如图1的③部分。本发明将该模型用于检测遥感图像中的小目标如：飞机，轮船等都能获得很好的检测结果，检测结果如图4a所示为检测到的遥感图像场景中的飞机目标；如图4b所示为检测到的遥感图像场景中的轮船目标；如图4c所示为检测到的遥感图像场景中的轮船和油桶，而油桶是密集型的，所述本发明也能很好的展现良好的性能；如图4d所示为检测到的遥感图像场景中的极小目标轮船。

本发明中卷积神经网络采用的损失函数如下：

其中i表示anchor的序列，p_i表示在预测的时候前景的概率，

表示的是groundtruth的预测概率。t_i表示预测框，

表示对应的前景的anchor对应的ground truth框。其中参数λ是平衡识别类的损失和回归损失的。这里回归损失使用的是如下计算公式：

步骤4得到小目标检测和标注的模型后通过迁移学习的方法将其迁移到待标注遥感图像集中。

迁移学习的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。大多数研究都是采用迁移学习进行参数微调等。

迁移学习的条件是给定一个源域D_S和源域上的学习任务T_S，目标域D_T和目标域上的学习任务T_T；迁移学习的目标是利用D_S和T_S学习在目标域上的预测函数f(·)；它的限制条件是D_S≠D_T，T_S≠T_T。本发明在基于卷积神经网的基础上，采用了两种迁移学习的方法，对遥感数据集进行目标检测是标注。第一，本发明采用深度迁移的方法，使用已经在VGG16上训练好的ImageNet模型实施微调针对遥感数据集进行训练，微调权重。这样可以节省大量的时间和计算机资源。第二，本发明采用已经在大型遥感数据集上训练的具有检测小目标能力的模型，采用迁移学习的模型迁移的方法，将该模型直接应用于数据量较小的小目标遥感数据集上，可自动标注出该数据集上的目标和该目标的位置。

本发明重新输入一个未标注的遥感数据集，同时使用图1中③训练所得到的网络模型，同时输入到基于卷积神经网络的自动检测系统中，经由该系统后，该基于卷积神经网络的自动检测系统可良好的标注出该未标注的遥感数据集的目标以及该目标的准确位置，如图5所示为本发明所展示的自动标注和检测到的飞机目标和飞机目标的位置。本发明的方法，可以大大减少人工标注的人力，物力和时间的损耗，对于遥感图像领域人工标注是一项有意义的工作。

本发明与现有技术相比，具有以下优点：

第一：本发明的数据增强是自适应的，能够很好的平衡物体类与类之间的差距，提高遥感数据中的小目标检测的平均检测率。

第二：本发明采用K-近邻法维度聚类，半监督调整矩形框Anchor的大小，可以提高所检测目标的位置准确率。

第三：目前基于卷积神经网络的目标检测算法大部分是针对中大型物体，本发明提出一种改进的非最大值抑制的方法，可以提高遥感图像中的小目标检测准确率。

第四：由于光学遥感图像的人工标注，耗时费力，具有小目标标注的图像样本集缺乏，本发明基于迁移学习和改进的非最大值抑制方法提出了一种自动标注遥感图像的方法，该方法不仅标注出物体的类别，而且标注该物体的位置。

Claims (6)

1.一种检测与标注遥感图像小目标一体化的智能方法，其特征在于:包括以下步骤：

步骤1：对已经标注的遥感图像集，进行自适应图像增强；

首先存在一个已经标注好目标的遥感图像集，将该标注好目标的遥感图像集用自适应图像增强的方法进行数据增强，样本扩充；

所述自适应图像增强方法，具体如下：

a)首先计算该已标注遥感图像数据集的类别，和每个类别的数量，设某个遥感图像数据集有{1,2,3,...,n,...,m}类，对应的每一类所标注的数目为{c₁,c₂,c₃,...,c_n,...,c_m}，经计算得到第n类所包含的标注目标最多为c_n，将最大类别的数目和每个类别的数目相比，得到下面序列

b)创建一个旋转字典dict＝[180°,150°,120°,90°,60°,30°]，所对应字典的内部编号从1开始到6：

当任意一个ratio序列中ratio_i∈(0,2]，对这一类别的图像进行180度旋转，即取dict[1]；

当ratio_i∈(2,3]，对这一类别的图像分别进行180度和150度旋转，即取dict[1]和dict[2]；

当ratio_i∈(3,4]，对这一类别的图像分别进行180度，150度，120度旋转，即取dict[1]，dict[2]，dict[3]；

当ratio_i∈(4,5]，对这一类别的图像分别进行180度，150度，120度，90度旋转，即取dict[1]，dict[2]，dict[3]，dict[4]；

当ratio_i∈(5,6]，对这一类别的图像分别取dict字典中的前5个角度旋转；

当ratio_i>6，对这一类别的图像分别按照dict字典中的角度全部旋转；

c)同时由于旋转以后，图像标注框的长w和宽h相比原图像是有角度的变化，使用如下公式，计算旋转后图像标注框的长和宽:

W^*＝h*sin(θ)+w*cos(θ)，

H^*＝h*cos(θ)+w*sin(θ)，

其中W^*和H^*分别表示旋转后的长和宽，w和h分别表示原图的长和宽，θ表示旋转的角度；

步骤2：将经过自适应图像增强后的图像集输入到基于快速卷积神经网络的目标检测框架，进行目标检测；

步骤3：将待训练的遥感图像集进行步骤1所述的图像自适应增强后输入到步骤2所述的卷积神经网络中进行训练迭代，得到小目标检测和标注的模型；

步骤4：得到小目标检测和标注的模型后通过迁移学习的方法将其迁移到待标注遥感图像集中。

2.根据权利要求1所述的检测与标注遥感图像小目标一体化的智能方法，其特征在于：步骤1中所述的旋转是顺时针旋转或逆时针旋转。

3.根据权利要求1所述的检测与标注遥感图像小目标一体化的智能方法，其特征在于：步骤2中所述的卷积神经网络是VGG16，该目标检测框架的流程具体如下：

S1:使用VGG16网络上训练的ImageNet的网络模型作为初始权重进行迁移学习微调；

S2:采用半监督方法对卷积神经网络中的候选区域网络的候选框anchor的大小进行选取,半监督方法具体描述如下：

a)首先通过采用手工标注的方法预估；

b)然后再采用K-近邻法进行维度聚类，对候选框anchor的大小进一步的修正，k-means聚类方法使用数据集标注的ground truth聚类，采用交并比IoU执行尺寸的聚类；因此实际的度量尺寸可采用以下公式：

d(prebox,boxcenter)＝1-IOU(prebox,boxcenter)

其中prebox是指人工选取的候选框anchor的大小，boxcenter是指ground truth矩形框的中心点，通过K-近邻法的聚类，可以使得我们选取更准确的目标检测框；

S3:在VGG16网络的卷积层的最后一层，进入到候选区域的选取，在感兴趣区域的选取后，该检测流程进入到检测的后处理阶段，在后处理阶段，采用改进非极大值抑制算法进行候选区域的选择；

所述的改进非极大值抑制算法公式为：

b_i表示一系列检测框的集合，B＝{b1，b2,..bi,…bn}，s_i表示对应的检测框b_i的分数；M是最高分对应的框，iou表示检测框和M的重叠率，σ是衰减参数；N_t是硬阈值。

4.根据权利要求3所述的检测与标注遥感图像小目标一体化的智能方法，其特征在于：N_t取值0.7，σ取值0.6时，小目标检测效果最好。

5.根据权利要求1所述的检测与标注遥感图像小目标一体化的智能方法，其特征在于：步骤3中所述的模型是至少经过60000次左右训练迭代后获得的模型，该模型可很好的检测遥感图像中的小目标。

6.根据权利要求1所述的检测与标注遥感图像小目标一体化的智能方法，其特征在于：所述的卷积神经网络采用的损失函数如下：

其中i表示anchor的序列，p_i表示在预测的时候前景的概率，

表示的是ground truth的预测概率；t_i表示预测框，

表示对应的前景的anchor对应的ground truth框；其中参数λ是平衡识别类的损失和回归损失的；这里回归损失使用的是如下计算公式：

Images