[go: up one dir, main page]

CN115082781A - 一种舰船图像检测方法、装置以及存储介质 - Google Patents

一种舰船图像检测方法、装置以及存储介质 Download PDF

Info

Publication number
CN115082781A
CN115082781A CN202210586436.8A CN202210586436A CN115082781A CN 115082781 A CN115082781 A CN 115082781A CN 202210586436 A CN202210586436 A CN 202210586436A CN 115082781 A CN115082781 A CN 115082781A
Authority
CN
China
Prior art keywords
ship
training
image
feature
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210586436.8A
Other languages
English (en)
Inventor
闵锋
刘朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN202210586436.8A priority Critical patent/CN115082781A/zh
Publication of CN115082781A publication Critical patent/CN115082781A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种舰船图像检测方法、装置以及存储介质，属于图像检测领域，方法包括：导入多个原始舰船图像，分别对各个原始舰船图像的标注得到标注后舰船图像；按照预设比例对所有的标注后舰船图像的划分得到舰船训练集和舰船测试集；构建训练模型，根据舰船训练集对训练模型的训练得到目标检测模型；通过目标检测模型对舰船测试集的检测得到舰船图像检测结果。本发明能够解决传统方法难以对小目标精准检测的问题，且精准并实时的对舰船目标进行检测，有利于提高海域侦察、监视和管控能力，提高了鲁棒性和泛化性。

Description

一种舰船图像检测方法、装置以及存储介质
技术领域
本发明主要涉及图像检测技术领域，具体涉及一种舰船图像检测方法、装置以及存储介质。
背景技术
由于雷达图像中存在乘性噪声导致大量相干斑，给目标检测工作带来了很大困难，许多学者对此课题进行了大量深入的研究，并取得了许多很有价值的成果。舰船检测可以分成3个步骤:预处理、候选区域提取和鉴别。恒虚警处理(constant false-alarm rate,CFAR)是用于候选区域提取的常用的方法，可以对潜在的舰船区域进行提取。它首先对杂波进行统计建模，之后根据虚警率得到判定的门限值，将高于门限的像素点视为舰船像素，低于门限的视为背景。鉴别一般是采用人工设计的特征，训练分类器进行二分类来实现。可以用于鉴别的特征除了简单的长度、宽度、长宽比和散射点位置等特征外，从计算机视觉领域引进而来的特征也是常用的方法，且具有更强的鲁棒性。2004年Viola和Jones开创性地提出的人脸检测器。主要侧重要两方面，即设计更好的特征和设计更好的分类器。在特征方面，涌现出了方向梯度直方图(histograms of oriented gradient,HOG)、加速版的具有鲁棒性的特征(speeded up robust fea-tures,SURF)、局部二值模式(local binarypatterns,LBPs)等新特征。在分类器设计方面，提出了Boosting，支持向量机(supportvector machines,SVM)及其改进版本。将SSD检测算法应用到SAR图像舰船目标检测当中，针对SSD检测算法在SAR图像舰船检测中存在鲁棒性差、对小目标检测效果不佳的问题，将融合上下文信息和迁移模型学习技术应用于SSD算法检测中；针对复杂目标背景下舰船目标检测难题，重新设计残差网络单元，提出了改进特征金字塔网络结构的方法，并引入平衡因子优化损失函数中的小目标权重，并可实现实时SAR目标检测问题；提出了一种结合场景分类的分层渐进式近岸区域SAR舰船快速目标检测方法SC-SSD,通过场景分类阶段和目标检测两个阶段在保持较高的检测精度的同时,具有明显更快的检测速度。SSD算法在VOC数据集上取得了不错的检测效果,但是将其直接应用于SAR图像小目标舰船检测时﹐对小目标检测效果不佳的缺点变得更加明显。
综上所述，现有的一些检测SAR图像舰船的方法，对远海的舰船目标检测准确率低，且算法的鲁棒性和泛化性差。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种舰船图像检测方法、装置以及存储介质。
本发明解决上述技术问题的技术方案如下：一种舰船图像检测方法，包括如下步骤：
S1：导入多个原始舰船图像，分别对各个所述原始舰船图像进行标注，得到与各个所述原始舰船图像对应的标注后舰船图像；
S2：按照预设比例对所有的标注后舰船图像进行划分，得到舰船训练集和舰船测试集；
S3：构建训练模型，根据所述舰船训练集对所述训练模型进行训练，得到目标检测模型；
S4：通过所述目标检测模型对所述舰船测试集进行检测，得到舰船图像检测结果。
本发明解决上述技术问题的另一技术方案如下：一种舰船图像检测装置，包括：
图像标注模块，用于导入多个原始舰船图像，分别对各个所述原始舰船图像进行标注，得到与各个所述原始舰船图像对应的标注后舰船图像；
图像划分模块，用于按照预设比例对所有的标注后舰船图像进行划分，得到舰船训练集和舰船测试集；
模型训练模块，用于构建训练模型，根据所述舰船训练集对所述训练模型进行训练，得到目标检测模型；
舰船图像检测结果获得模块，用于通过所述目标检测模型对所述舰船测试集进行检测，得到舰船图像检测结果。
本发明解决上述技术问题的另一技术方案如下：一种舰船图像检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的舰船图像检测方法。
本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的舰船图像检测方法。
本发明的有益效果是：通过分别对各个原始舰船图像的标注得到标注后舰船图像，按照预设比例对所有的标注后舰船图像的划分得到舰船训练集和舰船测试集，构建训练模型，根据舰船训练集对训练模型的训练得到目标检测模型，通过目标检测模型对舰船测试集的检测得到舰船图像检测结果，能够解决传统方法难以对小目标精准检测的问题，且精准并实时的对舰船目标进行检测，有利于提高海域侦察、监视和管控能力，提高了鲁棒性和泛化性。
附图说明
图1为本发明实施例提供的一种舰船图像检测方法的流程示意图；
图2为本发明实施例提供的特征融合子网络的流程示意图；
图3为本发明实施例提供的第一待融合特征图的流程示意图；
图4为本发明实施例提供的第二待融合特征图的流程示意图；
图5为本发明实施例提供的第三待融合特征图的流程示意图；
图6为本发明实施例提供的一种舰船图像检测装置的模块框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1为本发明实施例提供的一种舰船图像检测方法的流程示意图。
如图1所示，一种舰船图像检测方法，包括如下步骤：
S1：导入多个原始舰船图像，分别对各个所述原始舰船图像进行标注，得到与各个所述原始舰船图像对应的标注后舰船图像；
S2：按照预设比例对所有的标注后舰船图像进行划分，得到舰船训练集和舰船测试集；
S3：构建训练模型，根据所述舰船训练集对所述训练模型进行训练，得到目标检测模型；
S4：通过所述目标检测模型对所述舰船测试集进行检测，得到舰船图像检测结果。
优选地，所述预设比例可以为7:3。
应理解地，多个原始舰船图像可以从SSDD数据集和/或SAR-Ship-Dataset数据集中获得。
应理解地，按照7:3的比例分为训练集(即所述舰船训练集)和测试集(即所述舰船测试集)，其标签为ship。
具体地，使用所述目标检测模型提取SAR图像舰船(即所述舰船测试集)的语义信息，也就是检测出远海和近海的舰船。
应理解地，对SAR图像舰船的测试集(即所述舰船测试集)进行预测，会得到相应的远海和近海的SAR图像舰船检测结果。
具体地，加载训练得到的模型(即所述目标检测模型)，对测试的数据集(即所述舰船测试集)进行预测，分别检测到近海和远海的舰船信息，其它的均为背景信息。在进行目标检测之后，为了便于观察目标物体，采用红色的框对目标进行检测，目标舰船是白色的，背景海是黑色的。
上述实施例中，通过分别对各个原始舰船图像的标注得到标注后舰船图像，按照预设比例对所有的标注后舰船图像的划分得到舰船训练集和舰船测试集，构建训练模型，根据舰船训练集对训练模型的训练得到目标检测模型，通过目标检测模型对舰船测试集的检测得到舰船图像检测结果，能够解决传统方法难以对小目标精准检测的问题，且精准并实时的对舰船目标进行检测，有利于提高海域侦察、监视和管控能力，提高了鲁棒性和泛化性。
可选地，作为本发明的一个实施例，所述步骤S1中，分别对各个所述原始舰船图像进行标注，得到与各个所述原始舰船图像对应的标注后舰船图像的过程包括：
利用labelimg工具分别对各个所述原始舰船图像进行图像目标的标注，得到与各个所述原始舰船图像对应的标注后舰船图像。
应理解地，所述labelimg工具是一个可视化的图像标定工具。使用该工具前需配置环境python+lxml。Faster R-CNN，YOLO，SSD等目标检测网络所需要的数据集，均需要借此工具标定图像中的目标，生成的XML文件是遵循PASCAL VOC的格式的。
应理解地，数据集(即多个所述原始舰船图像)采用开源软件labelimg标注，得到每一张图片的标注信息文件xml，并将其整理为VOC格式。
具体地，收集截取的SAR图像舰船图片(即多个所述原始舰船图像)，利用Labelimg标注软件对远海和近海的SAR图像舰船进行多边形标注，标注完会自动生成xml文件，进一步将原图和xml文件输入到安装labelimg根目录下的脚本文件中去生成原图对应的txt文件，由此制作一个SAR图像舰船的目标检测数据集(即多个所述标注后舰船图像)。
上述实施例中，利用labelimg工具分别对各个原始舰船图像的图像目标标注得到标注后舰船图像，为后续的数据处理提供基础的数据支撑，能够对图像中的目标进行标定，提高了对舰船目标检测的准确率。
可选地，作为本发明的一个实施例，所述舰船训练集包括多个舰船训练图像，所述训练模型包括特征融合子网络和卷积子网络；
所述步骤S3的过程包括：
通过所述特征融合子网络分别对各个所述舰船训练图像进行特征融合分析，得到与各个所述舰船训练图像对应的融合特征图；
通过所述卷积子网络分别对各个所述融合特征图进行特征提取，得到与各个所述舰船训练图像对应的特征图集合；
所述特征图集合中的特征图均包括多个像素点，通过各个所述像素点构建多个待筛选预测框；
利用非极大值抑制算法分别对与各个所述舰船训练图像对应的多个待筛选预测框进行筛选，得到与各个所述舰船训练图像对应的多个目标预测框；
导入与各个所述舰船训练图像对应的多个真实框，对所有目标预测框和所有真实框进行损失函数分析，得到目标检测模型。
应理解地，将上述制作好的目标检测数据集(即多个所述舰船训练图像)送入改进的SSD目标检测网络(即所述训练模型)中进行训练，在训练结束后会得到改进SSD模型的权重，重新加载训练得到的权重。
应理解地，所述非极大值抑制算法简称为NMS算法，英文为Non-MaximumSuppression。其思想是搜素局部最大值，抑制极大值。NMS算法在不同应用中的具体实现不太一样，但思想是一样的。非极大值抑制，在计算机视觉任务中得到了广泛的应用，例如边缘检测、人脸检测、目标检测(DPM，YOLO，SSD，Faster R-CNN)等。
具体地，抽取Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2层的featuremap(即所述特征图集合)，然后分别在这些feature map层上面的每一个点(即所述像素点)构造6个不同尺度大小的预测框(bounding box)(即所述待筛选预测框)，最后预测层分别进行检测和分类。将不同feature map获得的预测框(即多个所述待筛选预测框)结合起来，经过NMS(非极大值抑制)方法来抑制掉一部分重叠或者不正确的预测框，生成最终的预测框集合(即多个所述目标预测框)。
应理解地，使用改造的残差模块(即所述特征融合子网络)替换浅层特征层。
上述实施例中，构建训练模型，根据舰船训练集对训练模型的训练得到目标检测模型，减少了训练过程中的信息丢失，提高了对SAR图像舰船小目标的特征提取能力，增加了浅层特征的感受野，有利于提高海域侦察、监视和管控能力。
可选地，作为本发明的一个实施例，如图1至5所示，所述特征融合子网络包括深度可分离卷积层、第一3×3卷积层，第二3×3卷积层、ReLu激活函数层、第一1×1卷积层、第二1×1卷积层和ROUTE特征融合层；
所述通过所述特征融合子网络分别对各个所述舰船训练图像进行特征融合分析，得到与各个所述舰船训练图像对应的融合特征图的过程包括：
通过所述深度可分离卷积层分别对各个所述舰船训练图像进行深度可分离卷积层的特征提取，得到与各个所述舰船训练图像对应的第一待融合特征图；
通过所述第一3×3卷积层分别对各个所述舰船训练图像进行第一3×3卷积层的特征提取，得到与各个所述舰船训练图像对应的第二待融合特征图；
通过所述第一1×1卷积层分别对各个所述舰船训练图像进行降维处理，得到与各个所述舰船训练图像对应的降维后特征图；
通过所述第二3×3卷积层分别对各个所述降维后特征图进行第二3×3卷积层的特征提取，得到与各个所述舰船训练图像对应的特征提取后特征图；
分别对各个所述特征提取后特征图进行归一化处理，得到与各个所述舰船训练图像对应的归一化后特征图；
通过所述ReLu激活函数层分别对各个所述归一化后特征图进行损失的减少，得到与各个所述舰船训练图像对应的减少损失后特征图；
通过所述第二1×1卷积层分别对各个所述减少损失后特征图进行池化处理，得到与各个所述舰船训练图像对应的第三待融合特征图；
通过所述ROUTE特征融合层分别对各个所述第一待融合特征图、与各个所述舰船训练图像对应的第二待融合特征图以及与各个所述舰船训练图像对应的第三待融合特征图进行特征融合，得到与各个所述舰船训练图像对应的融合特征图。
应理解地，利用BN函数分别对各个所述特征提取后特征图进行归一化处理。
应理解地，为了更好的提取目标特征，增加网络深度，提高神经网络对舰船特征的提取，在浅层特征层前设计不同的模块网络训练和特征融合来增强浅层特征的高级语义信息。
应理解地，将传统卷积层(即所述第一3×3卷积层)、深度可分离卷积层(即所述深度可分离卷积层)和改进的卷积层处理的特征图进行特征融合，增强SAR图像舰船目标的特征表达能力﹐视觉感受野增大﹐使得更好的捕捉更深层次的语义信息，更好的检测舰船目标。
具体地，如图2和3所示，1)将训练图片(即所述舰船训练图像)输入深度可分离卷积(即所述深度可分离卷积层),将输入层的信息进行每个通道独立卷积,然后对不同通道在相同位置进行加权特征融合,得到38×38×256的特征图N-Conv4_3(即所述第一待融合特征图)。
2)如图4所示，使用普通3×3的传统卷积(即所述第一3×3卷积层)进行特征提取,得到38×38×256的特征图S-Conv4_3(即所述第二待融合特征图)。
3)如图5所示，将训练图片(即所述舰船训练图像)输入1×1的卷积(即所述第一1×1卷积层)降维，再输入到3×3的卷积层(即所述第二3×3卷积层)进行处理，数据进入激活函数前采用BN函数进行处理，池化后采用1×1的卷积(即所述第二1×1卷积层)匹配维度，得到38×38×256的特征图M-Conv4_3(即所述第三待融合特征图)。
4)将3部分得到的特征N-Conv4_3(即所述第一待融合特征图)、S-Conv4_3(即所述第二待融合特征图)和M-Conv4_3(即所述第三待融合特征图)用YOLOV4中的ROUTE层(即所述ROUTE特征融合层)进行特征融合,得到38x38x512的特征图R-Conv4_3(即所述融合特征图),替代原模型中的浅层特征图Conv4_3。
具体地，基于深度可分离卷积层进行改进，本发明改进的残差块采用ReLU6激活函数处理高维度的特征图，在ReLu激活函数中ReLU6使得训练数据的损失最少，数据在进入每一层激活函数前，采用BN函数进行批量标准化处理。采用跳跃连接的思想起源于微软提出的残差网络(Residual Neural Network，ResNet)结构，同时使用了1×1的卷积降低了参数数目，提高了运算效率，在跳跃连接维度不匹配时，通过1×1的卷积进行同等维度的映射后再相加。卷积残差单元用公式表示为:
y＝F(x，Wi)+Wjx
式中，x和y分别表示层的输入和输出；F(x,Wi)表示学到的残差映射；Wj表示维度匹配映射，表示为跳跃连接，当Wj为单位向量时，需要进行1×1的卷积来匹配维度。
上述实施例中，通过特征融合子网络分别对各个舰船训练图像的特征融合分析得到融合特征图，更好的提取了目标特征，增加了网络深度，增强了浅层特征的高级语义信息，增强了SAR图像舰船目标的特征表达能力，视觉感受野增大，使得更好的捕捉更深层次的语义信息，更好的检测舰船目标。
可选地，作为本发明的一个实施例，所述卷积子网络包括多个顺序排列的卷积层；
所述通过所述卷积子网络分别对各个所述融合特征图进行特征提取，得到与各个所述舰船训练图像对应的特征图集合的过程包括：
通过多个所述卷积层依次提取所述融合特征图的特征，从而得到与各个所述舰船训练图像对应的多个特征提取后融合特征图；
分别将各个所述融合特征图、与各个所述舰船训练图像对应的多个特征提取后融合特征图进行集合，得到与各个所述舰船训练图像对应的特征图集合
应理解地，SSD的基础网络是VGG16，VGG16中的Conv4_3层将作为用于检测的第一个特征图(即所述融合特征图)，其中fc6,fc7被改成卷积层Conv6、Conv7，dropout和fc8被去掉,Conv6用到了膨胀卷积增加感受野，Conv7用于提取特征图。然后新增四个卷积层：Conv8_2，Conv9_2，Conv10_2，Conv11_2作为检测所用的特征图，加上Conv4_3层，共提取了6个特征图。通过所述特征融合子网络分别对各个所述舰船训练图像进行特征融合分析去提取特征图，替换VGG16整个网络提取的特征图。后续的Conv6、Conv7、Conv8_2、Conv9_2、Conv10_2(即所述第五卷积层)、Conv11_2(即所述第六卷积层)网络没有变动。
具体地，多个顺序排列的卷积层包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层和第六卷积层；通过所述第一卷积层分别对各个所述融合特征图进行第一次特征提取，得到与各个所述舰船训练图像对应的第一次特征提取后融合特征图；通过所述第二卷积层分别对各个所述第一次特征提取后融合特征图进行第二次特征提取，得到与各个所述舰船训练图像对应的第二次特征提取后融合特征图；通过所述第三卷积层分别对各个所述第二次特征提取后融合特征图进行第三次特征提取，得到与各个所述舰船训练图像对应的第三次特征提取后融合特征图；通过所述第四卷积层分别对各个所述第三次特征提取后融合特征图进行第四次特征提取，得到与各个所述舰船训练图像对应的第四次特征提取后融合特征图；通过所述第五卷积层分别对各个所述第四次特征提取后融合特征图进行第五次特征提取，得到与各个所述舰船训练图像对应的第五次特征提取后融合特征图；通过所述第六卷积层分别对各个所述第五次特征提取后融合特征图进行第六次特征提取，得到与各个所述舰船训练图像对应的第六次特征提取后融合特征图；根据所述第一次特征提取后融合特征图、所述第二次特征提取后融合特征图、所述第三次特征提取后融合特征图、所述第四次特征提取后融合特征图、所述第五次特征提取后融合特征图和所述第六次特征提取后融合特征图得到多个特征提取后融合特征图。
上述实施例中，通过卷积子网络分别对各个融合特征图的特征提取得到特征图集合，增加了感受野，使得更好的捕捉更深层次的语义信息，更好的检测舰船目标。
可选地，作为本发明的一个实施例，所述对所有目标预测框和所有真实框进行损失函数分析，得到目标检测模型的过程包括：
分别对各个所述目标预测框进行目标预测框的编码，得到与各个所述目标预测框对应的预测框偏移量；
分别对各个所述真实框进行真实框的编码，得到与各个所述真实框对应的真实框偏移量；
利用Softmax函数分别计算各个所述目标预测框的预测概率，得到与各个所述目标预测框对应的多个预测概率；
分别对各个所述预测概率进行预测概率的编码，得到与各个所述预测概率对应的预测概率偏移量；
对所有预测框偏移量、所有真实框偏移量、所有预测概率和所有预测概率偏移量进行损失函数的计算，得到当前迭代次数的损失函数；
判断当前迭代次数的损失函数与上一迭代次数的损失函数之差是否为预设损失函数差值，若是，则将所述训练模型作为目标检测模型；若否，则根据当前迭代次数的损失函数对所述训练模型进行参数更新，参数更新后返回步骤S1。
应理解地，计算所述真实框和预测框(即所述目标预测框)的损失，损失值进行反向传播(即所述损失函数)，梯度计算，更新下一次epoch的参数。
具体地，本发明在训练的过程中设置了早停机制(pat i ence)，训练在某一个epoch时，如果模型效果未提升(训练集损失(即所述损失函数)没有任何变化)，就让模型提前停止训练。
上述实施例中，通过对所有目标预测框和所有真实框的损失函数分析得到目标检测模型，能够解决传统方法难以对小目标精准检测的问题，且精准并实时的对舰船目标进行检测，有利于提高海域侦察、监视和管控能力，提高了鲁棒性和泛化性。
可选地，作为本发明的一个实施例，所述对所有预测框偏移量、所有真实框偏移量、所有预测概率和所有预测概率偏移量进行损失函数的计算，得到当前迭代次数的损失函数的过程包括：
通过第一式对所有预测框偏移量、所有真实框偏移量、所有预测概率和所有预测概率偏移量进行损失函数的计算，得到当前迭代次数的损失函数，所述第一式为：
Figure BDA0003663594150000131
其中，
Figure BDA0003663594150000132
Figure BDA0003663594150000133
其中，
Figure BDA0003663594150000134
Figure BDA0003663594150000135
其中，L(x,c,l,g)为损失函数，c为置信度，l为目标预测框，g为真实框，α为目标预测框与真实框的权重，N为所有目标预测框的数量，
Figure BDA0003663594150000136
Lconf(x,c)为置信度误差，
Figure BDA0003663594150000137
为第i个预测框的预测概率偏移量，Lloc(x,l,g)为位置误差，m为特征图集合中特征图的个数，cx为特征图横坐标，xy为特征图纵坐标，w为特征图宽度，h为特征图高度，i为目标预测框序号，j为真实框序号，
Figure BDA0003663594150000138
为第m个特征图的第i个目标预测框的预测框偏移量，
Figure BDA0003663594150000139
为第m个特征图的第j个真实框的真实框偏移量，
Figure BDA00036635941500001310
为第i个目标预测框对应类别p的预测概率，
Figure BDA00036635941500001311
为第i个目标预测框对应类别p的预测偏移量。
应理解地，所述预测概率为
Figure BDA00036635941500001312
所述预测概率偏移量为
Figure BDA00036635941500001313
应理解地，SSD损失函数定义为位置误差(locatization loss,loc)与置信度误差(confidence loss,conf)的加权和。计算公式如下：
Figure BDA00036635941500001314
其中c代表置信度，l代表预测框，g代表真框，α表示两者的权重。
具体地，对于位置误差(locatization loss,loc)，采用Smooth L1 loss定义，公式如下：
Figure BDA00036635941500001315
i指代预测框序号，j指代真实框序号，
Figure BDA00036635941500001316
指代的是第i个预测框(即所述目标预测框)和第j个所述真实框关于类别k是否匹配。
Figure BDA0003663594150000141
预测框偏移量，
Figure BDA0003663594150000142
真实框的偏移量。
Smooth L1的公式如下：
Figure BDA0003663594150000143
实际计算中x＝g-l，g为真实值(即所述真实框)，l为预测值(即所述目标预测框)。
具体地，对于置信度误差(confidence loss,conf)，公式如下：
Figure BDA0003663594150000144
Figure BDA0003663594150000145
中取1表示此时第i个预测框(即所述目标预测框)和第j个所述真实框IOU大于阈值，此时所述真实框中对象类别为p。
Figure BDA0003663594150000146
表示第i个预测框(即所述目标预测框)对应类别p的预测概率。
上述实施例中，通过第一式对所有预测框偏移量、所有真实框偏移量、所有预测概率和所有预测概率偏移量的损失函数计算得到当前迭代次数的损失函数，更好的提高了训练模型的准确性，提高了模型的鲁棒性和泛化性。
可选地，作为本发明的另一个实施例，现阶段基于SSD算法的SAR图像舰船检测方法，准确性较传统方法提升较多，但SSD算法耗时较长，难以在弹载SAR图像中对舰船目标进行实时地检测定位，并且SSD算法的模型计算量较大，对小目标的检测有偏差，而本发明提出了一种SAR图像检测检测算法，改进SSD算法浅层的网络结构，增加不同模块的网络进行特征融合，减少训练过程中的信息丢失，提高了对SAR图像舰船小目标的特征提取能力，增加了浅层特征的感受野。本发明分别在SSDD、SAR-Ship-Dataset数据集上进行了实验，相比于SSD算法提高了检索的精度和速度。
可选地，作为本发明的另一个实施例，本发明中改进SSD算法，即使用改造的残差模块替换浅层特征层深度，将传统卷积层(即所述第一3×3卷积层)、深度可分离卷积层和改进的卷积层处理的特征图进行特征融合，增强SAR图像舰船目标的特征表达能力﹐视觉感受野增大﹐使得更好的捕捉更深层次的语义信息，更好的检测舰船目标。
可选地，作为本发明的另一个实施例，本发明解决传统方法难以对小目标精准检测的问题。通过改进SSD模型得到SAR图像舰船的语义信息，包括远海与近海的舰船信息，然后对其进行检测分析。舰船作为重要的军事装备和海洋运输载体是需要重点监测，实时的检测舰船有利于提高海域侦察、监视和管控能力。
可选地，作为本发明的另一个实施例，根据SAR图像舰船的目标检测结果，即包括远海和近海的图片，分成两种场景检测的情况来验证改进SSD算法具有的优势，即提高了检索的精度和速度。
可选地，作为本发明的另一个实施例，本发明通过改进SSD算法检测远海和近海的SAR图像舰船信息，因为我国是一个海洋大国，舰船作为重要的军事装备和海洋运输载体是需要重点监测，实时的检测舰船有利于提高海域侦察、监视和管控能力。
可选地，作为本发明的另一个实施例，本发明利用SAR图像舰船目标检测数据集(即所述舰船训练集)送入改进SSD网络中进行训练，训练结束以后会得出这个数据集对应的模型权重。加载训练得到的模型权重，对SAR图像舰船(即所述舰船测试集)进行测试，在进行目标检测之后，为了便于观察目标物体，采用红色的框对检测的舰船目标进行标注，目标舰船是白色的，背景海是黑色的。
可选地，作为本发明的另一个实施例，为了验证本发明的有效性，对SAR图像舰船进行多个网络训练和测试，不同算法的测试结果如表1所示，表1为SAR图像舰船检测结果。
表1
Figure BDA0003663594150000161
图6为本发明实施例提供的一种舰船图像检测装置的模块框图。
可选地，作为本发明的另一个实施例，如图6所示，一种舰船图像检测装置，包括：
图像标注模块，用于导入多个原始舰船图像，分别对各个所述原始舰船图像进行标注，得到与各个所述原始舰船图像对应的标注后舰船图像；
图像划分模块，用于按照预设比例对所有的标注后舰船图像进行划分，得到舰船训练集和舰船测试集；
模型训练模块，用于构建训练模型，根据所述舰船训练集对所述训练模型进行训练，得到目标检测模型；
舰船图像检测结果获得模块，用于通过所述目标检测模型对所述舰船测试集进行检测，得到舰船图像检测结果。
可选地，本发明的另一个实施例提供一种舰船图像检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的舰船图像检测方法。该装置可为计算机等装置。
可选地，本发明的另一个实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的舰船图像检测方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种舰船图像检测方法，其特征在于，包括如下步骤：
S1：导入多个原始舰船图像，分别对各个所述原始舰船图像进行标注，得到与各个所述原始舰船图像对应的标注后舰船图像；
S2：按照预设比例对所有的标注后舰船图像进行划分，得到舰船训练集和舰船测试集；
S3：构建训练模型，根据所述舰船训练集对所述训练模型进行训练，得到目标检测模型；
S4：通过所述目标检测模型对所述舰船测试集进行检测，得到舰船图像检测结果。
2.根据权利要求1所述的舰船图像检测方法，其特征在于，所述步骤S1中，分别对各个所述原始舰船图像进行标注，得到与各个所述原始舰船图像对应的标注后舰船图像的过程包括：
利用labelimg工具分别对各个所述原始舰船图像进行图像目标的标注，得到与各个所述原始舰船图像对应的标注后舰船图像。
3.根据权利要求1所述的舰船图像检测方法，其特征在于，所述舰船训练集包括多个舰船训练图像，所述训练模型包括特征融合子网络和卷积子网络；
所述步骤S3的过程包括：
通过所述特征融合子网络分别对各个所述舰船训练图像进行特征融合分析，得到与各个所述舰船训练图像对应的融合特征图；
通过所述卷积子网络分别对各个所述融合特征图进行特征提取，得到与各个所述舰船训练图像对应的特征图集合；
所述特征图集合中的特征图均包括多个像素点，通过各个所述像素点构建多个待筛选预测框；
利用非极大值抑制算法分别对与各个所述舰船训练图像对应的多个待筛选预测框进行筛选，得到与各个所述舰船训练图像对应的多个目标预测框；
导入与各个所述舰船训练图像对应的多个真实框，对所有目标预测框和所有真实框进行损失函数分析，得到目标检测模型。
4.根据权利要求3所述的舰船图像检测方法，其特征在于，所述特征融合子网络包括深度可分离卷积层、第一3×3卷积层，第二3×3卷积层、ReLu激活函数层、第一1×1卷积层、第二1×1卷积层和ROUTE特征融合层；
所述通过所述特征融合子网络分别对各个所述舰船训练图像进行特征融合分析，得到与各个所述舰船训练图像对应的融合特征图的过程包括：
通过所述深度可分离卷积层分别对各个所述舰船训练图像进行深度可分离卷积层的特征提取，得到与各个所述舰船训练图像对应的第一待融合特征图；
通过所述第一3×3卷积层分别对各个所述舰船训练图像进行第一3×3卷积层的特征提取，得到与各个所述舰船训练图像对应的第二待融合特征图；
通过所述第一1×1卷积层分别对各个所述舰船训练图像进行降维处理，得到与各个所述舰船训练图像对应的降维后特征图；
通过所述第二3×3卷积层分别对各个所述降维后特征图进行第二3×3卷积层的特征提取，得到与各个所述舰船训练图像对应的特征提取后特征图；
分别对各个所述特征提取后特征图进行归一化处理，得到与各个所述舰船训练图像对应的归一化后特征图；
通过所述ReLu激活函数层分别对各个所述归一化后特征图进行损失的减少，得到与各个所述舰船训练图像对应的减少损失后特征图；
通过所述第二1×1卷积层分别对各个所述减少损失后特征图进行池化处理，得到与各个所述舰船训练图像对应的第三待融合特征图；
通过所述ROUTE特征融合层分别对各个所述第一待融合特征图、与各个所述舰船训练图像对应的第二待融合特征图以及与各个所述舰船训练图像对应的第三待融合特征图进行特征融合，得到与各个所述舰船训练图像对应的融合特征图。
5.根据权利要求3所述的舰船图像检测方法，其特征在于，所述卷积子网络包括多个顺序排列的卷积层；
所述通过所述卷积子网络分别对各个所述融合特征图进行特征提取，得到与各个所述舰船训练图像对应的特征图集合的过程包括：
通过多个所述卷积层依次提取所述融合特征图的特征，从而得到与各个所述舰船训练图像对应的多个特征提取后融合特征图；
分别将各个所述融合特征图、与各个所述舰船训练图像对应的多个特征提取后融合特征图进行集合，得到与各个所述舰船训练图像对应的特征图集合。
6.根据权利要求3所述的舰船图像检测方法，其特征在于，所述对所有目标预测框和所有真实框进行损失函数分析，得到目标检测模型的过程包括：
分别对各个所述目标预测框进行目标预测框的编码，得到与各个所述目标预测框对应的预测框偏移量；
分别对各个所述真实框进行真实框的编码，得到与各个所述真实框对应的真实框偏移量；
利用Softmax函数分别计算各个所述目标预测框的预测概率，得到与各个所述目标预测框对应的多个预测概率；
分别对各个所述预测概率进行预测概率的编码，得到与各个所述预测概率对应的预测概率偏移量；
对所有预测框偏移量、所有真实框偏移量、所有预测概率和所有预测概率偏移量进行损失函数的计算，得到当前迭代次数的损失函数；
判断当前迭代次数的损失函数与上一迭代次数的损失函数之差是否为预设损失函数差值，若是，则将所述训练模型作为目标检测模型；若否，则根据当前迭代次数的损失函数对所述训练模型进行参数更新，参数更新后返回步骤S1。
7.根据权利要求6所述的舰船图像检测方法，其特征在于，所述对所有预测框偏移量、所有真实框偏移量、所有预测概率和所有预测概率偏移量进行损失函数的计算，得到当前迭代次数的损失函数的过程包括：
通过第一式对所有预测框偏移量、所有真实框偏移量、所有预测概率和所有预测概率偏移量进行损失函数的计算，得到当前迭代次数的损失函数，所述第一式为：
Figure FDA0003663594140000041
其中，
Figure FDA0003663594140000042
Figure FDA0003663594140000043
其中，
Figure FDA0003663594140000044
Figure FDA0003663594140000045
其中，L(x,c,l,g)为损失函数，c为置信度，l为目标预测框，g为真实框，α为目标预测框与真实框的权重，N为所有目标预测框的数量，
Figure FDA0003663594140000046
Lconf(x,c)为置信度误差，
Figure FDA0003663594140000047
为第i个目标预测框的预测概率偏移量，Lloc(x,l,g)为位置误差，m为特征图集合中特征图的个数，cx为特征图横坐标，xy为特征图纵坐标，w为特征图宽度，h为特征图高度，i为目标预测框序号，j为真实框序号，
Figure FDA0003663594140000048
为第m个特征图的第i个目标预测框的预测框偏移量，
Figure FDA0003663594140000049
为第m个特征图的第j个真实框的真实框偏移量，
Figure FDA00036635941400000410
为第i个目标预测框对应类别p的预测概率，
Figure FDA00036635941400000411
为第i个目标预测框对应类别p的预测偏移量。
8.一种舰船图像检测装置，其特征在于，包括：
图像标注模块，用于导入多个原始舰船图像，分别对各个所述原始舰船图像进行标注，得到与各个所述原始舰船图像对应的标注后舰船图像；
图像划分模块，用于按照预设比例对所有的标注后舰船图像进行划分，得到舰船训练集和舰船测试集；
模型训练模块，用于构建训练模型，根据所述舰船训练集对所述训练模型进行训练，得到目标检测模型；
舰船图像检测结果获得模块，用于通过所述目标检测模型对所述舰船测试集进行检测，得到舰船图像检测结果。
9.一种舰船图像检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，当所述处理器执行所述计算机程序时，实现如权利要求1至7任一项所述的舰船图像检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1至7任一项所述的舰船图像检测方法。
CN202210586436.8A 2022-05-26 2022-05-26 一种舰船图像检测方法、装置以及存储介质 Pending CN115082781A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210586436.8A CN115082781A (zh) 2022-05-26 2022-05-26 一种舰船图像检测方法、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210586436.8A CN115082781A (zh) 2022-05-26 2022-05-26 一种舰船图像检测方法、装置以及存储介质

Publications (1)

Publication Number Publication Date
CN115082781A true CN115082781A (zh) 2022-09-20

Family

ID=83250287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210586436.8A Pending CN115082781A (zh) 2022-05-26 2022-05-26 一种舰船图像检测方法、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN115082781A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471729A (zh) * 2022-11-03 2022-12-13 青岛科技大学 一种基于改进YOLOv5的舰船目标识别方法及系统
CN115953695A (zh) * 2023-01-05 2023-04-11 西安电子科技大学 基于场景特性学习的半监督sar舰船检测方法
CN116469002A (zh) * 2023-03-20 2023-07-21 西安电子科技大学 基于多级特征融合及混合注意力的sar图像舰船目标检测方法
CN117636045A (zh) * 2023-12-07 2024-03-01 湖州练市漆宝木业有限公司 基于图像处理的木材缺陷检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIN FENG等: "Research on Ship Detection in the SAR Image Algorithm Based on Improved SSD", AIPR 2021, 25 February 2022 (2022-02-25), pages 205 - 211 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471729A (zh) * 2022-11-03 2022-12-13 青岛科技大学 一种基于改进YOLOv5的舰船目标识别方法及系统
CN115471729B (zh) * 2022-11-03 2023-08-04 青岛科技大学 一种基于改进YOLOv5的舰船目标识别方法及系统
CN115953695A (zh) * 2023-01-05 2023-04-11 西安电子科技大学 基于场景特性学习的半监督sar舰船检测方法
CN115953695B (zh) * 2023-01-05 2025-07-01 西安电子科技大学 基于场景特性学习的半监督sar舰船检测方法
CN116469002A (zh) * 2023-03-20 2023-07-21 西安电子科技大学 基于多级特征融合及混合注意力的sar图像舰船目标检测方法
CN117636045A (zh) * 2023-12-07 2024-03-01 湖州练市漆宝木业有限公司 基于图像处理的木材缺陷检测系统

Similar Documents

Publication Publication Date Title
CN108288088B (zh) 一种基于端到端全卷积神经网络的场景文本检测方法
Dong et al. Tablesense: Spreadsheet table detection with convolutional neural networks
CN110569738B (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
CN115082781A (zh) 一种舰船图像检测方法、装置以及存储介质
Fan et al. A novel automatic dam crack detection algorithm based on local-global clustering
CN117671480B (zh) 基于视觉大模型的滑坡自动识别方法、系统和计算机设备
CN111680705B (zh) 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN116402763B (zh) 一种引入注意力机制的YOLOv7热轧带钢表面缺陷检测方法
CN110008853A (zh) 行人检测网络及模型训练方法、检测方法、介质、设备
CN118429804B (zh) 基于局部全局特征互补感知模块的遥感图像目标检测方法
CN117671508B (zh) 基于sar图像的高陡边坡滑坡检测方法及系统
CN115410089B (zh) 自适应局部上下文嵌入的光学遥感小尺度目标检测方法
CN115471755A (zh) 基于分割的图像目标快速检测方法
CN114897764A (zh) 基于标准化通道注意力的肺结节假阳性排除方法及装置
Li et al. Lightweight automatic identification and location detection model of farmland pests
CN115203408A (zh) 一种多模态试验数据智能标注方法
Wu et al. Research on asphalt pavement disease detection based on improved YOLOv5s
Shishkin et al. Implementation of yolov5 for detection and classification of microplastics and microorganisms in marine environment
CN108960005B (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统
CN116205918B (zh) 基于图卷积的多模态融合半导体检测方法、装置及介质
CN113887652B (zh) 基于形态和多示例学习的遥感图像弱小目标检测方法
CN114429577A (zh) 一种基于高置信标注策略的旗帜检测方法及系统及设备
Zhao et al. TransWCD: Scene-Adaptive Joint Constrained Framework for Weakly-Supervised Change Detection
CN113128487A (zh) 一种基于双梯度的弱监督目标定位方法及装置
CN119048727A (zh) 一种用于高分辨率图像的小目标检测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220920