CN114299303A - 一种船舶目标检测方法、终端设备及存储介质 - Google Patents

Abstract

本发明涉及一种船舶目标检测方法、终端设备及存储介质，该方法中包括：S1：采集船舶图像组成训练集；S2：构建基于改进CenterNet网络的船舶目标检测模型并进行训练；模型中首先采用ResNeXt‑50网络进行下采样，并在32倍下采样得到的特征层后添加一个基于空洞残差卷积的空洞编码器DE；其次采用FPN网络进行上采样后得到4倍下采样的特征图；最后基于4倍下采样的特征图，通过回归预测网络进行回归预测，预测得到关键点热力图和对应的中心点偏移量及目标框尺寸两个属性；S3：通过训练后的船舶目标检测模型对待检测图像进行船舶目标检测。本发明提高了检测准确率，降低了船舶误识别、小目标船舶漏检概率。

Description

一种船舶目标检测方法、终端设备及存储介质

技术领域

本发明涉及目标检测领域，尤其涉及一种船舶目标检测方法、终端设备及存储介质。

背景技术

随着水上航运的快速发展，往来船舶流量增加，水上交通监管难度增大，利用视觉目标检测技术弥补人力监管的局限性，完善船舶监管系统具有重要意义。传统目标检测方法如背景建模法难以准确检测出船舶目标，而卷积神经网络具备强大的特征表征能力，因此，基于卷积神经网络的船舶目标检测算法成为主要研究趋势。目前主流目标检测算法为基于锚框(Anchor-based)的两级式Faster R-CNN算法和单级式SSD算法、YOLOV3算法，并且大量应用在船舶目标检测领域，具有较好的检测效果。Anchor-based检测算法主要通过预设anchors穷举图像中目标的潜在位置，再从中回归出目标的正确位置，但船舶数据集中目标形状和尺寸不同，设计合理的anchors比较困难，并且anchor机制会产生正负训练样本不均衡，训练难度大，计算冗余等问题。近年来，无锚框式(Anchor-free)目标检测算法逐渐发展并受到广泛关注，如CornerNet、CenterNet(Object as point)和FCOS检测算法，anchor-free检测算法优势在于不需要预设锚框，而是通过关键点—角点或中心点的检测对目标进行定位，同时对形状属性进行回归得到目标边界框。

发明内容

为了解决上述问题，本发明提出了一种船舶目标检测方法、终端设备及存储介质。

具体方案如下：

一种船舶目标检测方法，包括以下步骤：

S1：采集用于训练船舶目标检测模型的船舶图像组成训练集；

S2：构建基于改进CenterNet网络的船舶目标检测模型，并通过训练集对模型进行训练；

船舶目标检测模型中首先采用ResNeXt-50网络进行下采样，并在32倍下采样得到的特征层后添加一个基于空洞残差卷积的空洞编码器DE；其次采用FPN网络进行上采样后得到4倍下采样的特征图；最后基于4倍下采样的特征图，通过回归预测网络进行回归预测，预测得到关键点热力图和对应的中心点偏移量及目标框尺寸两个属性；

S3：通过训练后的船舶目标检测模型对待检测图像进行船舶目标检测。

进一步的，空洞编码器的网络结构包含两个部分，分别是预处理层和空洞残差层，预处理层首先通过1×1卷积对输入通道进行降维，然后通过3×3卷积细化上下文信息，空洞残差层连续堆叠了4个扩张率依次为2、4、6、8的空洞残差块。

进一步的，采用FPN网络进行上采样时，在以32倍下采样到16倍下采样过程中，首先将32倍下采样特征图通过2倍最近邻插值进行上采样，然后通过1×1卷积调整32倍下采样层和16倍下采样层的特征图通道数，经相加后通过3×3卷积进行特征融合。

进一步的，用于得到关键点热力图、中心点偏移量和目标框尺寸的回归预测网络中的三个分支中均采用一个3×3卷积和一个1×1卷积进行。

进一步的，构建空洞编码器、FPN网络和回归预测网络时均采用LeakyRelu激活函数。

进一步的，船舶目标检测模型的损失函数L_det的计算公式为：

L_det＝L_kp+L_offset+γ_sizeL_size

其中，L_kp表示关键点热力图的损失函数，L_offset表示中心点偏移量的损失函数，L_size表示目标框尺寸的损失函数，γ_size表示尺寸损失调节系数，用于抑制过大的目标框尺寸。

进一步的，关键点热力图的损失函数L_kp的计算公式为：

其中，α和β均表示超参数，N表示图像中的关键点数量，K_xyc表示高斯核，

表示标签热力图，c表示船舶类别，

分别表示目标映射在标签热力图中的中心点位置的x轴坐标和y轴坐标，x、y分别表示中心点附近负样本的x轴坐标和y轴坐标，δ_p表示尺度自适应方差。

进一步的，中心点偏移量的损失函数L_offset和目标框尺寸的损失函数L_size采用L1损失函数。

一种船舶目标检测终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。

本发明采用如上技术方案，可以对各类别船舶检测平均精确率均有不同程度的提升，并且降低了船舶误识别、小目标船舶漏检概率，对于水上船舶监控应用具有重要意义。

附图说明

图1所示为本发明实施例一的流程图。

图2所示为该实施例中船舶目标检测模型的网络结构示意图。

图3所示为该实施例中ResNeXt-50网络模块示意图，其中图3(a)表示ResNeXt基础模块，图3(b)表示ResNeXt简化基础模块。

图4所示为该实施例中空洞编码器的网络结构示意图。

图5所示为该实施例中FPN上采样网络多尺度特征融合过程示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

本发明实施例提供了一种船舶目标检测方法，如图1所示，所述方法包括以下步骤：

S1：采集用于训练船舶目标检测模型的船舶图像组成训练集。

该实施例中采用公开的用于船舶目标检测的数据集，即SeaShips数据集，其主要针对内河环境下来往的船舶，其中有6类船舶，共7000张船舶图像，包含1750张训练集、1750张验证集和3500张测试集。

为了满足实际场景船舶目标检测应用，该实施例中使用相机和无人机在某水域附件采集船舶图像和视频，并从中挑选了1500张船舶图像，其中包含4类船舶，主要为客船、渔船、少量普通货船和集装箱船，利用LabelImg进行标注，制作成与SeaShips中数据相同格式，将自制数据集命名为Gu-SeaShips，并划分出500张训练集、250张验证集和250张测试集，添加进SeaShips，增加船舶训练样本多样性，将扩充后数据集命名为SeaShips++。

S2：构建基于改进CenterNet网络的船舶目标检测模型，并通过训练集对模型进行训练。

CenterNet算法在构建模型时将目标视为一个点对象，因此不需要预设锚框，从而将检测问题简化为对关键点的检测问题。该算法首先通过特征提取网络获得一个高分辨率特征图；然后从该特征图预测得到关键点热力图，并回归出中心点偏移量和目标框尺寸两个属性；最后对关键点热力图进行3×3最大池化处理，选择置信度值大于设定阈值的局部峰值点作为目标中心点，并联合对应中心点偏移量和目标框尺寸生成预测结果。由于CenterNet中采用最大池化方式对局部区域关键点进行了筛选，因此并未对预测框进行非极大值抑制(Non-Maximum Suppression，NMS)后处理。

CenterNet算法的特征提取网络中使用了三种不同的编码-解码网络结构。其中，Hourglass-104和DLA-34网络构建方式复杂，且Hourglass-104参数量较大。为了平衡检测精度与速度，本实施例中选择在ResDCN网络的基础上进行改进。ResDCN网络采用ResNeXt-50网络对图像进行32倍下采样，然后采用可变形卷积(Deformable Convolution，DCN)与反卷积(Deconvolution)的组合进行3次上采样，最终得到4倍下采样的特征图。ResDCN网络仅利用深层特征信息构建输出特征层，忽视了浅层的细节信息，网络结构简单，但对中小目标的检测能力不足，检测精度不高。为了提升算法检测效果，本实施例中提出了如图2所示的结合空洞编码器(DE)和FPN特征融合的算法框架，该算法首先采用特征提取能力更强的ResNeXt-50网络来提取输入船舶图像特征，其次采用空洞编码器扩充32倍下采样特征图的感受野，生成覆盖多个目标尺度的特征图，然后通过FPN网络进行上采样，在上采样过程中融合空洞编码器生成的32倍下采样特征图和原16倍、8倍和4倍下采样特征图，最后从上采样得到的4倍下采样特征图中回归预测出关键点热力图、对应中心点偏移量和目标框尺寸，并根据这3个信息获得目标预测结果。

(1)ResNeXt-50下采样网络

ResNeXt网络是ResNet网络的优化版本，在图像分类领域具有比ResNet网络更高的识别准确率，并且网络复杂度低，超参数少，模型移植方便。ResNeXt网络延用了ResNet网络的残差思想，并吸收了Inception网络的拆分-转换-合并(Split-Transform-Merge，STM)思想。如图3所示，ResNet网络中残差分支采用单路径卷积，而ResNeXt网络的残差分支将其拆分为如图3(a)中所示多路径卷积，路径数量由变量基数(Cardinality)确定，每个路径具有相同的卷积拓扑结构，同时对输入特征进行特征转换，然后合并所有路径卷积输出得到残差分支的输出。ResNeXt基础模块的计算公式为：

式中：x为输入特征，C为基数，指基础模块中拆分路径数量，T_i(x)为每个卷积拓扑分支的卷积变换形式。

参考AlexNet网络中分组卷积(Grouped Convolution)实现方式，可以得到如图3(b)中所示ResNeXt简化基础模块，通过设定分组基数和每组输入输出通道数，分组卷积可以获得与图3(a)中多路径卷积相同输出，从而降低了网络复杂度。

假设输入船舶图像尺寸为512×512，利用ResNeXt简化基础模块构建得到ResNeXt-50船舶检测下采样网络结构如表1所示，表格中C为分组基数。

表1

(2)空洞编码器

当特征图的感受野和目标尺度相匹配时，检测效果较好，因此，为了检测尺度范围变化较大的目标，通常采用多输出的方式来对目标进行检测，如SSD和YOLOv3算法，利用多个特征图上的多个感受野覆盖多个尺度的目标，通过特征图数量上的优势获得了比较好的检测效果。空洞编码器通过堆叠空洞残差块来扩充特征图的感受野，从而覆盖更广的目标尺度范围，在每个空洞残差块中，残差分支通过空洞卷积增大感受野，这个感受野覆盖的尺度范围扩大，但相对于原目标尺度范围发生了偏移，因此，将原始特征图和扩大感受野的特征图相加就能得到覆盖更广范围尺度的特征图。

从结构上来看，以ResDCN为特征提取网络的CenterNet中心点检测算法属于单输入单输出的检测方式，因此本实施例中引入空洞编码器来增大ResNeXt-50网络32倍下采样特征图的感受野，从而提升不同尺度下船舶目标的检测准确率。空洞编码器结构如图4所示，它包含两个部分，分别是预处理层和空洞残差层，预处理层首先通过1×1卷积对输入通道进行降维，然后通过3×3卷积细化上下文信息，空洞残差层连续堆叠了4个扩张率依次为2、4、6、8的空洞残差块，通过扩张率的提升不断增大感受野，从而提升特征图覆盖的尺度范围。

(3)FPN特征融合

ResDCN网络通过可变形卷积和反卷积的组合对ResNet网络提取到的深层特征—32倍下采样特征层进行卷积来构建上采样层。其中，可变形卷积可以根据目标形状调整尺度和感受野，本质上是自适应特征增强，能够提取到更好的特征；反卷积是为了获得更高分辨率的特征图，从而能够预测得到更准确的目标中心点位置，但该特征图仅具有深层语义信息，忽视了浅层特征图中包含的细节信息，检测精度不高。

因此，为了提升算法检测效果，本实施例中采用FPN网络进行上采样，将ResNeXt-50提取到的深层特征图中的语义信息和浅层特征图中的细节信息融合来得到上采样特征图，与传统FPN不同，改进算法仅在最终得到的特征图上进行回归预测。利用FPN上采样网络进行多尺度特征融合过程如图5所示，以32倍下采样到16倍下采样为例，上采样过程首先将32倍下采样特征图通过2倍最近邻插值进行上采样，然后通过1×1卷积调整32倍下采样层和16倍下采样层的特征图通道数，经相加后通过3×3卷积进行特征融合，按照这种方式，经过3次上采样之后可以得到4倍下采样的高分辨率特征图。其中，将空洞编码器(DE)扩充感受野生成的特征图注入FPN网络进一步丰富了FPN特征融合得到的语义信息。

(4)基于4倍下采样的特征图，通过回归预测网络进行回归预测，预测得到关键点热力图(K分支)和对应的中心点偏移量(O分支)及目标框尺寸(S分支)两个属性。回归预测网络中，每个分支均使用一个3×3卷积和一个1×1卷积进行。

(5)构建空洞编码器、FPN网络和回归预测网络时均采用LeakyRelu激活函数。

船舶目标检测模型的损失函数L_det的计算公式为：

L_det＝L_kp+L_offset+γ_sizeL_size

其中，L_kp表示关键点热力图的损失函数，L_offset表示中心点偏移量的损失函数，L_size表示目标框尺寸的损失函数，γ_size表示尺寸损失调节系数，用于抑制过大的目标框尺寸，该实施例中设为0.1。

在关键点热力图预测对应的K分支下，假设输入的船舶图像为I∈R^W×H×3，预测生成的关键点热力图为

其中，W和H为输入的船舶图像尺寸中的宽度和高度，通常为512×512和384×384两种，r为下采样步长，通常为4，C为船舶类别，在本实施例中设定C为6，K^*＝1表示预测结果为船舶目标，K^*＝0表示预测结果为背景。

假设p为图像I中目标真实中心点，并且p^～为p/r的向下取整，采用高斯核将中心点映射到关键点热力图上，使得生成的标签热力图K_xyc中，每个正样本中心点位置的值为1，附近负样本的值呈高斯分布。高斯核生成标签热力图的计算公式为：

式中，

为尺度自适应方差，

分别表示目标映射在标签热力图中的中心点位置的x轴坐标和y轴坐标，x、y分别表示中心点附近负样本的x轴坐标和y轴坐标。

关键点热力图的损失L_kp采用改进Focal loss进行训练：

式中，α和β为Focal loss中的超参数，分别为2和4，N为图像I中关键点数量。相比Focal loss，改进Focal loss的在负样本损失中增加了系数(1-K_xyc)^β，是为了抑制热力图高斯中心点附近负样本的损失。

在中心点偏移量O分支，预测生成的中心点偏移量为

图像下采样引起的实际离散化误差为o_p＝p/R-p^～，使用L1损失进行中心点偏移量的训练：

在目标框尺寸S分支，预测生成的目标框宽高为

假设

为船舶目标k的真实目标框，可知该目标中心点位置为

该方法使用关键点估计来生成中心点，并回归出对象k的目标框宽高为

使用L1损失进行目标框尺寸训练：

S3：通过训练后的船舶目标检测模型对待检测图像进行船舶目标检测。

本发明实施例采用基于分组卷积的ResNeXt-50网络进行下采样，提取更有效的船舶图像特征，然后引入基于空洞残差网络的空洞编码器增大输出特征图的感受野，生成覆盖多个目标尺度的特征图，以适应不同尺度下的船舶目标检测，并采用特征金字塔网络以特征融合方式进行上采样，将空洞编码器增强后的深层特征图与浅层特征图融合，从而提取得到包含丰富船舶特征信息的预测特征图。

实施例二：

本发明还提供一种船舶目标检测终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述船舶目标检测终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述船舶目标检测终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述船舶目标检测终端设备的组成结构仅仅是船舶目标检测终端设备的示例，并不构成对船舶目标检测终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述船舶目标检测终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述船舶目标检测终端设备的控制中心，利用各种接口和线路连接整个船舶目标检测终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述船舶目标检测终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述船舶目标检测终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (10)

1.一种船舶目标检测方法，其特征在于，包括以下步骤：

S1：采集用于训练船舶目标检测模型的船舶图像组成训练集；

S2：构建基于改进CenterNet网络的船舶目标检测模型，并通过训练集对模型进行训练；

船舶目标检测模型中首先采用ResNeXt-50网络进行下采样，并在32倍下采样得到的特征层后添加一个基于空洞残差卷积的空洞编码器DE；其次采用FPN网络进行上采样后得到4倍下采样的特征图；最后基于4倍下采样的特征图，通过回归预测网络进行回归预测，预测得到关键点热力图和对应的中心点偏移量及目标框尺寸两个属性；

S3：通过训练后的船舶目标检测模型对待检测图像进行船舶目标检测。

2.根据权利要求1所述的船舶目标检测方法，其特征在于：空洞编码器的网络结构包含两个部分，分别是预处理层和空洞残差层，预处理层首先通过1×1卷积对输入通道进行降维，然后通过3×3卷积细化上下文信息，空洞残差层连续堆叠了4个扩张率依次为2、4、6、8的空洞残差块。

3.根据权利要求1所述的船舶目标检测方法，其特征在于：采用FPN网络进行上采样时，在以32倍下采样到16倍下采样过程中，首先将32倍下采样特征图通过2倍最近邻插值进行上采样，然后通过1×1卷积调整32倍下采样层和16倍下采样层的特征图通道数，经相加后通过3×3卷积进行特征融合。

4.根据权利要求1所述的船舶目标检测方法，其特征在于：用于得到关键点热力图、中心点偏移量和目标框尺寸的回归预测网络中的三个分支中均采用一个3×3卷积和一个1×1卷积进行。

5.根据权利要求1所述的船舶目标检测方法，其特征在于：构建空洞编码器、FPN网络和回归预测网络时均采用LeakyRelu激活函数。

6.根据权利要求1所述的船舶目标检测方法，其特征在于：船舶目标检测模型的损失函数L_det的计算公式为：

L_det＝L_kp+L_offset+γ_sizeL_size

其中，L_kp表示关键点热力图的损失函数，L_offset表示中心点偏移量的损失函数，L_size表示目标框尺寸的损失函数，γ_size表示尺寸损失调节系数，用于抑制过大的目标框尺寸。

7.根据权利要求6所述的船舶目标检测方法，其特征在于：关键点热力图的损失函数L_kp的计算公式为：

其中，α和β均表示超参数，N表示图像中的关键点数量，K_xyc表示高斯核，

表示标签热力图，c表示船舶类别，

分别表示目标映射在标签热力图中的中心点位置的x轴坐标和y轴坐标，x、y分别表示中心点附近负样本的x轴坐标和y轴坐标，δ_p表示尺度自适应方差。

8.根据权利要求6所述的船舶目标检测方法，其特征在于：中心点偏移量的损失函数L_offset和目标框尺寸的损失函数L_size采用L1损失函数。

9.一种船舶目标检测终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～8中任一所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～8中任一所述方法的步骤。

Images