CN107506792A - 一种半监督的显著对象检测方法 - Google Patents

Abstract

本发明公开了一种半监督的显著对象检测方法，基于改进的faster rcnn的RPN网络模型，方法包括：S1：对图片中对象框进行初始分割，作为对象的初始ground truth；S2：设置网络；S3：训练网络；S4：对训练图片进行显著对象预测；S5：对训练图片进行超像素分割及超像素级的平滑，并进行二值化操作；S6：利用步骤S5得到的二值化的对象前景谱作为ground truth；S7：重复步骤S3~S6。本发明提出了包含显著预测模块与对象检测模块的联合网络，将显著预测模块的输出与分类模块的中间特征层进行融合，进行联合优化。这种网络结构有效地利用了对象的轮廓信息，辅助网络更加准确地检测出显著对象。

Description

一种半监督的显著对象检测方法

技术领域

本发明涉及显著对象检测的卷积神经网络领域，尤其涉及一种半监督的显著对象检测方法。

背景技术

人类有从图片中感知感兴趣对象的能力。在计算机视觉领域，这种感兴趣的对象被称作显著对象。计算机模仿人的这种能力，从图片中检测出显著对象被称作显著对象检测。显著对象检测已经成为一个热门的领域，因为它可以辅助其它图像处理任务，具有广泛的应用，其应用领域包括对象检测、对象分割、场景理解、图像分类和检索等。

在计算机视觉领域，有许多显著对象检测方法。这些方法可以分为两类：一类是无监督的显著对象检测方法，另一类是有监督的显著对象检测方法。传统的无监督显著对象检测方法通常是基于图像的颜色、亮度、纹理等特征，利用局部对比度、全局对比度或者图像边缘的背景信息来检测显著对象。这些方法在设计上通常基于显著对象在图像中的分布假设，并不能很好地适应显著对象的多样性。例如基于局部对比度的方法不能很好地检测出与图片背景差异小的对象，基于图片边缘背景信息的方法不能较好地检测出位于图像边缘的显著对象。另外，对于场景复杂的图像，无监督方法可能无法准确检测出显著对象，效果不够理想。

相比于无监督方法，有监督的方法，如svm、random tree、DNN等，利用标注的图片训练模型并将训练好的模型用于显著对象检测。这些方法展现出了更好的性能。尤其是基于深度神经网络(DNN)的方法，由于深度神经网络在大规模数据上展现出的性能优势，基于深度神经网络的显著对象检测方法进一步提升了显著对象检测的性能。然而，现有基于深度神经网络的显著对象检测方法是全监督的训练模式，这些方法的性能在很大程度上取决于训练数据的规模。训练图片数量过少容易使网络过拟合，导致较差的检测性能；而要达到理想的检测效果，需要几万甚至上百万的训练数据。与此同时，每一张训练图片都需要人工进行像素级标注，标注过程单调乏味且耗时耗力。因此，要收集理想规模的训练数据，是一件需要消耗大量人力和时间的工作。

发明内容

本发明的目的在于克服现有技术的不足，提供一种半监督的显著对象检测方法，解决现有技术采用全监督的训练模式工作量大的问题。

本发明的目的是通过以下技术方案来实现的：一种半监督的显著对象检测方法，基于改进的faster rcnn的RPN网络模型，所述的RPN网络模型包括对象检测模块和显著预测模块；所述的对象检测模块和显著预测模块的输入端共享一个共享卷积层；

所述的显著预测模块包括一个第一卷积层、一个sigmoid层和三个转置卷积层，共享卷积层的输出端经过第一卷积层输出特征谱，所述的特征谱经过sigmoid层得到一张初始显著预测谱s，所述的初始显著预测谱s经过三个转置卷积层的上采样后输出一张显著预测谱sal；在训练阶段，所述的显著预测模块还包括一个在转置卷积层之后的Euclidean损失层；

所述的对象检测模块包括一个第二卷积层、一个ReLu层和一个全连接层，共享卷积层的输出端顺次与第二卷积层和ReLu层连接，ReLu层输出的特征谱F＝{f₁,f₂,...,f_n}与初始显著预测谱s进行func函数操作后得到显著特征谱FS＝{fs₁,fs₂,...,fs_n}，所述的func函数表示两个矩阵对应元素相乘；全连接层从显著特征谱上提取预测框特征，进行预测框的位置预测和类别预测；

所述的方法包括包括以下步骤：

S1：利用对象框信息，对图片中对象框所在区域进行初始分割，并将分割结果保存，作为对象的初始groundtruth即参考标准；

S2：设置对象检测模块的检测类别数和网络的初始学习率；

S3：训练所述的网络，使用随机梯度下降算法优化网络损失L并更新网络，其中学习率每迭代N次进行更新；

S4：对步骤S3训练完的网络，采用显著预测模块及前面的共享卷积层作为测试网络，对训练图片进行显著对象预测；

S5：对训练图片进行超像素分割，利用超像素分割结果对步骤S4得到的显著预测谱sal进行超像素级的平滑，并对平滑后的谱进行二值化操作，最终得到二值化的对象前景谱；

S6：利用步骤S5得到的二值化的对象前景谱作为groundtruth，替代步骤S1中使用分割方法得到的前景对象区域，并将学习率设置为步骤S3中网络训练结束时学习率的值；

S7：重复步骤S3～S6，直到网络训练达到满意效果。

进一步地，所述的方法还包括：

S8：对训练完成的模型进行测试：采用步骤S4的方式得到测试网络，将测试图像输入到测试网络中，测试网络输出显著对象预测谱，使用步骤S5的方式对显著预测谱进行超像素级平滑。

进一步地，步骤S5中二值化操作为：将高于阈值σ的像素置为1，低于阈值σ的像素置为0；得到的二值化的对象前景谱中，对象区域像素为1，背景区域像素为0。

进一步地，步骤S3中所述的网络损失L的公式为：

式中，前两项表示faster rcnn中RPN网络的两个损失，表示预测框置信度损失，p_i表示第i个预测框包含对象的置信度打分，表示真实类别，表示预测框与真实框间的位置损失，t_i表示第i个预测框的位置坐标，表示真实框的位置坐标，α是权重系数；第三项为显著预测损失，由Euclidean损失层给出，β是权重系数；其中：

式中，gt是一个二值谱，表示图像对象的groundtruth；在初始阶段，gt为对图像对象框区域分割得到的二值谱，N为gt像素的个数。

本发明的有益效果是：本发明提出了一种半监督的显著对象检测方法，将显著谱预测与对象检测联合到同一网络进行优化；利用对象框信息(对象框坐标信息，对象框坐标即为矩形框在图片中左上角与右下角的坐标)得到初始分割结果作为不准确的标注，计算显著预测谱的预测损失；同时，利用对象检测时对象的结构信息和轮廓信息，将显著预测谱加入到检测模块中，得到更加准确的显著预测谱；另外，训练该网络只需要利用对象框位置信息，避免了对数据库图片进行像素级标注，节省了图片标注的时间消耗，减轻了人工标注时的工作量。

附图说明

图1为本发明训练阶段示意图；

图2为本发明测试阶段示意图；

图3为本发明方法流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案：一种半监督的显著对象检测方法，基于改进的faster rcnn的RPN网络模型，如图1所示，所述的RPN网络模型包括对象检测模块和显著预测模块；所述的对象检测模块和显著预测模块的输入端共享一个共享卷积层；共享卷积层包含多层卷积层。

所述的显著预测模块包括一个第一卷积层、一个sigmoid层和三个转置卷积层。其中，第一个卷积层的卷积核大小为1*1，stride为1，pad为[0，0，0，0]，卷积核个数为1，该层的输出为一张特征谱，与前一层(即共享卷积层的最后一层卷积层)输出大小一致。该特征谱随后经过一个sigmoid层，得到一张初始显著预测谱s，s内像素值的取值范围为[0，1]；为了得到与输入图像im大小一致的显著预测谱，本发明在sigmoid层后添加了三个转置卷积层，目的是对显著预测谱进行上采样。前两个转置卷积层的上采样因子为2，第三个转置卷积层的上采样因子为4。经过三个转置卷积层，显著预测模块输出一张显著预测谱sal，sal的大小与输入图像im大小一致，sal内像素的取值范围为[0，1]。在训练阶段，显著预测模块在转置卷积层后加入一个Euclidean损失层。该层损失函数由公式(1)给出：

其中，gt是一个二值谱，表示图像对象的groundtruth。在初始阶段，gt为对图像对象框区域分割得到的二值谱。N为gt像素的个数。这里假设对象框与显著对象有一个非常紧致的贴合。在这一前提下，加入上述损失的目的是要让预测谱sal内的前景与对象框尽量一致，同时也要求前景的像素值尽量为1，提高预测的准确度。

所述的对象检测模块在RPN网络的卷积层和全连接层之间加入了第二卷积层和ReLu层。第二卷积层的卷积核大小为1*1，stride为1，pad为[0，0，0，0]，卷积核个数与前一层的卷积核个数一致。这样可以使本层输出的特征谱与前一层的输出在大小和个数上保持一致，从而不需要对后续的全连接层进行改动。ReLu层输出的特征谱F＝{f₁,f₂,...,f_n}与初始显著预测谱s进行如下操作：

fs_i＝func(f_i,s) (2)

其中，函数func表示两个矩阵对应元素相乘，第i张特征谱f_i与s经过func函数，得到对应的显著特征谱fs_i。全连接层从显著特征谱FS＝{fs₁,fs₂,...,fs_n}上提取预测框特征，进行预测框的位置预测和类别预测。特征谱F是一种中层语义的特征表示，每张谱表示对象的某个特征信息，如对象的部件信息或者是特定的纹理信息等。在上述操作中，初始显著预测谱s可以被看作是一张mask谱，通过将初始显著预测谱s与特征谱F进行对应元素相乘，能够滤除对象之外的背景信息，可以更加准确地检测对象；同时，在检测对象时，能够利用对象本身的结构信息，更好地辅助显著对象预测模块预测显著谱。

在训练阶段，本发明所提网络的损失函数由公式(3)给出：

损失函数L包含三项损失，第三项为显著预测损失，如公式(1)所示。β为权重系数，设置为1。损失函数L的前两项和表示faster rcnn中RPN网络的两个损失。p_i表示第i个预测框包含对象的置信度打分，表示真实类别，如果包含对象则＝1，否则为0。表示预测框置信度损失。t_i表示第i个预测框的位置坐标，表示真实框的位置坐标，表示预测框与真实框间的位置损失。α是权重系数，与RPN网络一样，α设置为1。

如图3所示，所述的方法包括包括以下步骤：

S1：利用对象框信息，对图片中对象框所在区域进行初始分割，并将分割结果保存，作为对象的初始ground truth即参考标准；在本实施例中，使用Graphcut方法对图片中对象框所在区域进行初始分割；而在另外一个实施例中不限于使用Graphcut方法，任何分割方法都可以采用。

S2：将对象检测模块中检测类别数设置为2(对象为1，背景为0)。设置网络的初始学习率，将学习率设置为0.001。

S3：训练所述的网络，使用随机梯度下降算法优化网络损失L并更新网络，其中学习率每迭代2*10⁴次乘以0.1；

S4：对步骤S3训练完的网络，采用显著预测模块及前面的共享卷积层作为测试网络，对训练图片进行显著对象预测；

S5：对训练图片进行超像素分割，在本实施例中，使用slic方法对训练图片进行超像素分割；超像素分割方法不限于slic方法。然后利用超像素分割结果对步骤S4得到的显著预测谱sal进行超像素级的平滑，并对平滑后的谱进行二值化操作：将高于阈值σ的像素置为1，低于阈值σ的像素置为0，在本实施例中，阈值σ被设置为0.3；最终得到二值化的对象前景谱，对象区域像素为1，背景区域像素为0。

S6：利用步骤S5得到的二值化的对象前景谱作为ground truth，替代步骤S1中使用分割方法得到的前景对象区域，并将学习率设置为步骤S3中网络训练结束时学习率的值；

S7：重复步骤S3～S6，直到网络训练达到满意效果。在本实施例中，当当前显著预测谱与上次预测结果平均像素差值小于10^-3时，即可停止训练。

更优地，在本实施例中，如图2所示，所述的方法还包括：

S8：对训练完成的模型进行测试：采用步骤S4的方式得到测试网络，将测试图像输入到测试网络中，测试网络输出显著对象预测谱，使用步骤S5的方式对显著预测谱进行超像素级平滑。

Claims (4)

1.一种半监督的显著对象检测方法，基于改进的faster rcnn的RPN网络模型，其特征在于：所述的RPN网络模型包括对象检测模块和显著预测模块；所述的对象检测模块和显著预测模块的输入端共享一个共享卷积层；

所述的显著预测模块包括一个第一卷积层、一个sigmoid层和三个转置卷积层，共享卷积层的输出端经过第一卷积层输出特征谱，所述的特征谱经过sigmoid层得到一张初始显著预测谱s，所述的初始显著预测谱s经过三个转置卷积层的上采样后输出一张显著预测谱sal；在训练阶段，所述的显著预测模块还包括一个在转置卷积层之后的Euclidean损失层；

所述的对象检测模块包括一个第二卷积层、一个ReLu层和一个全连接层，共享卷积层的输出端顺次与第二卷积层和ReLu层连接，ReLu层输出的特征谱F＝{f₁,f₂,...,f_n}与初始显著预测谱s进行func函数操作后得到显著特征谱FS＝{fs₁,fs₂,...,fs_n}，所述的func函数表示两个矩阵对应元素相乘；全连接层从显著特征谱上提取预测框特征，进行预测框的位置预测和类别预测；

所述的方法包括包括以下步骤：

S1：利用对象框信息，对图片中对象框所在区域进行初始分割，并将分割结果保存，作为对象的初始groundtruth即参考标准；

S2：设置对象检测模块的检测类别数和网络的初始学习率；

S3：训练所述的网络，使用随机梯度下降算法优化网络损失L并更新网络，其中学习率每迭代N次进行更新；

S4：对步骤S3训练完的网络，采用显著预测模块及前面的共享卷积层作为测试网络，对训练图片进行显著对象预测；

S5：对训练图片进行超像素分割，利用超像素分割结果对步骤S4得到的显著预测谱sal进行超像素级的平滑，并对平滑后的谱进行二值化操作，最终得到二值化的对象前景谱；

S6：利用步骤S5得到的二值化的对象前景谱作为groundtruth，替代步骤S1中使用分割方法得到的前景对象区域，并将学习率设置为步骤S3中网络训练结束时学习率的值；

S7：重复步骤S3～S6，直到网络训练达到满意效果。

2.根据权利要求1所述的一种半监督的显著对象检测方法，其特征在于：所述的方法还包括：

S8：对训练完成的模型进行测试：采用步骤S4的方式得到测试网络，将测试图像输入到测试网络中，测试网络输出显著对象预测谱，使用步骤S5的方式对显著预测谱进行超像素级平滑。

3.根据权利要求1所述的一种半监督的显著对象检测方法，其特征在于：步骤S5中二值化操作为：将高于阈值σ的像素置为1，低于阈值σ的像素置为0；得到的二值化的对象前景谱中，对象区域像素为1，背景区域像素为0。

4.根据权利要求1所述的一种半监督的显著对象检测方法，其特征在于：步骤S3中所述的网络损失L的公式为：

<mrow> <mi>L</mi> <mo>=</mo> <msub> <mi>L</mi> <mrow> <mi>c</mi> <mi>l</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>,</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;alpha;L</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>,</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;beta;</mi> <mi>L</mi> <mrow> <mo>(</mo> <mi>s</mi> <mi>a</mi> <mi>l</mi> <mo>,</mo> <mi>g</mi> <mi>t</mi> <mo>)</mo> </mrow> </mrow>

式中，前两项表示faster rcnn中RPN网络的两个损失，表示预测框置信度损失，p_i表示第i个预测框包含对象的置信度打分，表示真实类别，表示预测框与真实框间的位置损失，t_i表示第i个预测框的位置坐标，表示真实框的位置坐标，α是权重系数；第三项为显著预测损失，由Euclidean损失层给出，β是权重系数；其中：

<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>s</mi> <mi>a</mi> <mi>l</mi> <mo>,</mo> <mi>g</mi> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>N</mi> </mrow> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <msup> <mrow> <mo>(</mo> <msub> <mi>sal</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>gt</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>

式中，gt是一个二值谱，表示图像对象的groundtruth；在初始阶段，gt为对图像对象框区域分割得到的二值谱，N为gt像素的个数。