CN109684956A - 一种基于深度神经网络的车辆损伤检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的车辆损伤检测方法及系统，包括：选择原始图片，对原始图片提取特征图；判断特征图的锚点框为前景或背景，并修正锚点框，获得候选区域；基于特征图和候选区域获取候选区域特征图；将候选区域特征图送入RCNN层，判断候选区域为前景或背景，并修正候选区域；其中：判断特征图的锚点框为前景或背景的判断方法为：计算锚点框与所有标注真值区域的交集与锚点框的比值，若比值高于阈值则认定为前景，否则认定为背景。本发明在前景背景样本选取时做了方法改进，提出了适用于多种复合视觉特征形态的目标正负样本筛选方法，使得训练过程更加容易和稳定；在车辆外观损伤检测中能获得较高的目标召回率和正确率。

Description

一种基于深度神经网络的车辆损伤检测方法及系统

技术领域

本发明涉及车辆损伤检测技术领域，具体涉及一种基于深度神经网络的车辆损伤检测方法及系统。

背景技术

在车辆外观图片损伤识别系统中，需要对车辆近景图(车辆外观图片损伤识别过程中用户近距离拍摄车辆损伤图片)的损伤先进行目标检测，再做损伤类型及程度识别，目前采用了Faster Rcnn这样的经典Two Stage的目标检测方法。

Faster Rcnn是2016年提出的目标检测框架，直到现在依然是主流的目标检测框架之一。在结构上，Faster Rcnn已经将特征提取(feature extraction)，提议区域提取(region proposal)，边框回归(bounding box regression)和分类(classification)都整合在了一个网络中，使得综合性能有较大提高。但是原始的、不做任何改动的Faster Rcnn是比较适用于一些单一视觉形态的物体目标检测，例如行人，汽车等，但不太适用于复合视觉形态的物体目标检测，例如缺陷检测等。

Faster Rcnn检测框架检测出的目标位置都是矩形，对检测目标的正负样本定义是按照IOU方法(目标检测中通常使用的一个概念，交集与并集的比值)来定义的，通过比较阈值来判定该候选区域是否是正样本，这对于非固定视觉特征，复合形态特征的物体目标不适用。而车辆损伤是个复合形成过程，一种损伤形态可以是多种损伤形态的叠加，导致候选区域正负样本的判别出现错误。

例如，如图1所示的车辆车门损伤，小框中的物体区域与大框真值的IOU指标通常是小于阈值被判定为负样本，但在另外的汽车损伤样本中同样的视觉特征物体区域则可能会判定为正样本，因此IOU方法是不太合适的。

发明内容

针对上述问题中存在的不足之处，本发明提供一种基于深度神经网络的车辆损伤检测方法及系统，可以更好的提高损伤检测精度。

本发明提供一种基于深度神经网络的车辆损伤检测方法，包括：

选择原始图片，对原始图片提取特征图；

判断所述特征图的锚点框为前景或背景，并修正所述锚点框，获得候选区域；

基于所述特征图和候选区域获取候选区域特征图；

将所述候选区域特征图送入RCNN层，判断候选区域为前景或背景，并修正候选区域；

其中：

所述判断所述特征图的锚点框为前景或背景的判断方法为：

计算所述锚点框与所有标注真值区域的交集与所述锚点框的比值，若所述比值高于阈值则认定为前景，否则认定为背景。

作为本发明的进一步改进，所述判断候选区域为前景或背景的判断方法为：

计算所述候选区域与所有标注真值区域的交集与所述候选区域的比值，若所述比值高于阈值则认定为前景，否则认定为背景。

作为本发明的进一步改进，所述对原始图片提取特征图，包括：

车辆外观损伤检测系统通过VGG或ResNet基础特征提取框架来提取车辆损伤图像的特征图。

作为本发明的进一步改进，所述判断所述特征图的锚点框为前景或背景，并修正所述锚点框，包括：

Faster Rcnn的RPN层通过softmax判断所述特征图的锚点框为前景或背景，并通过边框回归器修正所述锚点框。

作为本发明的进一步改进，所述修正候选区域，包括：

通过边框回归器修正候选区域。

本发明还提供一种基于深度神经网络的车辆损伤检测系统，包括：

特征提取模块，用于选择原始图片，对原始图片提取特征图；

候选区域提取模块，用于判断所述特征图的锚点框为前景或背景，并修正所述锚点框，获得候选区域；所述判断所述特征图的锚点框为前景或背景的判断方法为：计算所述锚点框与所有标注真值区域的交集与所述锚点框的比值，若所述比值高于阈值则认定为前景，否则认定为背景；

池化模块，用于基于所述特征图和候选区域获取候选区域特征图；

判断模块，用于将所述候选区域特征图送入RCNN层，判断候选区域为前景或背景，并修正候选区域。

作为本发明的进一步改进，所述判断候选区域为前景或背景的判断方法为：

计算所述候选区域与所有标注真值区域的交集与所述候选区域的比值，若所述比值高于阈值则认定为前景，否则认定为背景。

作为本发明的进一步改进，所述对原始图片提取特征图，包括：

车辆外观损伤检测系统通过VGG或ResNet基础特征提取框架来提取车辆损伤图像的特征图。

作为本发明的进一步改进，所述判断所述特征图的锚点框为前景或背景，并修正所述锚点框，包括：

Faster Rcnn的RPN层通过softmax判断所述特征图的锚点框为前景或背景，并通过边框回归器修正所述锚点框。

作为本发明的进一步改进，所述修正候选区域，包括：

通过边框回归器修正候选区域。

与现有技术相比，本发明的有益效果为：

本发明在前景背景样本选取时做了方法改进，提出了适用于多种复合视觉特征形态的目标正负样本筛选方法，使得训练过程更加容易和稳定；在车辆外观损伤检测中能获得较高的目标召回率和正确率，同时也适用于一些视觉特征不固定的物体目标检测。

附图说明

图1为现有车辆车门的损伤图；

图2为本发明一种实施例公开的基于深度神经网络的车辆损伤检测方法的流程图；

图3为本发明一种实施例公开的基于深度神经网络的车辆损伤检测系统的框架图；

图4为本发明一种实施例公开的查询框大于真值框的示意图；

图5为本发明一种实施例公开的查询框小于真值框的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述：

本发明提供一种基于深度神经网络的车辆损伤检测方法及系统，其提出一种新的定义损伤正负样本方法SIOQ，SIOQ定义为：查询区域与真值区域的交集累积和与查询区域的比值；其可以更好的提高损伤检测精度。

如图2所示，本发明提供一种基于深度神经网络的车辆损伤检测方法，包括：

S1、选择原始图片，对原始图片提取特征图；具体为：

选择车辆损伤图片，车辆外观损伤检测系统通过VGG或ResNet等基础特征提取框架(卷积层+激活层+池化层)提取车辆损伤图像的特征图，该特征图被共享用于后续RPN层的全连接层。

S2、判断特征图的锚点框为前景或背景，并修正锚点框，获得候选区域；具体为：

基于Faster Rcnn的RPN层通过softmax判断特征图的锚点框为前景或背景，并通过边框回归器修正锚点框，从而获得精确的候选区域。

其中：

判断特征图的锚点框为前景或背景的判断方法为：

计算锚点框与所有标注真值区域的交集与锚点框的比值，若比值高于阈值则认定为前景，否则认定为背景。

S3、基于特征图和候选区域获取候选区域特征图；具体的：

池化层收集输入的特征图和候选区域，综合特征图和候选区域的信息后提取候选区域特征图。

S4、将候选区域特征图送入RCNN层，判断候选区域为前景或背景，并通过边框回归器修正候选区域，做位置精调整；其中：

判断候选区域为前景或背景的判断方法为：

计算候选区域与所有标注真值区域的交集与候选区域的比值，若比值高于阈值则认定为前景，否则认定为背景。

如图3所示，本发明提供一种基于深度神经网络的车辆损伤检测系统，包括：

特征提取模块，用于选择原始图片，对原始图片提取特征图；具体为：

选择车辆损伤图片，车辆外观损伤检测系统通过VGG或ResNet等基础特征提取框架(卷积层+激活层+池化层)提取车辆损伤图像的特征图，该特征图被共享用于后续RPN层的全连接层。

候选区域提取模块，用于判断特征图的锚点框为前景或背景，并修正锚点框，获得候选区域；具体为：

基于Faster Rcnn的RPN层通过softmax判断特征图的锚点框为前景或背景，并通过边框回归器修正锚点框，从而获得精确的候选区域。

其中：

判断特征图的锚点框为前景或背景的判断方法为：

计算锚点框与所有标注真值区域的交集与锚点框的比值，若比值高于阈值则认定为前景，否则认定为背景。

池化模块，用于基于特征图和候选区域获取候选区域特征图；具体的：

池化层收集输入的特征图和候选区域，综合特征图和候选区域的信息后提取候选区域特征图。

判断模块，用于将候选区域特征图送入RCNN层，判断候选区域为前景或背景，并通过边框回归器修正候选区域，做位置精调整；其中：

判断候选区域为前景或背景的判断方法为：

计算候选区域与所有标注真值区域的交集与候选区域的比值，若比值高于阈值则认定为前景，否则认定为背景。

如图4所示，判断“查询框”属于前景还是背景时，IOU值等于A∩C/A∪C，SIOQ值等于(A∩C+B∩C)/C，从图4可以看出，当前查询框的SIOQ值高于IOU值，因此设置阈值时，IOU值会将该查询框当做背景，而SIOQ值比较高，通过SIOQ值高于阈值条件将该“查询框”剔除，不参与训练过程。

如图5所示，判断“查询框”属于前景还是背景时，IOU值等于A∩C/A∪C，SIOQ值等于A∩C/A，从图5可以看出，当前查询框的SIOQ值高于IOU值，因此设置阈值时，IOU值会将该查询框当做背景，显然对于损伤来说，位于真值框内的“查询框”不能保证一定是背景，通过SIOQ值高于阈值将该“查询框”剔除，不参与训练过程。

因此，从上述描述来看，背景类别的样本采用SIOQ方法选取，可以有效降低背景类别中的错误样本比例，在训练过程中，前景类别的样本仍然可以采用IOU方法来计算选取，当IOU高于阈值时，该“查询框”则一定属于前景目标。

本发明的优点为：

本发明在前景背景样本选取时做了方法改进，提出了适用于多种复合视觉特征形态的目标正负样本筛选方法，使得训练过程更加容易和稳定；在车辆外观损伤检测中能获得较高的目标召回率和正确率，同时也适用于一些视觉特征不固定的物体目标检测。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度神经网络的车辆损伤检测方法，其特征在于，包括：

选择原始图片，对原始图片提取特征图；

判断所述特征图的锚点框为前景或背景，并修正所述锚点框，获得候选区域；

基于所述特征图和候选区域获取候选区域特征图；

将所述候选区域特征图送入RCNN层，判断候选区域为前景或背景，并修正候选区域；

其中：

所述判断所述特征图的锚点框为前景或背景的判断方法为：

计算所述锚点框与所有标注真值区域的交集与所述锚点框的比值，若所述比值高于阈值则认定为前景，否则认定为背景。

2.如权利要求1所述的基于深度神经网络的车辆损伤检测方法，其特征在于，所述判断候选区域为前景或背景的判断方法为：

计算所述候选区域与所有标注真值区域的交集与所述候选区域的比值，若所述比值高于阈值则认定为前景，否则认定为背景。

3.如权利要求1所述的基于深度神经网络的车辆损伤检测方法，其特征在于，所述对原始图片提取特征图，包括：

车辆外观损伤检测系统通过VGG或ResNet基础特征提取框架来提取车辆损伤图像的特征图。

4.如权利要求1所述的基于深度神经网络的车辆损伤检测方法，其特征在于，所述判断所述特征图的锚点框为前景或背景，并修正所述锚点框，包括：

Faster Rcnn的RPN层通过softmax判断所述特征图的锚点框为前景或背景，并通过边框回归器修正所述锚点框。

5.如权利要求1所述的基于深度神经网络的车辆损伤检测方法，其特征在于，所述修正候选区域，包括：

通过边框回归器修正候选区域。

6.一种基于深度神经网络的车辆损伤检测系统，其特征在于，包括：

特征提取模块，用于选择原始图片，对原始图片提取特征图；

候选区域提取模块，用于判断所述特征图的锚点框为前景或背景，并修正所述锚点框，获得候选区域；所述判断所述特征图的锚点框为前景或背景的判断方法为：计算所述锚点框与所有标注真值区域的交集与所述锚点框的比值，若所述比值高于阈值则认定为前景，否则认定为背景；

池化模块，用于基于所述特征图和候选区域获取候选区域特征图；

判断模块，用于将所述候选区域特征图送入RCNN层，判断候选区域为前景或背景，并修正候选区域。

7.如权利要求1所述的基于深度神经网络的车辆损伤检测系统，其特征在于，所述判断候选区域为前景或背景的判断方法为：

计算所述候选区域与所有标注真值区域的交集与所述候选区域的比值，若所述比值高于阈值则认定为前景，否则认定为背景。

8.如权利要求1所述的基于深度神经网络的车辆损伤检测系统，其特征在于，所述对原始图片提取特征图，包括：

车辆外观损伤检测系统通过VGG或ResNet基础特征提取框架来提取车辆损伤图像的特征图。

9.如权利要求1所述的基于深度神经网络的车辆损伤检测系统，其特征在于，所述判断所述特征图的锚点框为前景或背景，并修正所述锚点框，包括：

Faster Rcnn的RPN层通过softmax判断所述特征图的锚点框为前景或背景，并通过边框回归器修正所述锚点框。

10.如权利要求1所述的基于深度神经网络的车辆损伤检测系统，其特征在于，所述修正候选区域，包括：

通过边框回归器修正候选区域。