CN107145905A - 电梯紧固螺帽松动的图像识别检测方法 - Google Patents

Abstract

本发明提出了一种电梯紧固螺帽松动的图像识别检测方法，包括：S1，通过训练足量拧紧的保险杠螺栓正样本图像得到各螺帽间最佳距离允许阈值和最佳校准配对候选形状；S2，通过BING算法选择出若干候选框，并根据颜色值滤出多余候选框；S3，对保留的候选框进行边缘检测，得到螺栓颜色标记部分的边缘闭合形状；S4，根据边缘几何形状以及距离判断螺栓是否发生松动。

Description

电梯紧固螺帽松动的图像识别检测方法

技术领域

本发明涉及计算机控制领域，尤其涉及一种电梯紧固螺帽松动的图像识别检测方法。

背景技术

电梯是一种以电动机为动力的升降机装置，在现代化和高速化的今天，广泛服务于人类社会中多层建筑之间的人或货物运输。近几年，频繁发生的电事故引起社会关注，保证电梯正常运行，关心乘车人人身安全势在必行，因此就电梯运行中的保险杠螺栓松动检测研究，保证设备的安全可靠运行具有重要意义。

传统螺栓检测包括人工检测和自动检测两大类。人工检测是指配备专门的工作人员定期以肉眼观测螺栓是否有松动。此种方法简单易行，不需要依靠复杂的设备。但此方法的缺点一是效率低，劳动强度大，检测人员易疲劳；二是较大地依赖工作人员的专业素质和工作态度，检测质量难以得到保障。

第二大类方法是利用装置或者内置算法自动检测螺栓的松动。加入探测器的螺栓松动检测方法是通过检测器读取传感器发出的信号，当螺母出现松动时便会带着主动轮转动，，当从动齿轮表面的金属涂层所在区域转到传感器安装槽的上方时，便会挡住传感器向探测器发出的信号，从而便能探测出紧固件出现松动。

比较常用内置算法的是利用螺栓旋转角度来考虑保险杠螺栓的松动。一般做法是在螺栓连接部位画出一条连续垂直清晰的标记，当螺栓发生松动时必然使得螺栓之间的角度发生变化，此时提取照片并检测标记之间的角度即可检测出螺栓是否松动，但是此方法在螺栓刚好旋转整数圈时就故障排除效果不佳。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种

为了实现本发明的上述目的，本发明提供了一种电梯紧固螺帽松动的图像识别检测方法，包括：

S1，通过训练足量拧紧的保险杠螺栓正样本图像得到各螺帽间最佳距离允许阈值和最佳校准配对候选形状；

S2，通过BING算法选择出若干候选框，并根据颜色值滤出多余候选框；

S3，对保留的候选框进行边缘检测，得到螺栓颜色标记部分的边缘闭合形状；

S4，根据边缘几何形状以及距离判断螺栓是否发生松动。

所述的电梯紧固螺帽松动的图像识别检测方法，优选的，所述S1包括：

S1-1，通过足量拧紧的保险杠螺栓正样本图像得到各螺帽间的微小间距，螺帽校准形状水平对齐和垂直对齐平均允许误差，以及校准配对候选形状几何、颜色信息，训练得到最佳距离允许阈值和最佳校准配对候选形状。

所述的电梯紧固螺帽松动的图像识别检测方法，优选的，所述S2通过BING算法选择出若干候选框包括：

S2-1，BING算法中首先选定标注目标位置的样本图像生成不同尺度的正负样本，并将各样本尺寸缩放至固定8×8大小；在该尺寸下，螺栓纹理、局部形状等细节特征将丢失，只保留对象的边界梯度轮廓特征；物体轮廓梯度值更高，与其周围背景区域形成强烈对比；

S2-2，其次利用线性支持向量机训练正负样本集，获得目标似物性检测模板；一个与目标对象同大小的像素尺寸候选框更有可能表达该目标对象，因此该模板同样保证为64维的8×8大小；然后利用打分系统机制，计算每个尺度下的滤波得分并排序，利用非极大值抑制算法(Non-maximum suppression，NMS)消除局部冗余；

S2-3，最后在原始图像中找到打分点对应的候选框大小并保存。

所述的电梯紧固螺帽松动的图像识别检测方法，优选的，所述S2-3包括：

a：BING对各尺寸样本计算梯度特征，根据梯度特征匹配得到一组带有滤波得分的候选框，滤波得分s_l定义如下：

s_(i,x,y)＝＜w,G_(i,x,y)＞，

其中，w为训练获得的模型参数，G_(i,x,y)是尺度为i的位置坐标(x,y)的图像框缩放至小尺寸下的NG(Normed Gradients)特征，符号“<，>”表示内积运算；w，G都为矩阵；

对于每一个像素的梯度幅值计算，采用Prewitt算子方式获得：

g_(i,x,y)＝min{|g_x|+|g_y|,255}，其中g(i,x,y)表示尺度i的位置坐标(x,y)每一个像素梯度幅值，g_x为X坐标的像素梯度幅值，g_y为Y坐标的像素梯度幅值；

由于滤波分数会因为尺寸的不同而存在偏差，因此当对最终候选得分重排序时需要校准得到最终不同尺寸带有的候选窗组得分，定义对象性得分o_l如下：

其中，v_i是尺寸i下的独立学习系数，t_i表示尺寸i的偏移量；

获得的候选框不仅仅应该具有全局范围内的最高得分，还应该具有邻域最高得分，以避免由于最高窗口得分过于集中某一区域而可能导致人脸漏检的现象；因此利用非极大值约束算法选择边缘点，从而使得最终候选窗口具有全局较高得分的同时，还具备邻域得分最高。

所述的电梯紧固螺帽松动的图像识别检测方法，优选的，所述S2包括：

为提高计算速度，加速特征提取和测试过程，模板与特征的二值化近似过程的具体步骤如下：

特征二值化：由于梯度幅值取值范围[0，255]，因此利用如下公式方式进行二进制比特流替换；

其中，b_k∈{0,1}表示第k位二进制值，N_g表示选取的二进制位个数，由于后四位值对梯度影响并不大；

将8×8每点对应的第k位联合表示成二进制流b_k∈{0,1}⁶⁴；因此对应8×8矩阵区域有：

模板二值化：对于w为训练获得的模型参数，则看作多个基向量的组合，近似表示为其中，β_j表示第j个基向量的系数，a_j表示第j个基向量，a_j∈{-1,1}⁶⁴，N_w表示基向量个数，将a_j转化到[0，1]范围：

故w表示为：

式s_(i,x,y)＝＜w,G_(i,x,y)＞的二值化公式表达如下：

其中指代将a_j向量中的负值置为零，正值则不变。

所述的电梯紧固螺帽松动的图像识别检测方法，优选的，所述模板w的过程包括：

输入：初始化的基向量ε，

输出：模板w，

所述的电梯紧固螺帽松动的图像识别检测方法，优选的，还包括：

为消除多余的选框，具体实现如下：

(1)将所有框的得分降序排列，选中最高分及其对应的框，

(2)遍历其余的框，如果和当前最高分框的重叠面积(IOU)大于一定阈值，我们就将框删除，

(3)从未处理的框中继续选一个得分最高的，重复上述过程。

所述的电梯紧固螺帽松动的图像识别检测方法，优选的，所述S3还包括：

S3-1，利用Canny对候选区域进行边缘检测，先用2D高斯滤波模板进行卷积以消除图像噪声，对滤波后的图像中的每个像素点计算其梯度小大和方向，通过梯度方向找到该像素梯度方向的邻接像素，最后通过非最大抑制以及阈值化和边缘链接得到螺栓边缘闭合形状曲线，计算边缘闭合形状的面积；

S3-2，算法过程如下：

采用2D高斯滤波模板进行卷积降噪中使用的size＝5的高斯内核如下：

计算像素点的幅度和方向，这里按照Sobel滤波器的步骤进行介绍：

a.运用一对卷积阵列，分别作用于x,y方向，阵列

b.使用下列公式计算梯度值和方向：

梯度方向近似到四个可能角度之一；

沿幅角方向检测模值的极大值点，即边缘点，遍历像素点，把每个像素偏导值与相邻像素的模值比较，取其最大值为边缘点，置像素灰度值为0；

S3-3，用双用双阈值算法检测和连接边缘：

a.对非极大值抑制图像作用两个阈值th₁和th₂，两者关系th₁＝0.4th₂；我们把梯度值小于th₁的像素的灰度值设为0，得到图像1；然后把梯度值小于th₂的像素的灰度值设为0，得到图像2；由于图像2的阈值较高，去除大部分噪音，但同时也损失了有用的边缘信息；而图像1的阈值较低，保留了较多的信息，我们可以以图像2为基础，以图像1为补充来连结图像的边缘；

b.链接边缘的具体步骤如下：

对图像2进行扫描，当遇到一个非零灰度的像素p(x,y)时，跟踪以p(x,y)为开始点的轮廓线，直到轮廓线的终点q(x,y)；考察图像1中与图像2中q(x,y)点位置对应的点s(x,y)的8邻近区域；如果在s(x,y)点的8邻近区域中有非零像素s(x,y)存在，则将其包括到图像2中，作为r(x,y)点；从r(x,y)开始，重复第一步，直到我们在图像1和图像2中都无法继续为止；

当完成对包含p(x,y)的轮廓线的连结之后，将这条轮廓线标记为已经访问；回到第一步，寻找下一条轮廓线；重复第一步、第二步、第三步，直到图像2中找不到新轮廓线为止；

至此，完成canny算子的边缘检测，得到螺栓红色标记部分的两个边缘闭合形状。

所述的电梯紧固螺帽松动的图像识别检测方法，优选的，所述S4包括：

S4-1，计算螺栓两个红色标记部分的边缘闭合形状，并与正样本中闭合形状进行比较，当闭合形状的面积与正样本相差较多，或者只有一个闭合形状，那么认为螺栓发生松动；

S4-2，在满足几何形状的前提下，再来判断两闭合形状的中间距离是否在所允许的阈值范围内，如果在阈值范围了，则认为螺栓没有发生松动，如果不满足，则认定螺栓发生了松动。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

从角度和几何形状两个方面一起来判断螺栓是否发生松动，进一步提高了检测的准确率。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明电梯运行中保险扛螺栓松动检测方法流程图；

图2是本发明电梯运行中保险扛螺栓松动检测方法螺栓拧紧和松动的示意图；

图3是利用canny算法完成边缘检测的步骤图；

图4A为边缘方向示意图，图4B为8邻域幅角方向示意图；

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提供了一种电梯运行中保险扛螺栓松动的检测方法，创新性地从距离和几何形状的角度来解决螺栓松动识别不精确问题。

为了实现本发明的上述目的，本发明提供了一种电梯运行中保险扛螺栓松动的检测方法，包括：

步骤1：通过训练足量拧紧的保险杠螺栓正样本图像得到各螺帽间最佳距离允许阈值和最佳校准配对候选形状；

步骤2：通过BING算法选择出若干候选框，并根据颜色值滤出多余候选框。

步骤3：对保留的候选框进行边缘检测，得到螺栓颜色标记部分的边缘闭合形状；

步骤4：根据边缘几何形状以及距离判断螺栓是否发生松动。

上述技术方案的有益效果为：本发明提出的螺栓检测方法，从几何形状和距离两个标准较为全面的对螺栓松动做出了检测，该方法具有较高的准确率，并且能够进行自动检测，省时省力，提高了螺栓松动检测的针对性，保证设备的安全可靠运行；本发明不需要添置任何设备，只需要定时拍摄螺栓图片传至处理端即可实时检测出螺栓是否松动，并且能及时报警。

所述的电梯运行中保险扛螺栓松动检测方法，优选的，所述步骤1包括：

步骤1-1通过足量拧紧的保险杠螺栓正样本图像得到各螺帽间的微小间距，螺帽校准形状水平对齐和垂直对齐平均允许误差，以及校准配对候选形状几何、颜色信息，训练得到最佳距离允许阈值和最佳校准配对候选形状；

上述技术方法的有益效果为：通过训练正样本得到最佳允许阈值和最佳校准匹配候选形状，对螺栓松动提供了较为准确的判断标注，提高了螺栓松动的查准率和查全率。

所述的电梯运行中保险扛螺栓松动检测方法，优选的，所述步骤2包括：

步骤2-1，利用BING算法检测出螺栓候选框区域，

(1)BING算法中首先选定标注目标位置的样本图像生成不同尺度的正负样本，并将各样本尺寸缩放至固定8×8大小。在该尺寸下，螺栓纹理、局部形状等细节特征将丢失，只保留对象的边界梯度轮廓特征。物体轮廓梯度值更高，与其周围背景区域形成强烈对比。

(2)其次利用线性支持向量机训练正负样本集，获得目标似物性检测模板。一个与目标对象同大小的像素尺寸候选框更有可能表达该目标对象，因此该模板同样保证为64维的8×8大小。然后利用打分系统机制，计算每个尺度下的滤波得分并排序，利用非极大值抑制算法(Non-maximum suppression，NMS)消除局部冗余。

(3)最后在原始图像中找到打分点对应的候选框大小并保存。

a：BING对各尺寸样本计算梯度特征，根据梯度特征匹配得到一组带有滤波得分的候选框，滤波得分s_l定义如下：

s_(i,x,y)＝＜w,G_(i,x,y)＞

其中，w为训练获得的模型参数(后文简称模板w)，G_(i,x,y)为尺度为i、位置坐标为(x,y)的图像框缩放至小尺寸下的NG特征，这里采用8×8尺寸。而符号“<，>”表示内积运算。

对于每一个像素的梯度幅值计算，这里采用第二章介绍的Prewitt算子方式获得：

g_(i,x,y)＝min{|g_x|+|g_y|,255}

由于滤波分数会因为尺寸的不同而存在偏差，例如在10×80的窗口中存在人脸的可能性远远小于尺寸为30×30的窗口中。因此当对最终候选得分重排序时需要校准得到最终不同尺寸带有的候选窗组得分，定义对象性得分o_l如下：

其中，v_i是尺寸i下的独立学习系数和t_i表示尺寸i的偏移量。

获得的候选框不仅仅应该具有全局范围内的最高得分，还应该具有邻域最高得分，以避免由于最高窗口得分过于集中某一区域而可能导致人脸漏检的现象。因此利用非极大值约束算法选择边缘点，从而使得最终候选窗口具有全局较高得分的同时，还具备邻域得分最高。

为提高计算速度，加速特征提取和测试过程，模板与特征的二值化近似过程的具体步骤如下：

1、特征二值化：由于梯度幅值取值范围[0，255]，因此可利用如下公式方式进行二进制比特流替换。

其中，b_k∈{0,1}表示第k位二进制值，N_g表示选取的二进制位个数，由于后四位值对梯度影响并不大，为进一步加速运算，这里N_g＝4，只保留高四位数值。以数值122为例，二值化后为01111010，保留高四位数值为0111。

扩展至8×8的区域来说，共存在64个梯度幅值，每点的梯度幅值都可用二进制比特流。现将8×8每点对应的第k位联合表示成二进制流b_k∈{0,1}⁶⁴。因此对应8×8矩阵区域有：

2、模板二值化：对于模板w，则可看作多个基向量的组合，近似表示为其中，β_j表示第j个基向量的系数，a_j表示第j个基向量，a_j∈{-1,1}⁶⁴，N_w表示基向量个数，这里取2。为处理方便，将a_j转化到[0，1]范围：

故w可表示为：

模板w的具体计算流程如下：

综上，式s_(i,x,y)＝＜w,G_(i,x,y)＞的二值化公式表达如下：

b：利用非极大值抑制应用十分广泛，在这里是为看消除多余的选框，具体实现如下：

(1)将所有框的得分降序排列，选中最高分及其对应的框，

(2)遍历其余的框，如果和当前最高分框的重叠面积(IOU)大于一定阈值，我们就将框删除，

(3)从未处理的框中继续选一个得分最高的，重复上述过程。

上述技术方法的有益效果为：利用BING算法可以将所有与正样本梯度值相接近区域标记出来，并结合NMS消除一部分不满足要求的区域。

步骤2-2：根据螺栓中标记的颜色值范围再滤除一部分候选框，得到包含螺栓的最佳候选框；

在实际场景中，需要在螺栓链接部位画出一条宽约1厘米的清晰且垂直的红色条形框，并且能够保持长时间不褪色，划线标记操作简单，应用成本低，可以对后面的自动识别起到很大的辅助作用。在此实验中，红色标记区域的RGB三颜色均值分别为119.37，43.45和53.73，因此我们可以限定当候选框内物体RGB满足三色范围时，才认为这个候选框包含螺栓区域。

螺栓上红色标记区域的RGB三色范围如下：

根据RGB三色范围值即可滤除没有包含此颜色信息的候选框，得到最佳候选框。

上述技术方法的有益效果为：经过步骤2所得到的的候选框只是与正样本有相似梯度值的区域，而并且包含螺栓部分的区域，因此采样颜色标记的方法可以进一步滤出颜色信息不符合的区域。

所述的电梯运行中保险扛螺栓松动检测方法，优选的，所述步骤3包括：

步骤3-1，利用Canny对候选区域进行边缘检测，先用2D高斯滤波模板进行卷积以消除图像噪声，对滤波后的图像中的每个像素点计算其梯度小大和方向，通过梯度方向找到该像素梯度方向的邻接像素，最后通过非最大抑制以及阈值化和边缘链接得到螺栓边缘闭合形状曲线，计算边缘闭合形状的面积。算法过程如下：

(1)采用2D高斯滤波模板进行卷积降噪中使用的size＝5的高斯内核如下：

(2)计算像素点的幅度和方向，这里按照Sobel滤波器的步骤进行介绍：

a.运用一对卷积阵列(分别作用于x,y方向)

b.使用下列公式计算梯度值和方向：

梯度方向近似到四个可能角度之一(一般0，45，90，135度)

(3)仅仅得到全局的梯度并不足以确定边缘，因此为确定边缘，必须保留局部梯度最大的点。非极大值抑制算法(Non-maximum suppression，NMS)的本质是搜索局部极大值，抑制非极大值元素。

图4A为边缘方向示意图，图4B为8邻域幅角方向示意图；

如图4所示，沿幅角方向检测模值的极大值点，即边缘点，遍历8个方向像素点，把每个像素偏导值与相邻像素的模值比较，取其最大值为边缘点，置像素灰度值为0。

(4)用双用双阈值算法检测和连接边缘：

a.对非极大值抑制图像作用两个阈值th₁和th₂，两者关系th₁＝0.4th₂。我们把梯度值小于th₁的像素的灰度值设为0，得到图像1。然后把梯度值小于th₂的像素的灰度值设为0，得到图像2。由于图像2的阈值较高，去除大部分噪音，但同时也损失了有用的边缘信息。而图像1的阈值较低，保留了较多的信息，我们可以以图像2为基础，以图像1为补充来连结图像的边缘。

b.链接边缘的具体步骤如下：

对图像2进行扫描，当遇到一个非零灰度的像素p(x,y)时，跟踪以p(x,y)为开始点的轮廓线，直到轮廓线的终点q(x,y)。考察图像1中与图像2中q(x,y)点位置对应的点s(x,y)的8邻近区域。如果在s(x,y)点的8邻近区域中有非零像素s(x,y)存在，则将其包括到图像2中，作为r(x,y)点。从r(x,y)开始，重复第一步，直到我们在图像1和图像2中都无法继续为止。

当完成对包含p(x,y)的轮廓线的连结之后，将这条轮廓线标记为已经访问。回到第一步，寻找下一条轮廓线。重复第一步、第二步、第三步，直到图像2中找不到新轮廓线为止。

至此，完成canny算子的边缘检测，得到螺栓红色标记部分的两个边缘闭合形状。

上述技术方法的有益效果为：当图片中存在颜色信息与螺栓上所标记的颜色信息相近的时候，就不能很好的判断到底哪一个是包含有螺栓区域的样本。因此要结合边缘检测计算出候选框所含物体的边缘几何形状与正样本所包含的几何形状相比较，以更进一步滤出不满足条件的候选框，最终找到螺栓所在区域。

所述的电梯运行中保险扛螺栓松动检测方法，优选的，所述步骤1包括：

步骤4-1，计算螺栓两个红色标记部分的边缘闭合形状，并与正样本中闭合形状进行比较，当闭合形状的面积与正样本相差较多，或者只有一个闭合形状，那么认为螺栓发生松动。

步骤4-2，在满足几何形状的前提下，再来判断两闭合形状的中间距离是否在所允许的阈值范围内，如果在阈值范围了，则认为螺栓没有发生松动，如果不满足，我们则认为螺栓发生了松动。

上述技术方法的有益效果为：从几何角度以及距离两个方面结合了判断螺栓是否发生了松动，能够从一定程度上减少误检和漏检的概率，从而提升整个算法的工程应用价值。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

(1)内置检测程序，能够自动检测螺栓松动情况，避免人工检测的低效率，并且在检测出螺栓发生松动时能第一时间报警，避免了由于螺栓松动所带来的安全隐患；

(2)该套方案不需要购买其他辅助设备，只需将程序内置到单片机中，省事省力，并且是一种较为经济的方案。

(3)该套螺栓松动检测算法从几何形状及距离两个方面对螺栓进行松动检测，能以较大的概率检测出松动情况，具有较低的漏检率和误检。

本发明公开一种电梯运行中保险杠螺栓松动检测方法，包括：

步骤1：通过训练足量拧紧的保险杠螺栓正样本图像得到各螺帽间最佳距离允许阈值和最佳校准配对候选形状；

步骤2：通过BING算法选择出若干候选框，并根据颜色值滤出多余候选框。

步骤3：对保留的候选框进行边缘检测，得到螺栓颜色标记部分的边缘闭合形状；

步骤4：根据边缘几何形状以及距离判断螺栓是否发生松动。

如图1所示，当采样拍照模式时，基于几何形状及中心距离的螺栓松动加测方法由以下步骤组成：

S1、计算正样本图片的螺栓区域的几何形状以及两标记部位的中心距离，确定几何形状以及距离阈值。

S2、于电梯井壁或者管井架设固定的摄像机，对螺栓所在区域持续拍摄图片。

通常电梯中的螺栓的位置是固定不变的，摄像头所拍摄的图片具有较为固定的背景，这对于后面的自动检测具有辅助作用。本发明综合考虑楼层层高、电梯移动速度、摄像机视角广度、摄像机帧率、终端存储容量等因素，选取适当的时间间隔进行拍摄。

S3、利用BING算法对所拍摄的图片进行相关处理，提取出符合相关要求的候选框。

为了更好的对螺栓松动进行检测，首先输入螺栓未松动的正样本图片，获取此区域的相关信息，其次将待检测图片送至处理器，利用BING算法挑选出与正样本信息相似的候选框。完成后，再结合非极大值抑制算法滤出置信度较低的候选框，为保证后面检测的顺利进行。

S4：上一步骤所获得的候选框通常较多，因此再利用螺栓所标记的颜色信息来进一步滤出一部分候选框。

首选取得正样本中螺栓红色标记部分的RGB平均值，并根据此值设置不同的TGB取值范围；接着再计算待检测图片中每一候选框所包含物体的RGB彩色信息，如果该候选框中所包含物体的RGB值在所设置的范围内，就保留此候选框，否则就剔除。

S5、就算保留候选框中标记区域的边缘形状，并计算其几何信息。

经过上两步所保留下来的候选框在梯度和颜色信息方面都与正样本相符，但是当背景图片中出现与标记部分颜色相似的物体的时，就会对后续的识别工作产生干扰。此时同样将标记出了若干候选框的待检测图片进行检测，对候选框中的物体利用canny算法进行边缘检测，得到其边缘闭合形状，并计算其几何信息。

S6：判断计算出的几何信息是否和正样本的几何信息相符，如果不不相符则说明螺栓发生了松动，如果相符再进一步判断两闭合区域的中间距离是否小于设置的相关阈值，如果大于则也认为螺栓发生了松动，则在第一时间报警。以上两个条件都满足的话，我们就认为螺栓是正常运行。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种电梯紧固螺帽松动的图像识别检测方法，其特征在于，包括：

S1，通过训练足量拧紧的保险杠螺栓正样本图像得到各螺帽间最佳距离允许阈值和最佳校准配对候选形状；

S2，通过BING算法选择出若干候选框，并根据颜色值滤出多余候选框；

S3，对保留的候选框进行边缘检测，得到螺栓颜色标记部分的边缘闭合形状；

S4，根据边缘几何形状以及距离判断螺栓是否发生松动。

2.根据权利要求1所述的电梯紧固螺帽松动的图像识别检测方法，其特征在于，所述S1包括：

S1-1，通过足量拧紧的保险杠螺栓正样本图像得到各螺帽间的微小间距，螺帽校准形状水平对齐和垂直对齐平均允许误差，以及校准配对候选形状几何、颜色信息，训练得到最佳距离允许阈值和最佳校准配对候选形状。

3.根据权利要求1所述的电梯紧固螺帽松动的图像识别检测方法，其特征在于，所述S2通过BING算法选择出若干候选框包括：

S2-1，BING算法中首先选定标注目标位置的样本图像生成不同尺度的正负样本，并将各样本尺寸缩放至固定8×8大小；在该尺寸下，螺栓纹理、局部形状等细节特征将丢失，只保留对象的边界梯度轮廓特征；物体轮廓梯度值更高，与其周围背景区域形成强烈对比；

S2-2，其次利用线性支持向量机训练正负样本集，获得目标似物性检测模板；一个与目标对象同大小的像素尺寸候选框更有可能表达该目标对象，因此该模板同样保证为64维的8×8大小；然后利用打分系统机制，计算每个尺度下的滤波得分并排序，利用非极大值抑制算法(Non-maximum suppression，NMS)消除局部冗余；

S2-3，最后在原始图像中找到打分点对应的候选框大小并保存。

4.根据权利要求3所述的电梯紧固螺帽松动的图像识别检测方法，其特征在于，所述S2-3包括：

a：BING对各尺寸样本计算梯度特征，根据梯度特征匹配得到一组带有滤波得分的候选框，滤波得分s_l定义如下：

s_(i,x,y)＝＜w,G_(i,x,y)＞，

其中，w为训练获得的模型参数，G_(i,x,y)是尺度为i的位置坐标(x,y)的图像框缩放至小尺寸下的NG(Normed Gradients)特征，符号“<，>”表示内积运算；w，G都为矩阵；

对于每一个像素的梯度幅值计算，采用Prewitt算子方式获得：

g_(i,x,y)＝min{|g_x|+|g_y|,255}，其中g(i,x,y)表示尺度i的位置坐标(x,y)每一个像素梯度幅值，g_x为X坐标的像素梯度幅值，g_y为Y坐标的像素梯度幅值；

由于滤波分数会因为尺寸的不同而存在偏差，因此当对最终候选得分重排序时需要校准得到最终不同尺寸带有的候选窗组得分，定义对象性得分o_l如下：

o_(i,x,y)＝v_is_(i,x,y)+t_i，

其中，v_i是尺寸i下的独立学习系数，t_i表示尺寸i的偏移量；

获得的候选框不仅仅应该具有全局范围内的最高得分，还应该具有邻域最高得分，以避免由于最高窗口得分过于集中某一区域而可能导致人脸漏检的现象；因此利用非极大值约束算法选择边缘点，从而使得最终候选窗口具有全局较高得分的同时，还具备邻域得分最高。

5.根据权利要求1所述的电梯紧固螺帽松动的图像识别检测方法，其特征在于，所述S2包括：

为提高计算速度，加速特征提取和测试过程，模板与特征的二值化近似过程的具体步骤如下：

特征二值化：由于梯度幅值取值范围[0，255]，因此利用如下公式方式进行二进制比特流替换；

其中，b_k∈{0,1}表示第k位二进制值，N_g表示选取的二进制位个数，由于后四位值对梯度影响并不大；

将8×8每点对应的第k位联合表示成二进制流b_k∈{0,1}⁶⁴；因此对应8×8矩阵区域有：

模板二值化：对于w为训练获得的模型参数，则看作多个基向量的组合，近似表示为其中，β_j表示第j个基向量的系数，a_j表示第j个基向量，a_j∈{-1,1}⁶⁴，N_w表示基向量个数，将a_j转化到[0，1]范围：

故w表示为：

式s_(i,x,y)＝＜w,G_(i,x,y)＞的二值化公式表达如下：

其中指代将a_j向量中的负值置为零，正值则不变。

6.根据权利要求5所述的电梯紧固螺帽松动的图像识别检测方法，其特征在于，所述模板w的过程包括：

输入：初始化的基向量ε，

输出：模板w，

1:for j＝1 to N_w do

2:a_j＝sign(ε)

3:

4:ε＝ε-β_ja_j

5:w＝w+β_ja_j。

7.根据权利要求5所述的电梯紧固螺帽松动的图像识别检测方法，其特征在于，还包括：

为消除多余的选框，具体实现如下：

(1)将所有框的得分降序排列，选中最高分及其对应的框，

(2)遍历其余的框，如果和当前最高分框的重叠面积(IOU)大于一定阈值，我们就将框删除，

(3)从未处理的框中继续选一个得分最高的，重复上述过程。

8.根据权利要求1所述的电梯紧固螺帽松动的图像识别检测方法，其特征在于，所述S3还包括：

S3-1，利用Canny对候选区域进行边缘检测，先用2D高斯滤波模板进行卷积以消除图像噪声，对滤波后的图像中的每个像素点计算其梯度小大和方向，通过梯度方向找到该像素梯度方向的邻接像素，最后通过非最大抑制以及阈值化和边缘链接得到螺栓边缘闭合形状曲线，计算边缘闭合形状的面积；

S3-2，算法过程如下：

采用2D高斯滤波模板进行卷积降噪中使用的size＝5的高斯内核如下：

计算像素点的幅度和方向，这里按照Sobel滤波器的步骤进行介绍：

a.运用一对卷积阵列，分别作用于x,y方向，阵列

b.使用下列公式计算梯度值和方向：

梯度方向近似到四个可能角度之一；

沿幅角方向检测模值的极大值点，即边缘点，遍历像素点，把每个像素偏导值与相邻像素的模值比较，取其最大值为边缘点，置像素灰度值为0；

S3-3，用双用双阈值算法检测和连接边缘：

a.对非极大值抑制图像作用两个阈值th₁和th₂，两者关系th₁＝0.4th₂；我们把梯度值小于th₁的像素的灰度值设为0，得到图像1；然后把梯度值小于th₂的像素的灰度值设为0，得到图像2；由于图像2的阈值较高，去除大部分噪音，但同时也损失了有用的边缘信息；而图像1的阈值较低，保留了较多的信息，我们可以以图像2为基础，以图像1为补充来连结图像的边缘；

b.链接边缘的具体步骤如下：

对图像2进行扫描，当遇到一个非零灰度的像素p(x,y)时，跟踪以p(x,y)为开始点的轮廓线，直到轮廓线的终点q(x,y)；考察图像1中与图像2中q(x,y)点位置对应的点s(x,y)的8邻近区域；如果在s(x,y)点的8邻近区域中有非零像素s(x,y)存在，则将其包括到图像2中，作为r(x,y)点；从r(x,y)开始，重复第一步，直到我们在图像1和图像2中都无法继续为止；

当完成对包含p(x,y)的轮廓线的连结之后，将这条轮廓线标记为已经访问；回到第一步，寻找下一条轮廓线；重复第一步、第二步、第三步，直到图像2中找不到新轮廓线为止；

至此，完成canny算子的边缘检测，得到螺栓红色标记部分的两个边缘闭合形状。

9.根据权利要求1所述的电梯紧固螺帽松动的图像识别检测方法，其特征在于，所述S4包括：

S4-1，计算螺栓两个红色标记部分的边缘闭合形状，并与正样本中闭合形状进行比较，当闭合形状的面积与正样本相差较多，或者只有一个闭合形状，那么认为螺栓发生松动；

S4-2，在满足几何形状的前提下，再来判断两闭合形状的中间距离是否在所允许的阈值范围内，如果在阈值范围了，则认为螺栓没有发生松动，如果不满足，则认定螺栓发生了松动。