CN111784633A - 一种面向电力巡检视频的绝缘子缺损自动检测算法 - Google Patents

Abstract

本发明公开了一种面向电力巡检视频的绝缘子缺损自动检测算法：步骤1，对原有的电力塔架绝缘子样本数据进行分类和增强；步骤2，搭建生成卷积神经网络模型，通过步骤1增强后的数据进行训练网络模型；步骤3，将待检测图像处理并通过建立的网络模型，对通过网络模型的图片提取HOG特征，确定绝缘子在图片中的大致位置；步骤4，经步骤3确定绝缘子在图片中的大致位置后，通过CNN/LSTM深度学习方法检测绝缘子是否缺损；本发明公开的方法解决了目前电力塔架绝缘子缺损检测方法的不足，使用深度学习方法，并避免了样本中其他环境因素的影响。结合图像特征对图像做进一步处理分析，让检测过程更加准确高效。

Description

一种面向电力巡检视频的绝缘子缺损自动检测算法

技术领域

本发明属于图像处理、机器视觉及人工智能技术领域，涉及一种面向电力巡检视频的绝缘子缺损自动检测算法。

背景技术

在电力传输线路上，保证电力塔架及线路的安全无误，绝缘子在架空输电线路中问题的及时发现和处理至关重要，由于环境和电力变化的影响，绝缘子会造成不同程度的脏污和缺损，这会严重损害输电线路的使用寿命，甚至会烧坏设备引起停电，造成电力生产的严重事故，为了避免绝缘子故障，电力生产过程只能增加检修的次数，而人工检查效率低，可靠性差，成本很高，当前尚缺乏对绝缘子故障的自动化检查手段，相关算法和系统仍存在精度和效率方面的不足。

目前，国内外相关领域对于电力行业绝缘子的检测大致分为电量测量法和非电量测量法；其中，电量测量法通过采集电流电压信息实时分析绝缘子的运行状态；非电量的测量法包括超声波检测法、激光多普勒振动法、红外热成像的非接触检测等，2005年国内提出了一种基于瓷绝缘子局部区域特征的绝缘子破损情况视觉检测方法，该方法采用三层BP神经元网络识别目标，采用扫描分析绝缘子图像窗口纵向剖线模式来判定绝缘子的状态；

近年来，输电线路的增加导致线路运维环境越来越复杂，无人机在电力巡检中的应用弥补了人工巡检方式的不足，针对无人机巡检数据的电力塔架绝缘子的自动化、高精度检测手段将是本领域技术发展的重要方向。

发明内容

本发明的目的是提供一种面向电力巡检视频的绝缘子缺损自动检测算法，可以实现从电力巡检视频数据中自动判读是否存在绝缘子缺损的情况。

本发明采用一种面向电力巡检视频的绝缘子缺损自动检测算法，具体按以下步骤实施：

步骤1，对原有的电力塔架绝缘子样本数据进行分类和增强；

步骤2，搭建生成卷积神经网络模型，通过步骤1增强后的数据进行训练网络模型，通过卷积神经网络模型进行分类；

步骤3，将经步骤2分类后的数据处理并通过建立的网络模型，对通过网络模型的图片提取HOG特征，确定绝缘子在图片中的大致位置；

步骤4，经步骤3确定绝缘子在图片中的大致位置后，通过CNN/LSTM深度学习方法进行检测绝缘子是否缺损。

本发明的特点还在于：

其中步骤1具体内容包括：

首先提取已有的电力塔架绝缘子样本数据，得到原始的样本图像，将数据分为含有绝缘子和不含绝缘子两类数据，并将两类数据分为测试集数据和训练集数据；

然后在python环境下调用图像处理库，定义增强因子，对原始图像进行数据增强；

其中步骤2具体为通过卷积神经网络对数据进行筛选分类，排除掉不含绝缘子的无效图片，具体步骤如下：

步骤2.1，利用Tensorflow搭建卷积神经网络模型，将步骤1得到的3通道的图像数据即训练数据集作为网络模型训练的输入；

第一层卷积层，输入数据经过16个卷积核，卷积核大小为3*3*3，步长为1，padding设为same；

第二层池化层max pool，池化窗口为2*2，步长为2，padding设为same，将数据下采样至原来的二分之一。

通过多次卷积提取出图像特征，在卷积后得到的结果上增加偏差，输出结果使用激活函数ReLU进行激活；

网络模型的定义损失函数如式(1)所示：

loss＝-[plog(t)+(1-p)log(1-t)] (1)

将输出结果分为两类，p为图像的期望分类概率，t为图像的实际分类概率；全连接层通过特征加权把得到的数据特征转化，实现数据一维化，然后softmax运算将结果进行归一化处理，结合交叉熵公式输出对图像的判断结果；

步骤2.2，将经步骤1增强后的数据输入到步骤2.1建立的网络模型中开始训练，当loss值趋于稳定，则说明模型逐渐收敛，使用测试集数据作为生成网络的输入，进入训练好的网络模型，检验输出的准确率；

其中步骤3中具体内容如下：

步骤3.1，对测试集数据进行处理和提取HOG特征：

将测试集数据图像进行高斯滤波处理，然后再对平滑处理后的图像下采样分解，对其大小分别进行1/4下采样，得到新的图像，通过连续降采样，得到不同尺寸的缩略图，最终组成三层金字塔，从最底层到最顶层，图像尺寸逐渐缩小，图像分辨率逐渐降低，得到高斯金字塔模型；然后对得到的高斯金字塔模型每层图像分别提取HOG特征，组成图像的最终的HOG特征向量；

步骤3.2，根据步骤3.1提取的HOG特征确定绝缘子在图片中的大致位置；

其中步骤3中提取HOG特征具体内容包括以下步骤：

步骤3.1.1，采用Gamma校正法对高斯金字塔模型进行颜色空间的标准化；

步骤3.1.2，计算图像每个像素的梯度：

图像中像素点(x,y)的水平方向和垂直方向梯度，分别如式(2)和式(3)所示：

G_X(x,y)＝H(x+1,y)-H(x-1,y) (2)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (3)；

求得水平和垂直梯度后，得到这个像素点对应的梯度幅值和梯度方向，分别如式(4)和式(5)所示：

步骤3.1.3，将灰度图像划分成不可滑动的小cells；

步骤3.1.4，像素梯度的方向可以用角度来划分区间，统计每个cell的梯度直方图，即可形成每个cell的descriptor；

步骤3.1.5，将每几个cell组成一个block，一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor；

步骤3.1.6，将图像image内的所有block的HOG特征descriptor串联起来就可以得到该图片的HOG特征；

其中步骤3中利用提取的HOG特征确定绝缘子在图片中的大致位置具体操作内容为：

当block在图像中计算滑动过程中，当前梯度幅度值和梯度直方图和相邻block的值类似，则判断该区域包含绝缘子；对整张图片的特征梯度直方图进行判断，得到图像的ROI区域分布；

其中步骤4具体内容包括：

使用Tensorflow搭建LSTM神经网络模型，LSTM模型的基本结构实现三个门运算，即遗忘门，输入门和输出门；

LSTM需要学习的参数共有8组，分别是：遗忘门的权重矩阵W_f和偏置项b_f、输入门的权重矩阵W_i和偏置项b_i、输出门的权重矩阵W_o和偏置项b_o，以及计算单元状态的权重矩阵W_c和偏置项b_c；

遗忘门和输入门分别如公式(6)和公式(7)所示：

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (6)

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (7)

式中W_f是遗忘门的权重矩阵，[h_t-1,x_t]表示把两个向量连接成一个更长的向量，b_f是遗忘门的偏置项，σ是sigmoid函数；

输出门如公式(8)所示：

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (8)；

通过遗忘门选择遗忘上一时刻的结果，结合这一时刻的输入，得到当前时刻cell的输出，把这些结果通过输出门判断，把输出门的判断结果作为卷积神经网络的输入，将确定了ROI区域的图像通过LSTM网络再筛选提取一次图片特征，对绝缘子缺损情况进行判断，最后把得到的判断结果在传入分类卷积神经网络中进行分类；

其中分类卷积神经网络的训练数据分为两类，分别存放完好绝缘子和缺损绝缘子的图片，把这两类数据分为训练集和验证集，然后输入卷积神经网络进行训练；

其中输入卷积神经网络进行训练的过程为：

第一层卷积层，输入数据经过5个卷积核，卷积核大小为3*3*5，步长为1；第二层池化层max pool，池化窗口为2*2，步长为2将数据下采样；第三层卷积层，经过5个卷积核，卷积核大小为3*3*5，步长为1；第四层池化层max pool，池化窗口为2*2，步长为2；

在卷积后得到的结果上增加偏差，输出结果使用激活函数ReLU进行激活，损失函数使用交叉熵；第五层第六层是全连接层，把第四层得到的数据一维化，通过特征加权把第四层得到的数据特征转化，然后softmax归一化得到最终的判断结果：

其中定义损失函数如式(9)所示：

loss＝loss_MES+loss_CNN (9)

式中，loss为内容损失，包括LSTM网络的MSE损失loss_MES和卷积网络的判断损失loss_CNN，分别如公式(10)和公式(11)所示：

式(10)中，H和W表示图像的宽度和高度，I_x,y表示真实图像的x,y位置，I_x,y′表示将经过网络模块的输出图像的x,y位置；式(11)中，P为图像的期望分类概率，T为图像经过网络的实际分类概率。

根据输出的结果，得到对应的在视频帧序列中的位置，从而输出最终的缺损的检测结果。

本发明的有益效果是：

本发明针对目前电力塔架绝缘子缺损检测方法的有限和不足，使用深度学习方法提高了绝缘子缺损检测的精度，并有效解决了因深度学习的训练样本数量不足导致的检测算法不鲁棒问题。由于采用了具有记忆能力的深度学习网络模型，本发明所提算法能够提取视频中多帧图像数据所记录的绝缘子缺损信息，因此比现有基于单帧图像数据的检测算法具有更高的检测精度。由于引入了对电力巡检视频数据的预筛选过程，使得本发明方法具有较低的计算复杂度和较高的检测效率，更适合电力巡检过程中对大量巡检视频数据处理的应用场景。

附图说明

图1是本发明的一种面向电力巡检视频的绝缘子缺损自动检测算法中CNN网络结构表图；

图2是本发明的一种面向电力巡检视频的绝缘子缺损自动检测算法中整体网络模型结构图；

图3是本发明的一种面向电力巡检视频的绝缘子缺损自动检测算法中LSTM网络的基本结构图；

图4是本发明的一种面向电力巡检视频的绝缘子缺损自动检测算法中HOG特征定位绝缘子流程图；

图5是本发明的一种面向电力巡检视频的绝缘子缺损自动检测算法中缺损检测的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明提供了一种面向电力巡检视频的绝缘子缺损自动检测算法，如图2和图5所示，具体按以下步骤实施：

步骤1，对原有的电力塔架绝缘子样本数据进行分类和增强：

提取已有的电力塔架绝缘子样本数据，得到原始的样本图像，将数据分为两大类：含有绝缘子和不含绝缘子，并将它们分为测试集数据和训练集数据；

在python环境下调用图像处理库，定义增强因子，对原始图像进行数据增强：数据翻转、数据旋转、数据放大、数据裁剪、数据平移、噪声扰动等等，通过数据增强，可以得到很多不同于原始数据的样本，提高数据多样性。数据数目的增多，也增强了训练模型的准确度，在一定条件上克服了小数据集的局限性；

步骤2，搭建生成卷积神经网络模型，通过步骤1增强后的数据进行训练网络模型：

步骤2是通过卷积神经网络对数据进行筛选，排除掉不含绝缘子的无效图片，具体过程如下：

步骤2.1，利用Tensorflow搭建卷积神经网络模型，卷积神经网络模型的特征提取网络基本结构是由一系列卷积单元和池化单元组成，将步骤1得到的3通道的图像数据即训练数据集作为网络模型训练的输入，卷积结构表如图1所示，H、W和C代表输入图像大小和通道数，最终S是输出的判断结果；

第一层卷积层，输入数据经过16个卷积核，卷积核大小为3*3*3，步长为1，padding设为same；

第二层池化层max pool，池化窗口为2*2，步长为2，padding设为same，将数据下采样至原来的二分之一。

通过多次卷积提取出图像特征，在卷积后得到的结果上增加偏差，输出结果使用激活函数ReLU进行激活；

网络模型的定义损失函数如式(1)所示：

loss＝-[plog(t)+(1-p)log(1-t)] (1)

由于这个网络是为了排除不含绝缘子的无关背景图片，因此只需将输出结果分为两类，p为图像的期望分类概率，t为图像的实际分类概率；全连接层通过特征加权把得到的数据特征转化，实现数据一维化，然后softmax运算将结果进行归一化处理，结合交叉熵公式输出对图像的判断结果；

步骤2.2，将经步骤1增强后的数据输入到步骤2.1建立的网络模型中开始训练，当loss值趋于稳定，则说明模型逐渐收敛，使用测试集数据作为生成网络的输入，进入训练好的网络模型，检验输出的准确率；

步骤3，将经步骤1分类得到的测试集数据处理并通过建立的网络模型，对通过网络模型的图片提取HOG特征，确定绝缘子在图片中的大致位置：

步骤3.1，如图4所示，对待检测图片进行处理和提取HOG特征：

将待检测图像进行高斯滤波处理，然后再对平滑处理后的图像下采样分解，对其大小分别进行1/4下采样，得到新的图像，通过连续降采样，得到不同尺寸的缩略图，最终组成三层金字塔，从最底层到最顶层，图像尺寸逐渐缩小，图像分辨率逐渐降低，得到高斯金字塔模型；然后对得到的高斯金字塔模型每层图像分别提取HOG特征，组成图像的最终的HOG特征向量；

提取HOG特征的具体过程为：

步骤3.1.1，采用Gamma校正法对高斯金字塔模型图像进行颜色空间的标准化，可以调节图像的对比度，可以有效地降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；

步骤3.1.2，计算图像每个像素的梯度(包括大小和方向)，通过梯度信息捕获轮廓信息，同时进一步弱化光照的干扰：

图像中像素点(x,y)的水平方向和垂直方向梯度，分别如式(2)和式(3)所示：

G_X(x,y)＝H(x+1,y)-H(x-1,y) (2)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (3)；

求得水平和垂直梯度后，得到这个像素点对应的梯度幅值和梯度方向，分别如式(4)和式(5)所示：

步骤3.1.3，将灰度图像划分成不可滑动的小cells；

步骤3.1.4，像素梯度的方向可以用角度来划分区间，统计每个cell的梯度直方图(不同梯度在某一区间的个数)，即可形成每个cell的descriptor；

步骤3.1.5，将每几个cell组成一个block，一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor；

步骤3.1.6，将图像image内的所有block的HOG特征descriptor串联起来就可以得到该图片的HOG特征，梯度图像和梯度幅度等信息；

步骤3.2，根据步骤3.1提取的HOG特征确定绝缘子在图片中的大致位置：得到待检测图片的相关信息后，绝缘子在变化较大的边缘部分，梯度直方图会在某一梯度方向呈现比较特殊的分布。考虑到绝缘子的梯度直方图和图片中的背景部分差异较大，且由于绝缘子基本都是呈周期性排列，所以绝缘子之间的梯度幅度值大小差异很小，因此当block在图像中计算滑动过程中，当前梯度幅度值和梯度直方图和相邻block的值类似，则判断该区域包含绝缘子；对整张图片的特征梯度直方图进行判断，得到图像的ROI区域分布；

计算梯度定位，把定位的区域进行频域变换，根据检测到主方向，并根据主方向进行旋转，从而将所有图片中的绝缘子都调整为一个方向，这样增加了神经网络处理判断的准确性；

步骤4，经步骤3确定绝缘子在图片中的大致位置后，通过CNN/LSTM深度学习方法检测绝缘子是否缺损：

使用Tensorflow搭建LSTM神经网络模型，LSTM模型的基本结构实现三个门运算，即遗忘门，输入门和输出门；如图3所示，遗忘门负责决定保留多少上一时刻的单元状态到当前时刻的单元状态；输入门负责决定保留多少当前时刻的输入到当前时刻的单元状态；输出门负责决定当前时刻的单元状态有多少输出；

LSTM需要学习的参数共有8组，分别是：遗忘门的权重矩阵W_f和偏置项b_f、输入门的权重矩阵W_i和偏置项b_i、输出门的权重矩阵W_o和偏置项b_o，以及计算单元状态的权重矩阵W_c和偏置项b_c；

遗忘门和输入门分别如公式(6)和公式(7)所示：

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (6)

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (7)

式中W_f是遗忘门的权重矩阵，[h_t-1,x_t]表示把两个向量连接成一个更长的向量，b_f是遗忘门的偏置项，σ是sigmoid函数；

输出门如公式(8)所示：

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (8)；

通过遗忘门选择遗忘上一时刻的结果，结合这一时刻的输入，得到当前时刻cell的输出，把这些结果通过输出门判断，LSTM网络最终的输出，是由输出门和单元状态共同确定的；把输出门的结果作为卷积神经网络的输入，将确定了ROI区域的图像通过LSTM网络再筛选提取一次图片特征，然后把得到的结果在传入卷积神经网络，对绝缘子缺损情况进行判断；

卷积神经网络的训练数据分为两类，分别存放完好绝缘子和缺损绝缘子的图片，把这两类数据分为训练集和验证集，然后输入卷积神经网络进行训练；

其中输入卷积神经网络进行训练的过程为：

第一层卷积层，输入数据经过5个卷积核，卷积核大小为3*3*5，步长为1；第二层池化层max pool，池化窗口为2*2，步长为2将数据下采样；第三层卷积层，经过5个卷积核，卷积核大小为3*3*5，步长为1；第四层池化层max pool，池化窗口为2*2，步长为2；

在卷积后得到的结果上增加偏差，输出结果使用激活函数ReLU进行激活，损失函数使用交叉熵；第五层第六层是全连接层，把第四层得到的数据一维化，通过特征加权把第四层得到的数据特征转化，然后softmax归一化得到最终的判断结果：

其中定义损失函数如式(9)所示：

loss＝loss_MES+loss_CNN (9)

式中，loss为内容损失，包括LSTM网络的MSE损失loss_MES和卷积网络的判断损失loss_CNN，分别如公式(10)和公式(11)所示：

式(10)中，H和W表示图像的宽度和高度，I_x,y表示真实图像的x,y位置，I_x,y′表示将经过网络模块的输出图像的x,y位置；式(11)中，P为图像的期望分类概率，T为图像经过网络的实际分类概率。

根据输出的结果，得到对应的在视频帧序列中的位置，从而输出最终的缺损的检测结果。

本发明的一种面向电力巡检视频的绝缘子缺损自动检测算法，具体过程为：

首先通过CNN进行分类，分析图片有无绝缘子的分类网络；

然后进行高斯金字塔HOG特征的提取，即对图片存在绝缘子部分进行ROI分割；

再采用LSTM检测神经网络进行检测判断绝缘子是否破损(由多帧连续的特征图判断绝缘子是否破损)，LSTM输入为经过HOG处理后的多帧绝缘子特征图像(可理解为一小段短的特征视频)，使得对于绝缘子破损检测是一种利用时域和空域关联的多帧特征检测方法，因此特别适合处理巡检视频；

三个步骤的有序排列方式使得本发明适合巡检视频而非图像类数据，从而提高效率，增加精度；由于LSTM检测神经网络判断后的到的是一个概率，所以最后本发明在采用一次分类卷积神经网络进行分类，得到确切的缺损位置，本发明中CNN和LSTM由于输入不同，因此两个网络首先是进行彼此独立训练，随后，再级联两个网络进行训练，这样提高了每个网络和最终网络的收敛性和精度。

Claims (8)

1.一种面向电力巡检视频的绝缘子缺损自动检测算法，其特征在于，具体按以下步骤实施：

步骤1，对原有的电力塔架绝缘子样本数据进行分类和增强；

步骤2，搭建生成卷积神经网络模型，通过步骤1增强后的数据进行训练网络模型，通过卷积神经网络模型进行分类；

步骤3，将经步骤2分类后的数据处理并通过建立的网络模型，对通过网络模型的图片提取HOG特征，确定绝缘子在图片中的大致位置；

步骤4，经步骤3确定绝缘子在图片中的大致位置后，通过CNN/LSTM深度学习方法进行检测绝缘子是否缺损。

2.根据权利要求1所述的一种面向电力巡检视频的绝缘子缺损自动检测算法，其特征在于，所述步骤1具体内容包括：

首先提取已有的电力塔架绝缘子样本数据，得到原始的样本图像，将数据分为含有绝缘子和不含绝缘子两类数据，并将两类数据分为测试集数据和训练集数据；

然后在python环境下调用图像处理库，定义增强因子，对原始图像进行数据增强。

3.根据权利要求1所述的一种面向电力巡检视频的绝缘子缺损自动检测算法，其特征在于，所述步骤2具体为通过卷积神经网络对数据进行筛选分类，排除掉不含绝缘子的无效图片，具体步骤如下：

步骤2.1，利用Tensorflow搭建卷积神经网络模型，将步骤1得到的3通道的图像数据即训练数据集作为网络模型训练的输入；

第一层卷积层，输入数据经过16个卷积核，卷积核大小为3*3*3，步长为1，padding设为same；

第二层池化层max pool，池化窗口为2*2，步长为2，padding设为same，将数据下采样至原来的二分之一。

通过多次卷积提取出图像特征，在卷积后得到的结果上增加偏差，输出结果使用激活函数ReLU进行激活；

网络模型的定义损失函数如式(1)所示：

loss＝-[plog(t)+(1-p)log(1-t)] (1)

将输出结果分为两类，p为图像的期望分类概率，t为图像的实际分类概率；全连接层通过特征加权把得到的数据特征转化，实现数据一维化，然后softmax运算将结果进行归一化处理，结合交叉熵公式输出对图像的判断结果；

步骤2.2，将经步骤1增强后的数据输入到步骤2.1建立的网络模型中开始训练，当loss值趋于稳定，则说明模型逐渐收敛，使用测试集数据作为生成网络的输入，进入训练好的网络模型，检验输出的准确率。

4.根据权利要求1或2所述的一种面向电力巡检视频的绝缘子缺损自动检测算法，其特征在于，所述步骤3中具体内容如下：

步骤3.1，对测试集数据进行处理和提取HOG特征：

将测试集数据图像进行高斯滤波处理，然后再对平滑处理后的图像下采样分解，对其大小分别进行1/4下采样，得到新的图像，通过连续降采样，得到不同尺寸的缩略图，最终组成三层金字塔，从最底层到最顶层，图像尺寸逐渐缩小，图像分辨率逐渐降低，得到高斯金字塔模型；然后对得到的高斯金字塔模型每层图像分别提取HOG特征，组成图像的最终的HOG特征向量；

步骤3.2，根据步骤3.1提取的HOG特征确定绝缘子在图片中的大致位置。

5.根据权利要求1所述的一种面向电力巡检视频的绝缘子缺损自动检测算法，其特征在于，所述步骤3中提取HOG特征具体内容包括以下步骤：

步骤3.1.1，采用Gamma校正法对高斯金字塔模型进行颜色空间的标准化；

步骤3.1.2，计算图像每个像素的梯度：

图像中像素点(x,y)的水平方向和垂直方向梯度，分别如式(2)和式(3)所示：

G_X(x,y)＝H(x+1,y)-H(x-1,y) (2)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (3)；

求得水平和垂直梯度后，得到这个像素点对应的梯度幅值和梯度方向，分别如式(4)和式(5)所示：

步骤3.1.3，将灰度图像划分成不可滑动的小cells；

步骤3.1.4，像素梯度的方向可以用角度来划分区间，统计每个cell的梯度直方图，即可形成每个cell的descriptor；

步骤3.1.5，将每几个cell组成一个block，一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor；

步骤3.1.6，将图像image内的所有block的HOG特征descriptor串联起来就可以得到该图片的HOG特征。

6.根据权利要求1或5所述的一种面向电力巡检视频的绝缘子缺损自动检测算法，其特征在于，所述步骤3中利用提取的HOG特征确定绝缘子在图片中的大致位置具体操作内容为：

当block在图像中计算滑动过程中，当前梯度幅度值和梯度直方图和相邻block的值类似，则判断该区域包含绝缘子；对整张图片的特征梯度直方图进行判断，得到图像的ROI区域分布。

7.根据权利要求1所述的一种面向电力巡检视频的绝缘子缺损自动检测算法，其特征在于，所述步骤4具体内容包括：

使用Tensorflow搭建LSTM神经网络模型，LSTM模型的基本结构实现三个门运算，即遗忘门，输入门和输出门；

LSTM需要学习的参数共有8组，分别是：遗忘门的权重矩阵W_f和偏置项b_f、输入门的权重矩阵W_i和偏置项b_i、输出门的权重矩阵W_o和偏置项b_o，以及计算单元状态的权重矩阵W_c和偏置项b_c；

遗忘门和输入门分别如公式(6)和公式(7)所示：

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (6)

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (7)

式中W_f是遗忘门的权重矩阵，[h_t-1,x_t]表示把两个向量连接成一个更长的向量，b_f是遗忘门的偏置项，σ是sigmoid函数；

输出门如公式(8)所示：

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (8)；

通过遗忘门选择遗忘上一时刻的结果，结合这一时刻的输入，得到当前时刻cell的输出，把这些结果通过输出门判断，把输出门的判断结果作为卷积神经网络的输入，将确定了ROI区域的图像通过LSTM网络再筛选提取一次图片特征，对绝缘子缺损情况进行判断，最后把得到的判断结果在传入分类卷积神经网络中进行分类。

8.根据权利要求7所述的一种面向电力巡检视频的绝缘子缺损自动检测算法，其特征在于，所述分类卷积神经网络的训练数据分为两类，分别存放完好绝缘子和缺损绝缘子的图片，把这两类数据分为训练集和验证集，然后输入卷积神经网络进行训练；

其中输入卷积神经网络进行训练的过程为：

第一层卷积层，输入数据经过5个卷积核，卷积核大小为3*3*5，步长为1；第二层池化层max pool，池化窗口为2*2，步长为2将数据下采样；第三层卷积层，经过5个卷积核，卷积核大小为3*3*5，步长为1；第四层池化层max pool，池化窗口为2*2，步长为2；

在卷积后得到的结果上增加偏差，输出结果使用激活函数ReLU进行激活，损失函数使用交叉熵；第五层第六层是全连接层，把第四层得到的数据一维化，通过特征加权把第四层得到的数据特征转化，然后softmax归一化得到最终的判断结果：

其中定义损失函数如式(9)所示：

loss＝loss_MES+loss_CNN (9)

式中，loss为内容损失，包括LSTM网络的MSE损失loss_MES和卷积网络的判断损失loss_CNN，分别如公式(10)和公式(11)所示：

式(10)中，H和W表示图像的宽度和高度，I_x,y表示真实图像的x,y位置，I_x,y′表示将经过网络模块的输出图像的x,y位置；式(11)中，P为图像的期望分类概率，T为图像经过网络的实际分类概率。

根据输出的结果，得到对应的在视频帧序列中的位置，从而输出最终的缺损的检测结果。

Images