CN114995381A

CN114995381A - 一种基于图像识别的机器人随机巡检方法

Info

Publication number: CN114995381A
Application number: CN202210443843.3A
Authority: CN
Inventors: 周超杰; 黄建勇; 王袤野; 茅晓亮; 施会; 朱李超; 严俊
Original assignee: State Grid Shanghai Electric Power Co Ltd
Current assignee: State Grid Shanghai Electric Power Co Ltd
Priority date: 2022-04-25
Filing date: 2022-04-25
Publication date: 2022-09-02
Anticipated expiration: 2042-04-25
Also published as: CN114995381B

Abstract

本发明涉及一种基于图像识别的机器人随机巡检方法，该方法由目标巡检区域内布置的若干台巡检机器人实现，目标巡检区域内每一设施配置有该设施的安全值随着时间变化的安全函数和巡检设施时根据巡检状况变化的巡检函数：各巡检机器人先基于预先配置的最优巡检线路完成单次巡检，然后按设定排序以随机方式选择符合巡检设定要求的设施进行后续巡检，在每次巡检中，采用快速图像识别方式获取设施的巡检结果，根据巡检结果执行相应后续处理，并基于所述巡检函数更新各设施的安全值，同步至每个巡检机器人，并将该安全值代入所述安全函数。与现有技术相比，本发明具有可实现灵活巡检、功能多样、提高巡检效率等优点。

Description

一种基于图像识别的机器人随机巡检方法

技术领域

本发明属于一种智能巡检方法，涉及一种基于图像识别的机器人随机巡检方法。

背景技术

机器人具有感知、决策、执行等基本特征，可以辅助甚至替代人类完成危险、繁重、复杂的工作，提高工作效率与质量，服务人类生活，扩大或延伸人的活动及能力范围。随着智能控制技术、传感器技术以及能源等各个领域方面的发展，越来越多的自主运行机器人被应用于各个工业和家用场景。其中，巡检机器人是实现电力系统巡检作业自动化的重要执行单元，巡检机器人的移动属性决定其适合采用无缆化的电池供电。

目前，常见的巡检机器人都是包括一个底盘和一个摄像台的方式进行巡检，一般性的巡检过程需要人工安排确定的固定路线进行巡检，如果发现存在问题，直接进行报警。那么此类技术存在的问题主要是，巡检的线路固定，如果涉及到带有保安性质的巡检则存在安全漏洞，第二，就是巡检的过程中，对于设施的状态监测较少，如果不是配置专业监测设备的话，一般只有视频、图像回传等简单功能，需要人工进行检测。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种可实现灵活巡检、功能多样、提高巡检效率的基于图像识别的机器人随机巡检方法。

本发明的目的可以通过以下技术方案来实现：

一种基于图像识别的机器人随机巡检方法，该方法由目标巡检区域内布置的若干台巡检机器人实现，目标巡检区域内每一设施配置有该设施的安全值随着时间变化的安全函数和巡检设施时根据巡检状况变化的巡检函数；

该方法包括以下步骤：

各巡检机器人先基于预先配置的最优巡检线路完成单次巡检，然后按设定排序以随机方式选择符合巡检设定要求的设施进行后续巡检，在每次巡检中，采用快速图像识别方式获取设施的巡检结果，根据巡检结果执行相应后续处理，并基于所述巡检函数更新各设施的安全值，同步至每个巡检机器人，并将该安全值代入所述安全函数。

作为优选，所述快速图像识别具体为：

对检测位的设施进行一段时间内的多张图像拍摄，去除环境影响后得到设施的静态图像，从所述静态图像获取当前设施的实时特征数据，将该实时特征数据与预存储的常态时特征数据进行对比，判断对比结果是否大于设定阈值，若是，则产生追查报警信号，若否，则将巡检后设施的安全值根据巡检函数进行更新。

作为优选，产生所述追查报警信号后，将当前时间段内拍摄的所述多张图像上传至分析服务器，所述分析服务器采用精细图像识别方式进行对比复查，判断对比复查结果是否大于设定阈值，若是，则由分析服务器或巡检机器人上报设施名称，若否，则巡检机器人将巡检后设施的安全值根据巡检函数进行更新。

作为优选，所述巡检函数的表达式为：

A_n＝J+K·Tp·Lm/Lp·Tm

其中，A_n为当前设施更新后的安全值，Tp为巡检机器人在停留区域内的停留时间，所述停留区域基于每一设施的巡检中心划分，所述巡检中心指设施对应的最佳巡检位置，Tm为巡检机器人在停留区域内的设定最长停留时间，Lm为停留区域最远端与巡检中心的距离，Lp为最长时间停留位置与巡检中心的距离差，K为设施的安全值加权系数，J为当前设施此次更新前的安全值。

作为优选，所述安全函数的表达式为：

A_n＝A_n-1·t(1-t^Q1)^(1/Q2)，

其中，t为当前设施未巡检的时间值与当前设施设定的最长检测间隙的比值，若当前设施未巡检的时间值大于等于当前设施设定的最长检测间隙，则t取值为1，Q1和Q2均为安全函数的调节值，各个设施根据重要程度对应设置有对应的调节值，A_n-1为上一计算间隔时的安全值，A_n为当前的安全值。

作为优选，所述设定排序采用如下方式确定：

遍历计算各设施的巡检分值Pt：Pt＝Ar/Ta，其中，Ar为设施的安全值的最大提升值，Ta为巡检所需要消耗的总时间；

以所述巡检分值Pt对所有待巡检的设施进行排序。

作为优选，计算所述巡检分值时，针对单个设施或一个设施组进行计算，相应地，以所述巡检分值对所有单个设施或所有设施组进行排序，所述设施组通过聚类分析划分。

作为优选，遍历的设施为未巡检时间大于设定值的设施。

作为优选，所述符合巡检设定要求的设施满足的条件为：

若确定执行选择的下一次巡检，则所有的设施的安全值均大于人工设定的阈值，且所有的设施的安全值的和也大于人工设定的阈值和。

作为优选，所述设施上对应的最佳巡检位置设置有一个用于拍摄的二维码，巡检机器人根据拍摄的二维码的缩放比例核对最长时间停留位置与巡检中心的距离差Lp。

与现有技术相比，本发明具有以下有益效果：

1、本发明除了首次巡检路线外，采用了随机的巡检路线，在保证随机性的同时也能照顾到绝大多数的设施，设施的巡检间隔都能够保持在一个稳定的范围，从而保证在巡检区域内的一个大致的稳定性，随机线路的巡检也不会对别有用心的人留出固定的时间，因此安全性相较以往有一定的提升，解决了现有技术存在巡检的线路固定，如果涉及到带有保安性质的巡检则存在安全漏洞的问题。

2、本发明在每次巡检后更新各设施的安全值，基于设施的实时状态随机选择巡检路线，有效提高巡检可靠性。

3、本发明采用了图像识别技术，由于机器人本身不适合高精度的图像识别，因此本发明中机器人担任简单的图像识别，功能多样，获取图像后初步检查，没有问题就进行下一步骤，如果存在有异常则上报服务器，由服务器进行处理，这样的方式，降低了机器人和云服务器的两方面压力，同时，由于机器人和服务器采用了同样的计算模型，服务器中获取的特征数据还可以对机器人中存储的特征数据进行更新，从而达到了快速巡检和精度判断两不误的情况，另外一些简单的数字识别，则无需经过服务器直接可以进行识别确认，解决了巡检的过程中，对于设施的状态监测较少，如果不是配置专业监测设备的话，只能通过人工进行检测问题。

附图说明

图1为本发明的初始化步骤一种流程示意图；

图2为本发明的日常巡检步骤一种流程示意图；

图3为本发明的追查报警步骤一种流程示意图；

图4为本发明的随机选择步骤一种流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供一种基于图像识别的机器人随机巡检方法，该方法由目标巡检区域内布置的若干台巡检机器人实现，目标巡检区域内每一设施配置有该设施的安全值随着时间变化的安全函数和巡检设施时根据巡检状况变化的巡检函数。具体地，该方法包括只在需要初始时候执行的初始化步骤和日常巡检所采用的日常巡检步骤。

如图1所示，初始化步骤包括：

S101、建立目标巡检区域的电子地图，确定电子地图内的可通行的道路和待巡检的设施；

S102、对目标巡检区域内的设施按照重要程度分别配置设施的安全值加权系数，以及该设施的安全值随着时间变化的安全函数和巡检设施时根据巡检状况设置的巡检函数；

S103、根据人工设定的方式，确定每台巡查机器人的最优巡检线路。

设施对应的最佳巡检位置设为巡检中心，根据巡检中心划设有停留区域，根据巡检机器人在停留区域内的停留时间Tp、巡检机器人在停留区域内的设定最长停留时间Tm、停留区域最远端与巡检中心的距离Lm，最长时间停留位置与巡检中心的距离差Lp，通过巡检函数计算并更新当前设施的安全值A_n，巡检函数表示为：

A_n＝J+K·Tp·Lm/Lp·Tm,

上式中，K为人工设定的对每个设施单独配置的安全值加权系数，J为巡检机器人到达区域后拍摄第一张照片或录入第一帧数据即获取的基础安全值。

设施上对应的最佳巡检位置设置有一个用于拍摄的二维码，巡检机器人根据拍摄的二维码的缩放比例核对最长时间停留位置与巡检中心的距离差Lp。所述拍摄的二维码的信息中至少包含有一个拍摄照片并加载水印的命令，巡检机器人根据二维码的信息执行对应的命令。二维码的设置，可以在录像的过程中起到抓拍的作用，能够进行变焦拍摄，通过变焦拍摄的方式达到更好的图像识别效果。

本发明中，为了确保整体巡检的覆盖性，保证各个设施位置巡检强度，一般机器人都是视频拍摄，不采用变焦方式拍摄，因此确定了拍摄距离和清晰度相关，本发明中，拍摄时间较长，且拍摄清晰度高，可以辅助图像识别确定当前设施的安全性，由于大部分设施例如围栏、道路等的安全性都是安全和不安全两种，因此图像的质量就是安全性的直观表示，因此，采用在需要对重点的设施如变压器进行检测的时候，可以在快速移动过程中对围栏、道路进行拍摄，那么对于这些设施的安全性巡检就该给与较低的评价，而相应的，如果对于变压器这样的设施进行一段时间的定点拍摄，去除了干扰，发现没有异常，那么就该给与变压器较高的安全评价，从而可以延长巡检的间隔。

设施安全值随着时间变化的安全函数为：

A_n＝A_n-1·t(1-t^Q1)^(1/Q2)，

上式中，t为当前设施未巡检的时间值与当前设施设定的最长检测间隙的比值，若当前设施未巡检的时间值大于等于当前设施设定的最长检测间隙，则t取值为1，Q1和Q2均为安全函数的调节值，各个设施根据重要程度对应设置有对应的调节值，A_n-1为拟制的上一计算间隔时的设施安全值。

如图2所示，日常巡检步骤包括：

S201、第一次日常巡检时，按照巡查机器人的最优巡检线路进行完整的单次巡检；

S202、巡检机器人巡检完每一个设施后都根据巡检结果进行后续处理，若巡检中通过快速图像识别有发现明显差异，则启动追查报警步骤，若巡检中通过快速图像识别没有发现明显差异，则将巡检后设施的安全值根据巡检函数进行更新，并将该设施安全值代入安全函数进行计算，然后所有巡检机器人更新各个设施的安全值；

S203、每次按照设定的排序以随机方式选择符合巡检设定要求的设施，巡检完成后重复执行步骤S202。

上述步骤S202中，快速图像识别包括以下步骤：

针对若干设定的重点设施，巡检机器人存储有常态时图像的特征数据，巡检机器人到达预定的检测位后对重点设施进行图像获取，通过一段时间的多张图像拍摄，然后去除环境影响后得到设施的静态图像，将静态图像进行预处理，得到当前重点设施的当前特征数据，将当前图像的特征数据与常态时图像的特征数据进行对比，若对比结果不存在大于设定阈值的明显差异，则将巡检后设施的安全值根据巡检函数进行更新，若对比结果存在大于等于设定阈值的明显差异，则启动追查报警步骤。

如图3所示，启动追查报警步骤包括：

S301、将当前时间段内拍摄的多张图像上传至分析服务器，所述分析服务器采用与巡检机器人相同算法、深度更深算法模型；

S302、由分析服务器，对图像去除环境影响，得到设施的静态图像，将静态图像进行处理，得到当前重点设施的当前特征数据，将当前图像的特征数据与常态时图像的特征数据进行对比复查；若对比复查结果不存在大于设定阈值的明显差异，则发回信号至巡检机器人，巡检机器人将巡检后设施的安全值根据巡检函数进行重置，若对比复查结果不存在大于等于设定阈值的明显差异，则由分析服务器或巡检机器人上报拍摄的设施名称。

本发明中，采用的图像识别技术可以是神经网络技术，巡检机器人的神经网络深度相对较低，而服务器中神经网络深度较深，两者相通，可以由服务器对巡检机器人的神经网络进行更新。

在步骤S203中，各个设施随着时间的推移，检测的需求会逐步提高，但是各个设施的下降程度速度以及最长检测间隔都不相同，因此需要对不同的需求进行排序，从而确定巡检机器人的下一个巡检目标。

如图4所示，筛选下一个巡检目标的具体流程包括以下步骤：

S401、以巡检分值Pt为排序对象，选择排名靠前的若干个设施作为备选；

S402、在所有备选的设施或设施组中筛选符合巡检设定要求的设施；

S403、以随机方式选取下一个巡检目标。

在步骤S401中，计算巡检分值Pt可针对单个设施进行计算，也可针对设施组进行计算。以单个设施计算的具体过程包括：

首先假设目标设施为被选择的下一次巡检设施，然后计算该设施的安全值的最大提升值Ar，以及巡检所需要消耗的总时间Ta，然后通过下式计算该设施的巡检分值Pt，Pt＝Ar/Ta；

遍历所有的待巡检设施，按照巡检分值Pt排序，选择排名靠前的若干个设施作为备选。

以设施组进行计算的具体过程包括：

首先假设若干个目标设施为一组被选择的后续连续巡检的设施组，然后计算上述若干个设施的安全值的最大提升值Ar，以及巡检所需要消耗的总时间Ta，然后通过下式计算该设施的巡检分值Pt，Pt＝Ar/Ta；

遍历所有的待巡检设施组，按照巡检分值Pt排序，选择排名靠前的若干个设施组作为备选。

本实施例中，设施组的生成是由聚类算法根据各设施的种类和距离维度聚类获得的。聚类的维度包括设施的种类、距离也可以包括其他内容，通过种类的区分将大部分重点设施和道路围栏等设施进行了区分，然后将重点设施根据距离进行聚类，确定重点设施的中心位置，然后通过设施组的方式，可以帮助巡检机器人降低随机查找下一个检测点的难度，能快速发现下一个检测点。

上述步骤S401中，需要遍历的是未巡检时间大于设定值的待巡检设施或设施组。

在步骤S402中，在所有备选的设施或设施组中进行筛选，筛选条件为：若确定执行选择的下一次巡检，则所有的设施的安全值均大于人工设定的阈值，且所有的设施的安全值的和也大于人工设定的阈值和。

巡检机器人去除不符合筛选条件的备选设施或设施组，然后在步骤S403中以随机方式选择符合巡检设定要求的设施。

本发明的主要发明点由两个第一是采用了随机的巡检路线，在保证随机性的同时也能照顾到绝大多数的设施，设施的巡检间隔都能够保持在一个稳定的范围，从而保证在巡检区域内的一个大致的稳定性，随机线路的巡检也不会对别有用心的人留出固定的时间，因此安全性相较以往有一定的提升，同时，本发明采用了图像识别技术，由于机器人本身不适合高精度的图像识别，因此本发明中机器人担任简单的图像识别，获取图像后初步检查，没有问题就进行下一步骤，如果存在有异常则上报服务器，由服务器进行处理，这样的方式，降低了机器人和云服务器的两方面压力，同时，由于机器人和服务器采用了同样的计算模型，服务器中获取的特征数据还可以对机器人中存储的特征数据进行更新，从而达到了快速巡检和精度判断两不误的情况，另外一些简单的数字识别，则无需经过服务器直接可以进行识别确认。在本发明中，图像识别部分属于现有技术。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中，计算机可读取存储介质可设置于各巡检机器人中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims

1.一种基于图像识别的机器人随机巡检方法，其特征在于，该方法由目标巡检区域内布置的若干台巡检机器人实现，目标巡检区域内每一设施配置有该设施的安全值随着时间变化的安全函数和巡检设施时根据巡检状况变化的巡检函数；

该方法包括以下步骤：

2.根据权利要求1所述的基于图像识别的机器人随机巡检方法，其特征在于，所述快速图像识别具体为：

3.根据权利要求2所述的基于图像识别的机器人随机巡检方法，其特征在于，产生所述追查报警信号后，将当前时间段内拍摄的所述多张图像上传至分析服务器，所述分析服务器采用精细图像识别方式进行对比复查，判断对比复查结果是否大于设定阈值，若是，则由分析服务器或巡检机器人上报设施名称，若否，则巡检机器人将巡检后设施的安全值根据巡检函数进行更新。

4.根据权利要求1所述的基于图像识别的机器人随机巡检方法，其特征在于，所述巡检函数的表达式为：

A_n＝J+K·Tp·Lm/Lp·Tm

5.根据权利要求1所述的基于图像识别的机器人随机巡检方法，其特征在于，所述安全函数的表达式为：

A_n＝A_n-1·t(1-t^Q1)^(1/Q2)，

6.根据权利要求1所述的基于图像识别的机器人随机巡检方法，其特征在于，所述设定排序采用如下方式确定：

以所述巡检分值Pt对所有待巡检的设施进行排序。

7.根据权利要求6所述的基于图像识别的机器人随机巡检方法，其特征在于，计算所述巡检分值时，针对单个设施或一个设施组进行计算，相应地，以所述巡检分值对所有单个设施或所有设施组进行排序，所述设施组通过聚类分析划分。

8.根据权利要求6所述的基于图像识别的机器人随机巡检方法，其特征在于，遍历的设施为未巡检时间大于设定值的设施。

9.根据权利要求1所述的基于图像识别的机器人随机巡检方法，其特征在于，所述符合巡检设定要求的设施满足的条件为：

10.根据权利要求4所述的基于图像识别的机器人随机巡检方法，其特征在于，所述设施上对应的最佳巡检位置设置有一个用于拍摄的二维码，巡检机器人根据拍摄的二维码的缩放比例核对最长时间停留位置与巡检中心的距离差Lp。