CN118711035A - 基于合成数据集和深度学习的螺栓松动检测方法及装置 - Google Patents

Abstract

本发明涉及一种基于合成数据集和深度学习的螺栓松动检测方法及装置，该方法为：建立带防松标记的钢结构螺栓群三维模型；在螺栓群三维模型中截取螺栓图像构建合成数据集；用标记软件对合成数据集进行人工标记形成训练数据集；搭建训练网络，并利用训练数据集和合成数据集进行训练；收集真实环境下的螺栓图像对螺栓松动检测模型进行验证；利用螺栓的拍摄视频再次验证螺栓松动检测模型，形成基于视频的螺栓松动检测模型，并将其安装至无人机视频回传端；将拍摄的钢螺栓视频输入螺栓松动检测模型，获得各螺栓的松紧状态；所述装置包括摄像设备以及装载所述检测模型，本发明模型具有有效性和易扩充性，检测结果准确率高，检测速度快。

Description

基于合成数据集和深度学习的螺栓松动检测方法及装置

技术领域

本发明属螺栓松动检测技术领域，具体涉及一种基于合成数据集和深度学习的螺栓松动检测方法及装置。

背景技术

对采用螺栓连接的结构，螺栓松动会影响整体结构的力学行为，导致结构的刚度下降，造成结构在循环荷载下疲劳寿命大幅降低，或使其他螺栓承担更高的负荷，增大其断裂和疲劳破坏的风险，严重威胁结构安全。传统的人工扭矩法检查螺栓松动状态，在螺栓固定后人工划线做螺栓防松标记，人工扭矩法广泛用于工程领域的螺栓质量验收和人工巡检，需要大量人工肉眼观察螺栓松动情况，但由于人工肉眼检测的方法具备一定的主观性，并且对于具有大量螺栓连接的项目大多采用每次检测抽检10％的思路，如此一来可能会遗漏掉部分具有安全隐患的螺栓，由于缺乏对螺栓预紧力的有效监控，近年来由于高强螺栓失效引起的钢结构倒塌事故频频发生，造成了巨大的经济损失和人员伤亡。

目前行业内对于高强螺栓松动大多采用有线传感器设备无损检测或人工巡检的方式来获取特定螺栓的松动状态。一些新建结构从施工开始就通过铺设信号传感器，连续地记录结构的变化信息，以进行结构损伤识别，这些方式可以灵敏且准确的通过判断机械信号的变化来检测螺栓的初期松动信号。但建筑工程结构中的很多螺栓位置隐蔽，有线巡检的方式很不方便，且在密集结构中布置大量传感器，其信号容易进行相互干扰，从而产生虚假报警，加之巡检方式不仅费用高，还不能及时准确地掌握隐蔽结构与设备中螺栓连接的松动状态，使得整个检测过程不具备自动实时报警的特性。因此，准确高效的高强螺栓预紧力监测与松动检测技术是目前亟需解决的难题。

发明内容

本发明要解决的技术问题是现有技术对螺栓群螺栓松动情况检测不完全，漏检、错检率高的问题。

本发明解决所述问题，采用的技术方案是：

一种基于合成数据集和深度学习的螺栓松动检测方法，具体包括以下步骤：

步骤1、利用数字建模软件建立带防松标记的钢结构螺栓群三维模型，其中的防松标记为参考人工扭矩法的螺栓标记线，所述螺栓群三维模型包含松紧状态和松动角度不同的螺栓；

步骤2、按不同透视角度和螺栓松动角度在螺栓群三维模型中截取螺栓图像，一张图像中只包含一个螺栓模型，所有图像构建合成数据集；

步骤3、用标记软件人工标记所述合成数据集，形成训练数据集；

步骤4、搭建基于YOLO v3目标检测算法的训练网络，将训练数据集输入YOLO v3算法中进行训练，形成螺栓松动检测模型；利用合成数据集以及补充数据集对螺栓松动检测模型进行训练，使螺栓松动检测模型具有判断钢结构螺栓位置和松紧状态的能力；所述补充数据集为真实环境下的带防松标记的螺栓图片；

步骤5、收集真实环境下的螺栓图像构建验证数据集，利用验证数据集验证螺栓松动检测模型；

步骤6、利用螺栓的拍摄视频再次验证螺栓松动检测模型，形成基于视频的螺栓松动检测模型，并将其安装至无人机视频回传端；

步骤7、无人机对钢结构螺栓连接处拍摄视频，将视频输入螺栓松动检测模型，即可立即获得各螺栓的松紧状态，完成对螺栓松动的即时监测。

采用上述技术方案的本发明，与现有技术相比，其有益效果是：

1)本发明提供的方法采用基于数字建模软件的合成数据集，一方面保证数据集的有效性和易扩充性，另一方面避免采集螺栓节点数据集的困难、人工消耗、时间消耗；2)本发明提供的方法引入螺栓防松标记，检测过程仅需输入当前状态的螺栓图像，无需基准图像即可判断螺栓松紧状态；3)本发明提供的方法采用的检测模型在大部分环境下的检测结果精准(mAP值大于0.9)、检测速度快(单幅图像检测时间小于0.5秒)；4)本发明提供的方法实现基于视频的螺栓松动缺陷检测，可应用于钢结构螺栓松动的即时检测与监控。

作为优选，本上述结构更进一步的技术方案是：

优选的，防松标记为一条红色直线，其由螺栓尾部顶面中点伸出，经螺杆杆身延伸至螺母和垫圈表面，螺栓松动后表现为杆身表面的标记与螺母表面的标记相错位。

优选的，步骤2中不同的透视角度分别为0°、15°和30°；不同的螺栓松动角度分别为0°、≤5°、10°和20°，截取的螺栓图像为三维模型图像。

优选的，训练数据集是带有地面真实边界框的带螺栓松动标记的xml文件，xml文件中包含了算法能够识别的目标对象的尺寸、位置坐标以及类别信息。

优选的，YOLO v3目标检测算法具体包含以下三个过程：

输入过程：将包含不同松动状态螺栓的图像输入网络，通过卷积神经网络进行特征提取，将1×1的卷积核置于3×3的卷积核之间，用于压缩特征；使用批量正则化模型，加速网络的收敛，并结合Leaky ReLU激活函数提取复杂图像特征，最终获得三个不同尺度的特征层：19×19、38×38、76×76，分别用于预测图像中的大、中、小螺栓对象；

特征融合过程：对经卷积神经网络提取特征后得到的19×19的特征层进行两种不同路径的图像处理：其一为直接利用得到的特征层输出分类和回归预测的结果；其二是将19×19特征层进行卷积，再上采样与38×38的特征层进行特征堆叠和特征融合，再进行五次卷积后得到38×38的特征层，进行分类及回归预测；对38×38和76×76特征层采用相同的特征融合操作；

解码预测过程：将尺寸为19×19的螺栓特征图划分为19×19个网格单元，每个网格单元对应于原始螺栓图像的一个像素区域，每个网格单元内设置三个预先标注在图像上的先验框，螺栓的中心点落在所有网格单元中一个网格内，则用该网格单元的先验框来预测该螺栓：首先确定所包含螺栓的松动状态，再得到相应边界框的置信度；对螺栓图像的预测结果进行解码后，得到各边界框的预测参数，包括边界框中心点距离网格点左上角的相对坐标(x,y)和边界框的宽度和高度(w,h)，再利用非极大抑制法，选取与原始图像的地面真实值对应的具有最大交并比的边界框来预测螺栓，其他边界框认定为无螺栓；最后，将边界框的预测参数的宽度和高度调整到真实位置，输出一幅带有预测框的图像和分类置信度的数值结果。

优选的，搭建螺栓识别模型的具体步骤是：

步骤4.1、使用k-means聚类来确定先验框的大小，以边界框与人工标记的地面真实值之间的IOU作为度量值来判断二者的接近程度：

distance(box,center)＝1-IOU(box,center) 公式8

式中IOU表示螺栓边界框与地面真实值的交集面积与并集面积之比；box表示先验框；center表示地面真实值；

步骤4.2、对于算法输出的每个特征图，每个网格点包含三个先验框，算法将定位目标的中心，计算出目标相对于先验框中心的位置参数(t_x,t_y,t_w,t_h,t_o)，目标中心点的坐标参数和预测框的大小将根据上述相关参数依据网格中心点的初始坐标进行偏移；假设网格中心点距图像左上角存在(c_x,c_y)的偏移度，且先验框的宽度和高度分别为p_w和p_h，则预测框的各参数为：

b_x＝σ(t_x)+c_x 公式9

b_y＝σ(t_y)+c_y 公式10

Pr(object)×IOU(b,object)＝σ(t_o) 公式13

式中，σ(·)表示sigmoid函数，用于将相对坐标偏移值限制在0到1之间；

步骤4.3、算法损失函数由三个主要部分组成，可以表示为：

其中CoordLoss为坐标损失，ConfLoss为置信度损失，ClassLoss为分类损失，N为单张图像的所有预测框数量。

本发明还提供了上述方法的专用检测装置，具体包括提取模块、预处理模块、算法识别模块和后处理模块，

提取模块：用于提取视频中用于检测的图像，模块根据无人机移动速度、算法检测速度以及拍摄螺栓群的螺栓数量匹配取帧间隔，按取帧间隔提取视频中的图像；

预处理模块：包括图像前处理单元和信息附加单元；所述图像前处理单元将提取模块输出的图片尺寸调整为608像素×608像素，对非正方形图像引入灰边填充；所述信息附加单元将照片拍摄时的无人机位置、视角、拍摄螺栓群编号与图像链接；

算法识别模块：搭载训练和验证后的基于YOLO v3的螺栓松动缺陷识别模型，输入预处理后的图像，输出带螺栓位置信息和松紧状态标注的图像；

后处理模块：包括储存单元和异常值输出单元；所述储存单元用于储存无人机拍摄视频和算法检测后的图像信息；所述异常值输出单元用于在算法识别到松动状态螺栓时输出对应图像的无人机拍摄位置、视角以及拍摄的螺栓群编号。

附图说明

图1是本发明提供的螺栓松动检测方法的实施流程图；

图2是本发明提供的螺栓松动检测方法的合成数据集中采用的螺栓防松标记方式；

图3a是本发明提供的螺栓松动检测方法的一实施案例的数字螺栓群三维模型平面投影图；

图3b是本发明提供的螺栓松动检测方法的一实施案例的数字螺栓群三维模型俯视角图；

图3c是本发明提供的螺栓松动检测方法的一实施案例的数字螺栓群三维模型轴侧图；

图4a是本发明提供的螺栓松动检测方法的合成数据集中松动螺栓三维模型案例；

图4b是本发明提供的螺栓松动检测方法的合成数据集中紧螺栓三维模型案例；

图5是本发明提供的螺栓松动检测方法的基于YOLO v3算法的螺栓松动检测方法原理；

图6是本发明提供的螺栓松动检测方法的一实施案例的模型训练参数；

图7是本发明提供的螺栓松动检测方法的一实施案例的算法评价；

图8a是本发明提供的螺栓松动检测方法的实施案例之一的测试集识别部分案例；

图8b是本发明提供的螺栓松动检测方法的实施案例之二的测试集识别部分案例；

图9是本发明提供的螺栓松动检测方法的一实施案例的真实环境下不同透视角度部分识别案例；

图10是本发明提供的螺栓松动检测方法的一实施案例的真实环境下不同距离部分识别案例；

图11是本发明提供的螺栓松动检测方法的一实施案例的真实环境下不同光线部分识别案例；

图12是本发明提供的螺栓松动检测方法的一实施案例的真实环境下不同背景部分识别案例；

图13是本发明提供的螺栓松动检测方法的一实施案例的真实环境下不同标记清晰度部分识别案例；

图14是本发明提供的螺栓松动检测方法的一实施案例的基于拍摄的螺栓视频的部分识别案例。

具体实施方式

下面结合实施例对本发明作进一步说明，目的仅在于更好地理解本发明内容，因此，所举之例并不限制本发明的保护范围。

下面结合风机法兰螺栓松动缺陷检测应用案例对本发明详细说明，按如图1所示的流程完成了利用螺栓拍摄视频实现螺栓松动缺陷的即时检测，显著降低了螺栓松动检测的劳动强度，提高了检测效率和精度。

本发明的基于合成数据集和深度学习的钢结构螺栓松动智能检测方法在风机法兰螺栓松动缺陷检测案例中应用，包括如下步骤：

步骤1、利用数字建模软件建立带防松标记的钢结构螺栓群三维模型，其中的防松标记为参考人工扭矩法的螺栓防松标记，参见图2所示，防松标记5为一条红色直线，其由螺栓1尾部顶面中点伸出，经螺栓螺杆杆身4露出部分延伸至螺母3和垫圈2表面，螺栓1松动后表现为杆身4表面的标记与螺母3表面的标记相错位；防松标记5的线宽度为1.5～3mm，延伸到固定件6和被连接件7表面5.0mm，对螺栓1螺纹伸出螺母3过长(〉8mm)的情况只允许涂打超过螺母3端面8mm；螺栓群三维模型包含松紧状态和松动角度不同的螺栓，模型案例如图3。

步骤2、按不同透视角度和螺栓松动角度截取螺栓群三维模型中的螺栓图像，构建合成数据集，可选的，按透视角度分别为0°、15°和30°时截取螺栓三维模型图像，按松动角度分别为0°、≤5°、10°和20°时截取螺栓三维模型图像；一张图像中只包含一个螺栓模型；本实施案例数据集为包含121个松动螺栓和122个紧螺栓的共480幅图像。

步骤3、对数据集进行人工标记，具体是用标记软件人工标记合成数据集中各带检测目标的螺栓图像，得到带有地面真实边界框的带螺栓松动标记的xml文件，该xml文件包含了算法可以识别的目标对象的尺寸、位置坐标以及类别等信息，创建为训练数据集，标记案例如图4，人工标记4为图示中的矩形框。

步骤4、搭建基于YOLO v3目标检测算法的训练网络并进行训练，形成螺栓松动检测模型。

YOLO v3算法的检测原理分为包含前述发明内容技术方案步骤4的三个过程：输入过程、特征融合过程和解码预测过程，如图5；训练指将步骤3的训练数据集输入YOLO v3算法中进行训练，利用合成数据集以及少量真实环境下的带防松标记的螺栓图片对螺栓松动检测模型进行训练，“少量真实环境下的带防松标记的螺栓图片”这里可称为补充数据集，训练后使螺栓松动检测模型具有判断钢结构螺栓位置和松紧状态的能力，本实施例中训练参数如图6，由于螺栓尺寸较小，因此将网络输入尺寸设置为608×608像素；根据螺栓数据集的图像特征和GPU性能，将每次训练的批量大小设为8。

本实施案例中使用的硬件设备配置为Intel i7-10700的CPU、16GB的内存和NVIDIA RTX 3070的GPU。用测试集测试算法，在精度和速度上表现优异，如图7，松动螺栓检测的准确率为98.21％，召回率为90.91％，mAP为95.17％，单张照片检测耗时为0.024s，部分测试结果如图8。

YOLO v3算法的三个过程具体是：

输入过程：将包含不同松动状态螺栓的图像(尺寸为608像素×608像素)输入网络，通过卷积神经网络进行特征提取，将1×1的卷积核置于3×3的卷积核之间，用于压缩特征；使用批量正则化模型，加速网络的收敛，并结合Leaky ReLU激活函数提取复杂图像特征，最终获得三个不同尺度的特征层：19×19、38×38、76×76，分别用于预测图像中的大、中、小螺栓对象。

特征融合过程：对经卷积神经网络提取特征后得到的19×19的特征层进行两种不同路径的图像处理：其一为直接利用得到的特征层输出分类和回归预测的结果；其二是将19×19特征层进行卷积，再上采样与38×38的特征层进行特征堆叠和特征融合，再进行5次卷积后得到38×38的特征层，进行分类及回归预测；对38×38和76×76特征层采用相同的特征融合操作。

解码预测过程：将尺寸为19×19的螺栓特征图划分为19×19个网格单元，每个网格单元对应于原始螺栓图像的一个像素区域。每个网格单元内设置3个预先标注在图像上的先验框。螺栓的中心点落在所有网格单元中一个网格内，则用该网格单元的先验框来预测该螺栓：首先确定所包含螺栓的松动状态，再得到相应边界框的置信度(边界框包含物体的概率和该边界框的位置精度)。对螺栓图像的预测结果进行解码后，得到各边界框的预测参数，包括边界框中心点距离网格点左上角的相对坐标(x,y)和边界框的宽度和高度(w,h)，再利用非极大抑制法，选取与原始图像的地面真实值对应的具有最大交并比(IOU)的边界框来预测螺栓，其他边界框认定为无螺栓。最后，将边界框的预测参数的宽度和高度调整到真实位置，输出一幅带有预测框的图像和分类置信度的数值结果。

搭建螺栓识别模型的具体步骤是：

4.1：上述网格单元的先验框确定，使用k-means聚类来确定先验框的大小，以边界框与人工标记的地面真实值之间的IOU作为度量值来判断二者的接近程度：

distance(box,center)＝1-IOU(box,center) 公式15

式中IOU表示螺栓边界框与地面真实值的交集面积与并集面积之比；box表示先验框；center表示地面真实值；

4.2：上述算法输出的每个特征图，每个网格点包含三个先验框，算法将定位目标的中心，计算出目标相对于先验框中心的位置参数(t_x,t_y,t_w,t_h,t_o)，目标中心点的坐标参数和预测框的大小将根据上述相关参数依据网格中心点的初始坐标进行偏移；假设网格中心点距图像左上角存在(c_x,c_y)的偏移度，且先验框的宽度和高度分别为p_w和p_h，则预测框的各参数为：

b_x＝σ(t_x)+c_x 公式16

b_y＝σ(t_y)+c_y 公式17

Pr(object)×IOU(b,object)＝σ(t_o) 公式20

式中，σ(·)表示sigmoid函数，用于将相对坐标偏移值限制在0到1之间；

4.3：上述算法优化采用的损失函数由三个主要部分组成，可以表示为：

其中CoordLoss为坐标损失，ConfLoss为置信度损失，ClassLoss为分类损失，N为单张图像的所有预测框数量。

步骤5、收集真实环境下的螺栓图像构建验证数据集，用于验证螺栓松动检测模型。真实环境下螺栓图像验证集的特征包括不同透视角度、不同拍摄距离、不同光照条件、不同室外背景、不同镜头模糊度以及不同标记清晰度，部分识别案例如图9-13。

步骤6、利用螺栓的拍摄视频验证钢结构螺栓松动检测模型，部分检测结果如图14，将算法安装至无人机视频回传端。

要搭载本发明的螺栓松动检测模型的螺栓松动检测装置，其包括以下模块：

提取模块：用于提取视频中用于检测的图像，模块根据无人机移动速度、算法检测速度以及节点螺栓数量匹配取帧间隔，按取帧间隔提取视频中的图像。

预处理模块：包括图像前处理单元和信息附加单元；所述图像前处理单元将提取模块输出的图片尺寸调整为608像素×608像素，对非正方形图像引入灰边填充；所述信息附加单元将照片拍摄时的无人机位置、视角、拍摄螺栓节点编号与图像链接。

算法识别模块：搭载训练和验证后的基于YOLO v3的螺栓松动缺陷识别模型，输入预处理后的图像，输出带螺栓位置和松紧状态标注的图像。

后处理模块：包括储存单元和异常值输出单元；所述储存单元用于储存无人机拍摄视频和算法检测后的图像信息；所述异常值输出单元用于在算法识别到松动状态螺栓时输出对应图像的无人机拍摄位置、视角以及拍摄的节点编号。

步骤7、利用无人机对钢结构螺栓连接处拍摄视频，将视频导入钢结构螺栓松动检测模型，即可立即获得各螺栓的松紧状态，完成对螺栓松动的即时监测。

本发明提供的方法的特点及优势在于：本发明提供的方法采用基于数字建模软件的合成数据集，一方面保证数据集的有效性和易扩充性，另一方面避免采集螺栓节点数据集的困难、人工消耗、时间消耗；本发明提供的方法引入螺栓防松标记，检测过程仅需输入当前状态的螺栓图像，无需基准图像即可判断螺栓松紧状态；本发明提供的方法采用的检测模型在大部分环境下的检测结果精准(mAP值大于0.9)、检测速度快(单幅图像检测时间小于0.5秒)；本发明提供的方法实现基于视频的螺栓松动缺陷检测，可应用于钢结构螺栓松动的即时检测与监控。

本说明具体实施案例表明本发明提供的方法具有检测精度高、速度快的特点，可实现钢结构螺栓松动的即时检测与监控，可有效解决当前螺栓松动检测的劳动强度高、速度慢、频率低、精度低等问题。

以上所述仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及其附图内容所作的等效变化，均包含于本发明的权利范围之内。

Claims (7)

1.一种基于合成数据集和深度学习的螺栓松动检测方法，其特征在于，具体包括以下步骤：

步骤1、利用数字建模软件建立带防松标记的钢结构螺栓群三维模型，其中的防松标记为参考人工扭矩法的螺栓标记，所述螺栓群三维模型包含松紧状态和松动角度不同的螺栓；

步骤2、按不同透视角度和螺栓松动角度在螺栓群三维模型中截取螺栓图像，一张图像中只包含一个螺栓模型，所有图像构建合成数据集；

步骤3、用标记软件对合成数据集进行人工标记，形成训练数据集；

步骤4、搭建基于YOLO v3目标检测算法的训练网络，将训练数据集输入YOLO v3算法中进行训练，形成螺栓松动检测模型；利用合成数据集以及补充数据集对螺栓松动检测模型进行训练，使螺栓松动检测模型具有判断钢结构螺栓位置和松紧状态的能力；所述补充数据集为真实环境下的带防松标记的螺栓图片；

步骤5、收集真实环境下的螺栓图像构建验证数据集，利用验证数据集验证螺栓松动检测模型；

步骤6、利用螺栓的拍摄视频再次验证螺栓松动检测模型，形成基于视频的螺栓松动检测模型，并将其安装至无人机视频回传端；

步骤7、无人机对钢结构螺栓连接处拍摄视频，将视频输入螺栓松动检测模型，即可立即获得各螺栓的松紧状态，完成对螺栓松动的即时监测。

2.根据权利要求1所述的基于合成数据集和深度学习的螺栓松动检测方法，其特征在于：防松标记为一条红色直线，其由螺栓尾部顶面中点伸出，经螺杆杆身延伸至螺母和垫圈表面，螺栓松动后表现为杆身表面的标记与螺母表面的标记相错位。

3.根据权利要求1所述的基于合成数据集和深度学习的螺栓松动检测方法，其特征在于：步骤2中不同的透视角度分别为0°、15°和30°；不同的螺栓松动角度分别为0°、≤5°、10°和20°，截取的螺栓图像为三维模型图像。

4.根据权利要求1所述的基于合成数据集和深度学习的螺栓松动检测方法，其特征在于：训练数据集是带有地面真实边界框的带螺栓松动标记的xml文件，xml文件中包含了算法能够识别的目标对象的尺寸、位置坐标以及类别信息。

5.根据权利要求1所述的基于合成数据集和深度学习的螺栓松动检测方法，其特征在于，YOLO v3目标检测算法具体包含以下三个过程：

输入过程：将包含不同松动状态螺栓的图像输入网络，通过卷积神经网络进行特征提取，将1×1的卷积核置于3×3的卷积核之间，用于压缩特征；使用批量正则化模型，加速网络的收敛，并结合Leaky ReLU激活函数提取复杂图像特征，最终获得三个不同尺度的特征层：19×19、38×38、76×76，分别用于预测图像中的大、中、小螺栓对象；

特征融合过程：对经卷积神经网络提取特征后得到的19×19的特征层进行两种不同路径的图像处理：其一为直接利用得到的特征层输出分类和回归预测的结果；其二是将19×19特征层进行卷积，再上采样与38×38的特征层进行特征堆叠和特征融合，再进行五次卷积后得到38×38的特征层，进行分类及回归预测；对38×38和76×76特征层采用相同的特征融合操作；

解码预测过程：将尺寸为19×19的螺栓特征图划分为19×19个网格单元，每个网格单元对应于原始螺栓图像的一个像素区域，每个网格单元内设置三个预先标注在图像上的先验框，螺栓的中心点落在所有网格单元中一个网格内，则用该网格单元的先验框来预测该螺栓：首先确定所包含螺栓的松动状态，再得到相应边界框的置信度；对螺栓图像的预测结果进行解码后，得到各边界框的预测参数，包括边界框中心点距离网格点左上角的相对坐标(x,y)和边界框的宽度和高度(w,h)，再利用非极大抑制法，选取与原始图像的地面真实值对应的具有最大交并比的边界框来预测螺栓，其他边界框认定为无螺栓；最后，将边界框的预测参数的宽度和高度调整到真实位置，输出一幅带有预测框的图像和分类置信度的数值结果。

6.根据权利要求5所述的基于合成数据集和深度学习的螺栓松动检测方法，其特征在于，搭建螺栓松动检测模型的具体步骤是：

步骤4.1、使用k-means聚类来确定先验框的大小，以边界框与人工标记的地面真实值之间的IOU作为度量值来判断二者的接近程度：

distance(box,center)＝1-IOU(box,center) 公式1

式中IOU表示螺栓边界框与地面真实值的交集面积与并集面积之比；box表示先验框；center表示地面真实值；

步骤4.2、对于算法输出的每个特征图，每个网格点包含三个先验框，算法将定位目标的中心，计算出目标相对于先验框中心的位置参数(t_x,t_y,t_w,t_h,t_o)，目标中心点的坐标参数和预测框的大小将根据上述相关参数依据网格中心点的初始坐标进行偏移；假设网格中心点距图像左上角存在(c_x,c_y)的偏移度，且先验框的宽度和高度分别为p_w和p_h，则预测框的各参数为：

b_x＝σ(t_x)+c_x 公式2

b_y＝σ(t_y)+c_y 公式3

Pr(object)×IOU(b,object)＝σ(t_o) 公式6

式中，σ(·)表示sigmoid函数，用于将相对坐标偏移值限制在0到1之间；

步骤4.3、算法损失函数由三个主要部分组成，可以表示为：

其中CoordLoss为坐标损失，ConfLoss为置信度损失，ClassLoss为分类损失，N为单张图像的所有预测框数量。

7.一种螺栓松动检测装置，其特征在于，包括以下模块：

提取模块：用于提取视频中用于检测的图像，模块根据无人机移动速度、算法检测速度以及拍摄螺栓群的螺栓数量匹配取帧间隔，按取帧间隔提取视频中的图像；

预处理模块：包括图像前处理单元和信息附加单元；所述图像前处理单元将提取模块输出的图片尺寸调整为608像素×608像素，对非正方形图像引入灰边填充；所述信息附加单元将照片拍摄时的无人机位置、视角、拍摄螺栓群编号与图像链接；

算法识别模块：搭载训练和验证后的基于YOLO v3的螺栓松动缺陷识别模型，输入预处理后的图像，输出带螺栓位置信息和松紧状态标注的图像；

后处理模块：包括储存单元和异常值输出单元；所述储存单元用于储存无人机拍摄视频和算法检测后的图像信息；所述异常值输出单元用于在算法识别到松动状态螺栓时输出对应图像的无人机拍摄位置、视角以及拍摄的螺栓群编号。