CN114897699A - 一种风机叶片的红外图像拼接方法及装置 - Google Patents

Abstract

本发明公开了一种风机叶片的红外图像拼接方法及装置。与现有技术相比，本发明通过无人机的飞行速度信息来求取风力发电机叶片两张图像之间的平移量，然后在平移对齐的基础上完成风机叶片图像的拼接，克服了风力发电机叶片上特征稀疏的难题，拼接结果可靠。

Description

一种风机叶片的红外图像拼接方法及装置

技术领域

本发明涉及图像拼接技术领域，具体涉及一种风机叶片的红外图像拼接方法及装置。

背景技术

传统技术中主要依靠望远镜与吊篮人工来检查风机叶片的受损情况。望远镜检查精度低，吊篮检查时间长、费用高。为此，公布号为CN112360699A的中国发明专利公开了一种全自动风力发电机组叶片智能巡视及诊断分析方法，该专利提出了一种采用无人机对风力发电机组叶片自动巡检及诊断的整套方案，其中为跟踪叶片采用了语义分割、目标识别等技术，并在采集后使用图像拼接技术验证巡检采集数据的完整性。通过NCC算法，待匹配图像B断面边界部分按叶片倾斜角度在模版图像A上移动，根据NCC计算图像相似度进行模版粗匹配；此后使用特征提取及形状面积熵匹配获得两图最佳位置关系。

以上专利是采用无人机拍摄的可见光图像，此类图像特征明显、纹理清晰，使用NCC算法、特征提取算法配准可以取得有效的成果。然而，叶片在运行期间难免形成鼓包、裂纹、积水等内部缺陷，这些缺陷用可见光相机难以识别，只能通过红外光图像来进行识别。另一方面，受限于红外传感器的分辨率，红外图像具有弱纹理特征，以上专利中的图像拼接方法不适于用来处理红外光图像。

发明内容

为解决背景技术中现有图像拼接方法不适用于风机叶片的红外巡检的问题，本发明提供了一种风机叶片的红外图像拼接方法，具体技术方案如下。

一种风机叶片的红外图像拼接方法，包括如下步骤：

S1、根据如下公式计算出初始帧图像与下一帧图像之间的新增像素量Q：

其中，V为无人机的飞行速度，T为初始帧图像与下一帧图像之间的时间间隔，P为无人机的红外镜头的对角线像素量，d为无人机的红外镜头与叶片之间的距离，α为无人机的红外镜头的对角线视场角；

S2、在下一帧图像的像素坐标系下，根据所述新增像素量Q在所述下一帧图像中剪裁出有效拼接区域R；所述有效拼接区域R为X_left与X_right之间的区域，其中X_right为所述下一帧图像中风机叶片的上、下边界中长度较短边界的右端点所对应的横坐标值，X_left＝X_right-Q；所述像素坐标系为以图像的左上角顶点为坐标原点，水平向右为X轴的正方向，竖直向下为Y轴的正方向构建的坐标系；

S3、根据如下公式计算出l_j′与l₁之间的索引距离值o_j-1：

j＝1，2，3…，(n-i+1)，得到索引距离值列表O＝[o₀o₁o₂…o_n-i-2o_n-i-1o_n-i]；

其中，l_j′为l中第j个像素值至第j+i个像素值构成的像素值列表片段；l为有效拼接区域R第一列的像素值列表，l＝[v₀ v₁ v₂ … v_n-3 v_n-2 v_n-1]；l₁为初始帧图像最后一列像素值中位于风机叶片的上边界或下边界附近的像素值列表片段，l₁＝[v′₀ v′₁ v′₂ …v′_i-3 v′_i-2 v′_i-1]；n为有效拼接区域R第一列中像素点的数量，i为列表片段中像素点的数量，10≤i≤30；

S4、找到索引距离值列表O中的最小值，该最小值对应的像素值列表l₂即为l中与l₁相匹配的像素值列表片段；l₂＝[v″₀ v″₁ v″₂ … v″_i-3 v″_i-2 v″_i-1]；

S5、在初始帧图像的像素坐标系下，使v′₀的坐标与v″₀的坐标对齐，完成初始帧图像与下一帧图像的拼接；

S6、以拼接后的图像作为新的初始帧风机叶片图像，重复步骤S1－S5，直至完成完整风机叶片图像的拼接。

上述方法通过无人机的飞行速度信息来求取风力发电机叶片两张图像之间的平移量，然后在平移对齐的基础上完成风机叶片图像的拼接，克服了红外图像因弱纹理特征而难以拼接的问题，克服了风力发电机叶片上特征稀疏的难题，拼接结果可靠。

无人机实际飞行中，叶片形状弯曲可能导致镜头与目标的距离不断改变，使得图像中局部叶片的大小出现变化，此时则需要引入缩放系数来进行修正。

优选地，v′₀的坐标与v″₀的坐标对齐之后还包括如下步骤：

S41、根据如下公式计算出缩放系数S：

用缩放系数S对所述下一帧图像的大小进行修正；其中，h为初始帧图像最后一列像素值中风机叶片的上、下边界的坐标值之差；h’为有效拼接区域R第一列的像素值中风机叶片的上、下边界的坐标值之差。

优选地，所述S1之前还包括如下步骤：

S01、采用U-Net语义分割算法对无人机获取的风机叶片的红外图像进行处理，得到叶片前景掩膜图像；

S02、将叶片前景掩膜图像中的物体掩膜部分三通道像素值大小均改为1，背景色均为改为0；

S03、将处理后的叶片前景掩膜图像与原始图像进行乘法运算，得到叶片前景图像；

S04、对叶片前景图像进行旋转处理，使所有叶片前景图像中的叶片统一朝向水平方向。

发明人经大量实验发现，相比较传统阈值分割，U-Net语义分割算法能够实现像素级的分割效果，输出掩膜图像完美提取出前景中的叶片，并且背景噪声影响被完全消除。

优选地，对叶片前景图像进行旋转处理具体包括如下步骤：

S041、对叶片前景掩膜图像进行边界检测，得到叶片边界特征线；

S042、根据叶片边界特征线提取出叶片的上、下边界线，对上、下边界线进行求和取平均，获得叶片中线；

S043、通过多项式拟合求得叶片中线的函数表达式，据此计算出叶片的旋转角度；

S044、根据叶片的旋转角度对叶片前景图像进行旋转处理。

基于相同的发明构思，本发明还提供一种风机叶片的红外图像拼接装置，包括计算机设备，该计算机设备被配置为用于实现上述风机叶片的红外图像拼接方法的步骤。

由于采用了以上技术方案，与现有技术相比较，本发明无人机的飞行速度信息来求取风力发电机叶片两张图像之间的平移量，然后在平移对齐的基础上完成风机叶片图像的拼接，克服了风力发电机叶片上特征稀疏的难题，拼接结果可靠。

附图说明

图1为本发明实施例1中对图像进行对齐处理的示意图；

图2为两张待拼接叶片图像中上、下边界最佳匹配点的位置示意图；

图3为两张待拼接叶片图像上边界对齐的示意图；

图4为两张待拼接叶片图像中叶片宽度示意图；

图5为两张待拼接叶片图像上、下边界均对齐的示意图；

图6为按照本发明拼接方法得到的完整的风机叶片红外图像；

图7为本发明实施例2中风机叶片的红外图像拼接方法的流程示意图。

图8为本发明对叶片图片进行前景分离的效果示意图；

图9为本发明对叶片图像进行旋转预处理的效果示意图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

实施例1

一种风机叶片的红外图像拼接方法，该方法的大致思路如下：在无人机扫描式采集过程中，首先定义无人机飞行坐标系，以叶片的叶根为原点，以叶根指向叶尖为U轴正方向，以无人机视图中的叶片下边界指向叶片上边界为V轴正方向，以垂直叶片平面向内为W轴正方向。由于叶片摆放位置并非完全水平或竖直状态并且风速的影响无法忽视，所以无人机速度方向主要分为沿着叶片的横向水平u、纵向竖直v以及红外镜头与测量叶片之间的垂直距离w(物距)三个方向。根据无人机速度信息，可以精确获得横向水平u方向上的位移速度以及真实位移量，纵向竖直v方向的位移量可以通过对齐两帧叶片图像之间的边界进行修正，最后通过加入缩放系数可以修正物距方向上造成的物体尺寸变化。

具体地，该拼接方法包括如下步骤：

S1、根据如下公式计算出初始帧图像与下一帧图像之间的新增像素量Q：

其中，V为无人机的飞行速度，T为初始帧图像与下一帧图像之间的时间间隔，P为无人机的红外镜头的对角线像素量，d为无人机的红外镜头与叶片之间的距离，α为无人机的红外镜头的对角线视场角；

假设初始帧图像p₁与下一帧图像p₂之间的时间间隔为T，通过无人机飞行数据文件获取初始帧图像p₁对应的实际速度V，可以求出在时间T内无人机位移的真实距离为D＝VT。在数字图像中衡量长度的单位并非米或厘米，而是像素量，需要将无人机位移的真实距离D转换为初始帧图像p₁与下一帧图像p₂之间新增像素量大小。

已知红外镜头参数中DFOV(对角线视场角)为α，红外镜头与叶片距离为d，红外摄像头分辨率为m×n，则对角线的像素大小P为：

设图像对角线在距离为d下的实际长度为L，则有：

令像素格与实际长度的对应关系为

代表1个pixel的实际长度为δ米。因此，初始帧图像(图中为模板图像)p₁与下一帧图像(图中为待拼接图像)p₂之间新增像素量Q为：

新增像素量Q表示沿叶片横向水平方向上的增量，根据像素增量Q可获得待拼接的有效区域R，即下一帧图像p₂中坐标范围为x_left至x_right部分。

如图1所示，具体地，S2、在下一帧图像的像素坐标系下，根据所述新增像素量Q在所述下一帧图像中剪裁出有效拼接区域R；所述有效拼接区域R为X_left与X_right之间的区域，其中X_right为所述下一帧图像中风机叶片的上、下边界中长度较短边界的右端点所对应的横坐标值，X_left＝X_right-Q；所述像素坐标系为以图像的左上角顶点为坐标原点，水平向右为X轴的正方向，竖直向下为Y轴的正方向构建的坐标系；

至此，相当于完成了初始帧图像p₁与下一帧图像p₂的横向对齐，在此基础上还需要通过对齐边界线来修正纵向竖直方向上的位移，其关键在于初始帧图像p₁与下一帧图像p₂叶片的边界点之间的匹配。

如图1所示，由于背景像素均为0，叶片中间部分像素差异性较小，叶片下边界部分边界特征与上边界刚好相反，这样计算得到的欧氏距离极大。而l₂前半部分像素值较小，后半部分像素值较大，与l₁具有同样的边界特征，列表相似度最高，欧氏距离最小。因此，可通过遍历来获得匹配度最高的l₂，同时可以获得其在待拼接图像p₂上的像素坐标信息。

具体地，S3、根据如下公式计算出l_j′与l₁之间的索引距离值o_j-1：

j＝1，2，3…，(n-i+1)，得到索引距离值列表O＝[o₀ o₁ o₂ … o_n-i-2 o_n-i-1 o_n-i]；

其中，l_j′为l中第j个像素值至第j+i个像素值构成的像素值列表片段；l为有效拼接区域R第一列的像素值列表，l＝[v₀v₁v₂…v_n-3v_n-2v_n-1]；l₁为初始帧图像最后一列像素值中位于风机叶片的上边界或下边界附近的像素值列表片段，l₁＝[v′₀ v′₁ v′₂ … v′_i-3v′_i-2 v′_i-1]；n为有效拼接区域R第一列中像素点的数量，i为列表片段中像素点的数量，10≤i≤30。

索引距离值列表O的计算过程具体如下：首先从l中从第一个像素值开始依次取i个像素值，构成像素值列表片段l₁′(即令j＝1)，然后通过公式

计算可得到o₀。然后从l中从第二个像素值开始依次取i个像素值，构成像素值列表片段l₂′(即令j＝2)，同理计算可得到o₁。遍历完整个像素值列表l后，即可得到索引距离值列表：O＝[o₀ o₁ o₂ … o_n-i-2 o_n-i-1o_n-i]。

例如：

l₁＝[0,0,0,4,6,40,120,187,189,190]，

l₀＝[1,0,0,0,0,0,0,1,1,0]，

根据去除背景的叶片图像性质可知，叶片上边界处像素发生激变，灰度值由0迅速升至较大值。而索引距离值列表中的最小值，则代表了l中与l₁相似度最高的列表切片的坐标。因此，S4、找到索引距离值列表O中的最小值，该最小值对应的像素值列表l₂即为l中与l₁相匹配的像素值列表片段；l₂＝[v″₀ v″₁ v″₂ … v″_i-3 v″_i-2 v″_i-1]。

找到l₂后，只需要在初始帧图像的像素坐标系中使像素值v′₀的坐标

与像素值v″₀对应的点

的坐标对齐，即点

在模板图像p₁的像素坐标系中为

即可将p₁与p₂的上边界对齐。具体地，S5、在初始帧图像的像素坐标系下，使v′₀的坐标与v″₀的坐标对齐，完成初始帧图像与下一帧图像的拼接。

若初始帧图像p₁与下一帧图像p₂的图像大小完全一致，当p₁与p₂的上边界对齐(即使v′₀的坐标与v″₀的坐标对齐)时，下边界自然也是对齐的。然而，无人机实际飞行中，叶片形状弯曲可能导致镜头与目标的距离不断改变，使得图像中局部叶片的大小不断变化。由于视场的变化，对齐上边界后p₁与p₂下边界仍会产生锯齿形，此时则需要引入缩放系数来修正p₂，以使得当p₁与p₂的下边界也对齐。

具体地，S41、根据如下公式计算出缩放系数S：

用缩放系数S对所述下一帧图像的大小进行修正；其中，h为初始帧图像最后一列像素值中风机叶片的上、下边界的坐标值之差；h’为有效拼接区域R第一列的像素值中风机叶片的上、下边界的坐标值之差；

缩放系数S的计算原理如下：如图2所示，利用上边界列表与下边界列表的欧式距离匹配方法可得到上下边界两两最佳的匹配点，在P₁像素坐标系中

在P₂像素坐标系中

如图3所示，将P₂置于P₁像素坐标系中，当点

在P₁像素坐标系中的坐标为

时，上边界对齐成功。如图4所示，下边界尚未对齐，下边界点

应对齐

可得缩放系数：

根据缩放系数S对所述下一帧图像P2的大小进行修正后，即可得到上下边界对齐的拼接图，如图5所示。

完成初始帧图像p₁与下一帧图像p₂的拼接后，将拼接后的图像采用相同的方法与再下一帧图像p₃进行拼接，重复直至完成完整风机叶片图像的拼接，即可得到完整的风机叶片红外图像，如图6所示。

具体地，S6、以拼接后的图像作为新的初始帧风机叶片图像，重复步骤S1－S5，直至完成完整风机叶片图像的拼接。

上述方法通过无人机的飞行速度信息来求取风力发电机叶片两张图像之间的平移量，然后在平移对齐的基础上完成风机叶片图像的拼接，克服了风力发电机叶片上特征稀疏的难题，拼接结果可靠。

实施例2

一种风机叶片的红外图像拼接方法，参见图7，包括红外图像的预处理和红外图像拼接两大步骤，其中红外图像拼接方法的步骤详见实施例1。而在红外图像拼接之前，首先需要利用无人机巡检风机叶片时拍摄的红外数据，通过视频抽帧得到风力发电机叶片红外图像数据集共118张，然后对这些红外图像进行预处理。这种预处理主要是进行叶片前景图片的提取和图片的旋转操作，现有技术中存在许多现有的预处理方法，本发明则提供一种特别适用于红外图像拼接的预处理方法，包括如下步骤：

S01、采用U-Net语义分割算法对无人机获取的风机叶片的红外图像进行处理，得到叶片前景掩膜图像；

无人机沿叶片轴线方向匀速飞行并进行连续拍摄，为了提高空间分辨率，热像仪的视场中只包含叶片的局部，使得对叶片表面的成像更加清晰，随着扫描式采集过程的进行，叶片上的某一场景点将在视场中持续出现一段时间，持续时间与视场大小与无人机匀速飞行速度有关。但每帧红外图像中除了所需的叶片前景信息，必然还包含了大量背景噪声的干扰，不利于获取叶片的边界信息以及影响后续拼接，所以需要使用基于深度学习的语义分割网络对于每帧图像进行前景与背景分割来消除冗余信息。

U-Net是应用于语义分割较为广泛的架构，针对无人机采集的单类风力发电机叶片红外图像构建训练集，再使用labelme构建训练叶片的像素级标签。传统阈值分割算法在获取叶片轮廓时具有局限性，对于不同场景下需要开发不同算法获取当前的边界，算法效率高但是泛化能力差，针对复杂背景分割效果难以达到要求。相比较传统阈值分割，训练后网络可以适应各种困难的场景，根据测试结果显示，U-Net能够实现像素级的分割效果，输出掩膜图像完美提取出前景中的叶片，并且背景噪声影响被完全消除。

U-Net输出数据为叶片的前景掩膜，而拼接时数据要求为去除背景信息后的叶片图像，需要对掩膜图像与原始图像进行运算来达到拼接时的图像数据要求。掩膜图像背景为纯黑色，而物体的掩膜带有颜色信息，通过设定灰度阈值将掩膜图像中的物体掩膜部分三通道像素值大小均改为1，而背景色均为0。通过上述预处理之后，将掩膜图像与原始图像进行乘法运算，原始图像中的背景像素值全部得到0，而叶片部分像素值保持原值，图8为叶片边界提取与背景剥离示意图。

具体地，S02、将叶片前景掩膜图像中的物体掩膜部分三通道像素值大小均改为1，背景色均为改为0；S03、将处理后的叶片前景掩膜图像与原始图像进行乘法运算，得到叶片前景图像；

S041、对叶片前景掩膜图像进行边界检测，得到叶片边界特征线；

边界检测是为了将其周围像素灰度有阶跃变化的像素检测出来，这些像素组成的集合就是该图像的边界。比较常用的边界检测方法就是考察每个像素在某个邻域内灰度的变化，然后利用边界临近一阶或二阶方向导数变化规律检测边界，即边界检测局部算法。其中常用的sobel算子可以看作两组3×3的矩阵，对叶片掩膜图像的每个像素点进行sobel算子卷积意味着分别检测叶片的垂直边界与水平边界后取两者中的较大值作为卷积后的灰度值。而边界部分灰度值存在突变，卷积后边界上的灰度值较大，叶片中间区域像素点灰度值差异不大，经过卷积后灰度值普遍为0，最后图像中只保留了叶片边界信息。

在无人机采集过程中，由于操作不当或者外界环境影响可能会使视角旋转从而前后两张叶片图像朝向角度差异过大，最后拼接后的风机图像脱离实际甚至严重弯曲。在对去除背景的叶片图像进行拼接之前，应先对图像进行旋转预处理，将所有待拼接的叶片图像中的叶片朝向统一为水平方向。旋转预处理时，根据叶片边界特征线提取出叶片的上下边界线，对其进行求和取平均获得叶片中线坐标点集合，再通过多项式拟合求得叶片中线的函数表达式，据此计算出叶片的旋转角度。图9为叶片中线拟合后旋转示意图。

具体地，旋转预处理包括如下步骤：

S042、根据叶片边界特征线提取出叶片的上、下边界线，对上、下边界线进行求和取平均，获得叶片中线；

S043、通过多项式拟合求得叶片中线的函数表达式，据此计算出叶片的旋转角度；

S044、根据叶片的旋转角度对叶片前景图像进行旋转处理，使所有叶片前景图像中的叶片统一朝向水平方向。

预处理完成后，将预处理后得到的红外图像按照实施例1中的红外图像拼接方法进行拼接，即可得到完整的风机叶片红外图像。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种风机叶片的红外图像拼接方法，包括如下步骤：

S1、根据如下公式计算出初始帧图像与下一帧图像之间的新增像素量Q：

其中，V为无人机的飞行速度，T为初始帧图像与下一帧图像之间的时间间隔，P为无人机的红外镜头的对角线像素量，d为无人机的红外镜头与叶片之间的距离，α为无人机的红外镜头的对角线视场角；

S2、在下一帧图像的像素坐标系下，根据所述新增像素量Q在所述下一帧图像中剪裁出有效拼接区域R；所述有效拼接区域R为X_left与X_right之间的区域，其中X_right为所述下一帧图像中风机叶片的上、下边界中长度较短边界的右端点所对应的横坐标值，X_left＝X_right-Q；

所述像素坐标系为以图像的左上角顶点为坐标原点，水平向右为X轴的正方向，竖直向下为Y轴的正方向构建的坐标系；

S3、根据如下公式计算出l_j′与l₁之间的索引距离值o_j-1：

j＝1，2，3…，(n-i+1)，得到索引距离值列表O＝[o₀ o₁ o₂…o_n-i-2 o_n-i-1 o_n-i]；

其中，l_j′为l中第j个像素值至第j+i个像素值构成的像素值列表片段；l为有效拼接区域R第一列的像素值列表，l＝[v₀ v₁ v₂…v_n-3 v_n-2 v_n-1]；l₁为初始帧图像最后一列像素值中位于风机叶片的上边界或下边界附近的像素值列表片段，l₁＝[v′₀ v′₁ v′₂…v′_i-3 v′_i-2v′_i-1]；n为有效拼接区域R第一列中像素点的数量，i为列表片段中像素点的数量，10≤i≤30；

S4、找到索引距离值列表O中的最小值，该最小值对应的像素值列表l₂即为l中与l₁相匹配的像素值列表片段；l₂＝[v″₀ v″₁ v″₂…v″_i-3 v″_i-2v″_i-1]；

S5、在初始帧图像的像素坐标系下，使v′₀的坐标与v″₀的坐标对齐，完成初始帧图像与下一帧图像的拼接；

S6、以拼接后的图像作为新的初始帧风机叶片图像，重复步骤S1－S5，直至完成完整风机叶片图像的拼接。

2.根据权利要求1所述的风机叶片的红外图像拼接方法，其特征在于，v′₀的坐标与v″₀的坐标对齐之后还包括如下步骤：

S41、根据如下公式计算出缩放系数S：

用缩放系数S对所述下一帧图像的大小进行修正；其中，h为初始帧图像最后一列像素值中风机叶片的上、下边界的坐标值之差；h’为有效拼接区域R第一列的像素值中风机叶片的上、下边界的坐标值之差。

3.根据权利要求1或2所述的风机叶片的红外图像拼接方法，其特征在于，所述S1之前还包括如下步骤：

S01、采用U-Net语义分割算法对无人机获取的风机叶片的红外图像进行处理，得到叶片前景掩膜图像；

S02、将叶片前景掩膜图像中的物体掩膜部分三通道像素值大小均改为1，背景色均为改为0；

S03、将处理后的叶片前景掩膜图像与原始图像进行乘法运算，得到叶片前景图像；

S04、对叶片前景图像进行旋转处理，使所有叶片前景图像中的叶片统一朝向水平方向。

4.根据权利要求3所述的风机叶片的红外图像拼接方法，其特征在于，对叶片前景图像进行旋转处理具体包括如下步骤：

S041、对叶片前景掩膜图像进行边界检测，得到叶片边界特征线；

S042、根据叶片边界特征线提取出叶片的上、下边界线，对上、下边界线进行求和取平均，获得叶片中线；

S043、通过多项式拟合求得叶片中线的函数表达式，据此计算出叶片的旋转角度；

S044、根据叶片的旋转角度对叶片前景图像进行旋转处理。

5.一种风机叶片的红外图像拼接装置，其特征在于，包括计算机设备，该计算机设备被配置为用于实现权利要求1-4任一项所述方法的步骤。

Images