[go: up one dir, main page]

CN116342510A - 一种飞机发动机孔探检测方法及系统 - Google Patents

一种飞机发动机孔探检测方法及系统 Download PDF

Info

Publication number
CN116342510A
CN116342510A CN202310239700.5A CN202310239700A CN116342510A CN 116342510 A CN116342510 A CN 116342510A CN 202310239700 A CN202310239700 A CN 202310239700A CN 116342510 A CN116342510 A CN 116342510A
Authority
CN
China
Prior art keywords
image
multispectral
borehole
feature map
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310239700.5A
Other languages
English (en)
Inventor
魏永超
邓春艳
敖良忠
张娅岚
夏桂书
刘嘉欣
何前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation Flight University of China
Original Assignee
Civil Aviation Flight University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation Flight University of China filed Critical Civil Aviation Flight University of China
Priority to CN202310239700.5A priority Critical patent/CN116342510A/zh
Publication of CN116342510A publication Critical patent/CN116342510A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种飞机发动机孔探检测方法及系统，涉及航空发动机损伤检测技术领域。本发明包括采集发动机内部的多光谱孔探图像；其中，多光谱孔探图像包括多个单色图像；对多光谱孔探图像进行预处理并得到多光谱预处理图像；将多光谱预处理图像合成为彩色图像；对彩色图像进行检测得到目标检测结果。本发明基于多光谱图像对图像缺陷进行识别和调节以达到避免误检和漏检的目的。

Description

一种飞机发动机孔探检测方法及系统
技术领域
本发明涉及涉及航空发动机损伤检测技术领域，更具体的说是涉及一种飞机发动机孔探检测方法及系统。
背景技术
内窥镜检查技术在飞机的维护中，从预留小孔伸入探头进行检查，因此形象地称为孔探检查，内窥镜也称为“孔探仪”，是飞机日常维护和例行检查的主要工具之一，其目的是掌握发动机内部的状况。孔探仪可检查活塞发动机气缸内的积炭、燃烧室壁的横截面以及门阀的情况，还可检查涡轮发动机的涡轮叶片、喷嘴导流叶片，以及外来物损伤等。在机体检查中，可检测前缘襟翼直角杠杆、电缆附件、软管和电线的连接部件、翼梁内部、复合材料机身内板的脱层情况、检查松动的螺母或螺栓、燃油或其他流体渗漏的位置等。飞机在遭受外来物损伤后，需要进行非常细致的全面检查。在飞机维修中常见的外来损伤有：轮胎扎伤、鸟击、雷击，这些损伤有时候是细小到人眼无法观测的，这时候就可以用上孔探仪进行检测。
在中国专利CN109800708A中，提供了一种基于深度学习的航空发动机孔探图像损伤智能识别方法，获取在测试集上达到预设准确率要求的全卷积神经网络的网络权重，测试集为多个航空发动机孔探标记图像；加载网络权重以初始化全卷积神经网络；获取航空发动机孔探图像；对航空发动机孔探图像进行预处理，得到符合全卷积神经网络输入要求的预处理图像；使用初始化后的全卷积神经网络对预处理图像进行处理，得到航空发动机孔探图像的损伤区域和与损伤区域对应的损伤类别。现有技术中并未对采集的图像进行预处理，在现有技术对图像进行目标识别的过程中，由于被检图像存在具有图像缺陷，往往会出现严重的误检和漏检的情况。
因此，提供一种基于多光谱预处理减少图像缺陷的飞机发动机孔探检测方法及系统，以减少被检图像存在的图像缺陷，是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种飞机发动机孔探检测方法及系统，基于多光谱图像对图像缺陷进行识别和调节以达到避免误检和漏检的目的。
为了实现上述目的，本发明采用如下技术方案：
一种飞机发动机孔探检测方法，具体步骤包括：
S1采集发动机内部的多光谱孔探图像；其中，多光谱孔探图像包括多个单色图像；
S2对多光谱孔探图像进行预处理并得到多光谱预处理图像；
S3将多光谱预处理图像合成为彩色图像；
S4对彩色图像进行检测得到目标检测结果。
可选的，S1的具体步骤包括：
S1.1通过孔探装置的延伸结构将工业内窥镜探入发动机内部；
S1.2通过工业内窥镜上设置的多个窄带单通道成像装置，采集发动机内部的多光谱孔探图像；其中，多光谱孔探图像包括每个窄带单通道成像装置对应获取的单色图像。
可选的，S2的具体步骤包括：
S2.1基于图像质量缺陷数据集使用生成对抗网络训练生成一个预制模型；其中，图像质量缺陷数据集为具有广泛性存在的图像质量缺陷的图像组成的数据集；
S2.2提取出预制模型中生成器的部分网络层作为一个通用的预训练模型；
S2.3针对不同的内窥镜图像质量缺陷，在预训练模型的基础上进行训练，最终得到针对不同内窥镜图像质量缺陷的性能最佳的神经网络模型；
S2.4将多光谱孔探图像输入神经网络模型，并处理输出为多光谱预处理图像。
可选的，S3的具体步骤包括：
S3.1根据多光谱预处理图像，获取光谱曲线；其中，光谱曲线用于体现待拍摄对象的光谱反射比；
S3.2根据光谱曲线以及颜色转换标准，对多光谱预处理图像进行颜色合成得到彩色图像。
可选的，S4的具体步骤包括：
S4.1使用多种尺度的卷积核分别提取彩色图像的卷积特征图；
S4.2使用全连接层调节卷积特征图每一个空间位置的特征向量，得到第一特征图；
S4.3拼接第一特征图，得到拼接特征图，使用全连接层调节拼接特征图每个通道的特征信息，得到第二特征图；
S4.4为第二特征图的每个空间位置上设定不同尺度和长宽比的锚点框；
S4.5将每个锚点框投影到第二特征图上，使用区域特征提取操作提取投影之后锚点框内部的特征，并根据锚点框内部的特征得到锚点框中包含物体的概率值，并根据概率值从所有锚点框中挑选目标候选框；
S4.6使用目标识别网络对目标候选框中的物体进行分类以及回归目标候选框的准确位置和大小，根据准确位置和大小确定物体的边界框，将分类结果和边界框作为目标检测结果输出。
与上述方法所对应的，本发明还公开了一种飞机发动机孔探检测系统，包括：
多光谱图像采集模块、图像处理模块、图像合成模块、目标检测模块；
多光谱图像采集模块，用于采集发动机内部的多光谱孔探图像；其中，多光谱孔探图像包括多个单色图像；
图像处理模块，用于对多光谱孔探图像进行预处理并得到多光谱预处理图像；
图像合成模块，用于将多光谱预处理图像合成为彩色图像；
目标检测模块，用于对彩色图像进行检测得到目标检测结果。
可选的，多光谱图像采集模块包括：延伸结构、工业内窥镜；
延伸结构，用于将工业内窥镜探入发动机内部；
工业内窥镜，用于通过工业内窥镜上设置的多个窄带单通道成像装置，采集发动机内部的多光谱孔探图像；其中，多光谱孔探图像包括每个窄带单通道成像装置对应获取的单色图像。
可选的，图像处理模块包括：初始训练单元、提取单元、迁移单元；
初始训练单元，用于基于图像质量缺陷数据集使用生成对抗网络训练生成一个预制模型；
模型提取单元，用于提取出预制模型中生成器的部分网络层作为一个通用的预训练模型；
迁移单元，用于针对不同的内窥镜图像质量缺陷，在预训练模型的基础上进行训练，最终得到针对不同内窥镜图像质量缺陷的性能最佳的神经网络模型；
图像预处理单元，用于将多光谱孔探图像输入神经网络模型，并处理输出为多光谱预处理图像。
可选的，图像合成模块包括：
光谱曲线提取单元，用于根据多光谱预处理图像，获取光谱曲线；其中，光谱曲线用于体现待拍摄对象的光谱反射比；
彩色图像合成单元，用于根据光谱曲线以及颜色转换标准，对多光谱预处理图像进行颜色合成得到彩色图像。
可选的，目标检测模块包括：提取单元、第一调节单元、第二调节单元、第三调节单元、候选框挑选单元、目标检测单元；
提取单元，用于使用多种尺度的卷积核分别提取彩色图像的卷积特征图；
第一调节单元，用于使用全连接层调节卷积特征图每一个空间位置的特征向量，得到第一特征图；
第二调节单元，用于拼接第一特征图，得到拼接特征图，使用全连接层调节拼接特征图每个通道的特征信息，得到第二特征图；
第三调节单元，用于为第二特征图的每个空间位置上设定不同尺度和长宽比的锚点框；
候选框挑选单元，用于将每个锚点框投影到第二特征图上，使用区域特征提取操作提取投影之后锚点框内部的特征，并根据锚点框内部的特征得到锚点框中包含物体的概率值，并根据概率值从所有锚点框中挑选目标候选框；
目标检测单元，用于使用目标识别网络对目标候选框中的物体进行分类以及回归目标候选框的准确位置和大小，根据准确位置和大小确定物体的边界框，将分类结果和边界框作为目标检测结果输出。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种飞机发动机孔探检测方法及系统，从而可以得到以下有益效果：
1.通过训练后的神经网络模型对采集的图片进行预处理，避免内窥镜图像出现的质量缺陷，并对图片进行调节；
2.对多光谱图像进行合成，从而对采集的图像进行了色彩平衡调节图像的饱和度，使得生成的图像更接近于真实颜色，提高了目标识别的准确率；
3.使用目标检测单元对合成的彩色图片进行目标检测，以检测出视频图像中的飞机引擎设备部件的裂纹、凹坑、烧伤、缺口、变形、腐蚀、材料丢失等缺陷，即时语音播报提醒，并将缺陷识别结果实时传送至数据后台，其中缺陷识别结果至少包括飞机引擎编号、飞机引擎设备部件名称、缺陷分类名称、缺陷位置、带缺陷定位标签的视频截图图像、时间戳和文字标注信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的一种飞机发动机孔探检测方法的流程图；
图2为本发明的一种飞机发动机孔探检测系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例公开了一种飞机发动机孔探检测方法，具体步骤包括：
S1采集发动机内部的多光谱孔探图像；其中，多光谱孔探图像包括多个单色图像；
S2对多光谱孔探图像进行预处理并得到多光谱预处理图像；
S3将多光谱预处理图像合成为彩色图像；
S4对彩色图像进行检测得到目标检测结果。
进一步的，S1的具体步骤包括：
S1.1通过孔探装置的延伸结构将工业内窥镜探入发动机内部；
S1.2通过工业内窥镜上设置的多个窄带单通道成像装置，采集发动机内部的多光谱孔探图像；其中，多光谱孔探图像包括每个窄带单通道成像装置对应获取的单色图像。
更进一步的，窄带单通道成像装置的数量为八个，相应的，多光谱孔探图像包括八个单色图像。
进一步的，S2的具体步骤包括：
S2.1基于图像质量缺陷数据集使用生成对抗网络训练生成一个预制模型；其中，图像质量缺陷数据集为具有广泛性存在的图像质量缺陷的图像组成的数据集；
S2.2提取出预制模型中生成器的部分网络层作为一个通用的预训练模型；
S2.3针对不同的内窥镜图像质量缺陷，在预训练模型的基础上进行训练，最终得到针对不同内窥镜图像质量缺陷的性能最佳的神经网络模型；
S2.4将多光谱孔探图像输入神经网络模型，并处理输出为多光谱预处理图像。
更进一步的，在S2.1中，生成对抗网络为采用循环一致性损失的生成对抗神经网络；训练时的图像质量缺陷数据集具有在内窥镜图像中广泛性存在的图像质量缺陷，有图像质量缺陷的内窥镜图像为
Figure BDA0004123622360000071
式中，xi为第i张缺陷图像，N为缺陷图像的总数；转化后的图像质量可观的内窥镜图像为/>
Figure BDA0004123622360000072
式中，yi为第i张高质量图像，M为高质量图像的总数。图像质量缺陷包括：亮暗不均、模糊。
在S2.2中，在预制模型中，引入两个生成器G：X→Y和F：Y→X，以及两个分别与之对应的判别器DY和DX；在两个对偶的生成对抗网络中引入生成对抗损失进行对抗训练，为了得到对抗损失对于生成器G和与之对应的判别器DY有公式：
Figure BDA0004123622360000081
对于生成器F和与之对应的判别器DX有公式：
Figure BDA0004123622360000082
在使用非配对图像进行训练的过程中，为了保证生成的图像仍然保留原始图像的特性，引入循环一致性损失。使用生成器G将有图像质量缺陷的内窥镜图像x转化为质量较好的图像G(x)，再通过生成器F将G(x)恢复成图像质量差的F(G(x))，保证图像经过两个生成器G和F后仍然能够回复到图像本身；
整个训练过程包括前向循环公式：
x→G(x)→F(G(x))≈x
和后向循环公式：
y→F(y)→G(F(y))≈y
引入L1范数计算循环一致性损失
Figure BDA0004123622360000083
见公式：
Figure BDA0004123622360000084
则总损失函数
Figure BDA0004123622360000085
为公式：
Figure BDA0004123622360000086
λ为一致性损失的权重；
神经网络模型的目标函数为公式：
Figure BDA0004123622360000087
更进一步的，输入256×256大小的图像，进行三次降采样后采用9个resnet模块处理特征图像，最后使用三次上采样恢复至原图大小；降采样第一层和上采样最后一层采用步长为1，卷积核大小为7×7的卷积层；后两层降采样均采用步长为2，卷积核大小为3×3的卷积层；前两层上采样采用步长为1/2，卷积核大小为3×3的反卷积层；判别器网络采用70x70的PatchGANs。
再进一步的，网络训练时，两个生成器和两个判别器分别共享权重；训练时，在公式(8)中λ取8.0，初始学习率设置为0.0002，前30个轮次学习率保持不变，后90个轮次采用线性下降策略，使学习率逐渐下降至趋于0。
在S2.3中，在生成器G：X→Y中，提取后五个resnet块以及三个上采样层作为共享部分；在生成器F：Y→X中，提取三个下采样层以及前五个resnet块作为共享部分；将预训练模型迁移至不同的内窥镜图像质量增强模型中，采用循环一致性损失的生成对抗神经网络训练，得到针对不同内窥镜图像质量缺陷的性能更加良好的神经网络模型。内窥镜图像增强模型包括：去烟模型、色彩校正模型。
进一步的，S3的具体步骤包括：
S3.1根据多光谱预处理图像，获取光谱曲线；其中，光谱曲线用于体现待拍摄对象的光谱反射比；
S3.2根据光谱曲线以及颜色转换标准，对多光谱预处理图像进行颜色合成得到彩色图像。
更进一步的，将多光谱预处理图像转化为光谱数据；根据光谱数据以及通道插值，采用插值算法计算得到光谱曲线；其中插值算法包括：拉格朗日插值算法、牛顿插值算法、样条插值算法、埃尔米特插值算法。
根据光谱曲线，XYZ色度空间的颜色标准，得到过程图像数据；根据过程图像数据，三基色RGB颜色空间的颜色标准，对多光谱预处理图像进行颜色合成得到彩色图像。
再进一步的，将预处理的多光谱预处理图像中的多张单色图像依据颜色转换标准逐点合成为一张彩色图像。
另一实施例设置方式，由红、绿、蓝三帧单色图像依据三原色原理合成一帧彩色图像输出给彩色图像显示模块进行彩色图像显示。
进一步的，S4的具体步骤包括：
S4.1使用多种尺度的卷积核分别提取彩色图像的卷积特征图；
S4.2使用全连接层调节卷积特征图每一个空间位置的特征向量，得到第一特征图；
S4.3拼接第一特征图，得到拼接特征图，使用全连接层调节拼接特征图每个通道的特征信息，得到第二特征图；
S4.4为第二特征图的每个空间位置上设定不同尺度和长宽比的锚点框；
S4.5将每个锚点框投影到第二特征图上，使用区域特征提取操作提取投影之后锚点框内部的特征，并根据锚点框内部的特征得到锚点框中包含物体的概率值，并根据概率值从所有锚点框中挑选目标候选框；
S4.6使用目标识别网络对目标候选框中的物体进行分类以及回归目标候选框的准确位置和大小，根据准确位置和大小确定物体的边界框，将分类结果和边界框作为目标检测结果输出。
更进一步的，S4.1具体为使用k个不同卷积核的卷积操作并行提取特征。
S4.2具体通过下式调节卷积特征图每一个空间位置的特征向量：
ωij＝F(dij)
Figure BDA0004123622360000101
式中：dij表示卷积特征图第(i，j)个空间位置的特征向量，非线性函数F表示三个级联的全连接层，ωij表示第一调节系数，oij表示第一特征图的第(i，j)空间位置的特征向量，
Figure BDA0004123622360000102
表示点乘；
S4.3中调节拼接特征图每个通道的特征信息具体包括：利用全局平均池化得到通道的特征描述子a：
a＝global_pooling(U)
式中：U表示拼接特征图，global_pooling表示全局平均池化；
使用三个级联的全连接层作为非线性函数F，得到每个通道的调节系数e：
e＝F(a)
Figure BDA0004123622360000111
式中：
Figure BDA0004123622360000112
表示点乘，U'表示第二特征图。
S4.5中包括：根据概率值，对锚点框进行排序，使用非极大值抑制过滤掉重复的锚点框后，选出最大概率的N个目标候选框，N为预设正整数。
如图2所示，与上述方法所对应的，本发明还公开了一种飞机发动机孔探检测系统，包括：
多光谱图像采集模块、图像处理模块、图像合成模块、目标检测模块；
多光谱图像采集模块，用于采集发动机内部的多光谱孔探图像；其中，多光谱孔探图像包括多个单色图像；
图像处理模块，用于对多光谱孔探图像进行预处理并得到多光谱预处理图像；
图像合成模块，用于将多光谱预处理图像合成为彩色图像；
目标检测模块，用于对彩色图像进行检测得到目标检测结果。
进一步的，多光谱图像采集模块包括：延伸结构、工业内窥镜；
延伸结构，用于将工业内窥镜探入发动机内部；
工业内窥镜，用于通过工业内窥镜上设置的多个窄带单通道成像装置，采集发动机内部的多光谱孔探图像；其中，多光谱孔探图像包括每个窄带单通道成像装置对应获取的单色图像。
更进一步的，窄带单通道成像装置的数量为八个，相应的，多光谱孔探图像包括八个单色图像。
另一实施例设置方式，窄带单通道成像装置的数量为三个，相应的，多光谱孔探图像包括三个单色图像，在红色光源发光时，单色感光图像传感器积分采集一帧红色光对应的单色图像；在绿色光源发光时，单色感光图像传感器积分采集一帧绿色光对应的单色图像；在蓝色光源发光时，单色感光图像传感器积分采集一帧蓝色光对应的单色图像。
进一步的，图像处理模块包括：初始训练单元、提取单元、迁移单元；
初始训练单元，用于基于图像质量缺陷数据集使用生成对抗网络训练生成一个预制模型；
模型提取单元，用于提取出预制模型中生成器的部分网络层作为一个通用的预训练模型；
迁移单元，用于针对不同的内窥镜图像质量缺陷，在预训练模型的基础上进行训练，最终得到针对不同内窥镜图像质量缺陷的性能最佳的神经网络模型；
图像预处理单元，用于将多光谱孔探图像输入神经网络模型，并处理输出为多光谱预处理图像。
更进一步的，初始训练单元中，生成对抗网络为采用循环一致性损失的生成对抗神经网络；
模型提取单元中，输入256×256大小的图像，进行三次降采样后采用9个resnet模块处理特征图像，最后使用三次上采样恢复至原图大小；降采样第一层和上采样最后一层采用步长为1，卷积核大小为7×7的卷积层；后两层降采样均采用步长为2，卷积核大小为3×3的卷积层；前两层上采样采用步长为1/2，卷积核大小为3×3的反卷积层；判别器网络采用70x70的PatchGANs；网络训练时，两个生成器和两个判别器分别共享权重；
迁移单元中，每一种图像质量增强模型拥有独立的判别器；在生成器G：X→Y中，提取后五个resnet块以及三个上采样层作为共享部分；在生成器F：Y→X中，提取三个下采样层以及前五个resnet块作为共享部分。
进一步的，图像合成模块包括：
光谱曲线提取单元，用于根据多光谱预处理图像，获取光谱曲线；其中，光谱曲线用于体现待拍摄对象的光谱反射比；
彩色图像合成单元，用于根据光谱曲线以及颜色转换标准，对多光谱预处理图像进行颜色合成得到彩色图像。
更进一步的，光谱曲线提取单元包括：第一处理子单元，用于将多光谱预处理图像转化为光谱数据；第二处理子单元，用于根据光谱数据以及通道插值，采用插值算法计算得到光谱曲线。其中，插值算法包括：拉格朗日插值算法、牛顿插值算法、样条插值算法、埃尔米特插值算法。
彩色图像合成单元包括：第三处理子单元，用于根据光谱曲线，XYZ色度空间的颜色标准，得到过程图像数据；第四处理子单元，用于根据过程图像数据，三基色RGB颜色空间的颜色标准，对多光谱预处理图像进行颜色合成得到彩色图像。
再进一步的，图像合成模块将预处理的多光谱预处理图像中的多张单色图像依据颜色转换标准逐点合成为一张彩色图像。
进一步的，目标检测模块包括：提取单元、第一调节单元、第二调节单元、第三调节单元、候选框挑选单元、目标检测单元；
提取单元，用于使用多种尺度的卷积核分别提取彩色图像的卷积特征图；
第一调节单元，用于使用全连接层调节卷积特征图每一个空间位置的特征向量，得到第一特征图；
第二调节单元，用于拼接第一特征图，得到拼接特征图，使用全连接层调节拼接特征图每个通道的特征信息，得到第二特征图；
第三调节单元，用于为第二特征图的每个空间位置上设定不同尺度和长宽比的锚点框；
候选框挑选单元，用于将每个锚点框投影到第二特征图上，使用区域特征提取操作提取投影之后锚点框内部的特征，并根据锚点框内部的特征得到锚点框中包含物体的概率值，并根据概率值从所有锚点框中挑选目标候选框；
目标检测单元，用于使用目标识别网络对目标候选框中的物体进行分类以及回归目标候选框的准确位置和大小，根据准确位置和大小确定物体的边界框，将分类结果和边界框作为目标检测结果输出。
更进一步的，提取单元具体为使用k个不同尺度卷积核的卷积操作并行提取特征，其中k为大于1的整数；全连接层具体通过下式调节卷积特征图每一个空间位置的特征向量：
ωij＝F(dij)
Figure BDA0004123622360000141
式中：dij表示卷积特征图第(i，j)个空间位置的特征向量，非线性函数F为三个级联的全连接层，ωij表示第一调节系数，dij表示第一特征图的第(i，j)空间位置的特征向量，
Figure BDA0004123622360000142
表示点乘；
第二调节单元调节拼接特征图每个通道的特征信息具体包括：
步骤一：利用全局平均池化得到通道的特征描述子a：
a＝global_pooling(U)
式中：U表示拼接特征图，global_pooling表示全局平均池化；
步骤二：使用三个级联的全连接层作为非线性函数F，得到每个通道的调节系数e：
e＝F(a)
Figure BDA0004123622360000143
式中：
Figure BDA0004123622360000144
表示点乘，U'表示第二特征图。
第三调节单元，为第二特征图的每个空间位置上设定不同尺度和长宽比的锚点框，锚点框的坐标和大小是相对于待测图片的坐标系。
候选框挑选单元包括：根据概率值，对锚点框进行排序，使用非极大值抑制过滤掉重复的锚点框后，选出最大概率的N个目标候选框，N为预设正整数。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种飞机发动机孔探检测方法，其特征在于，具体步骤包括：
S1采集发动机内部的多光谱孔探图像；其中，多光谱孔探图像包括多个单色图像；
S2对多光谱孔探图像进行预处理并得到多光谱预处理图像；
S3将多光谱预处理图像合成为彩色图像；
S4对彩色图像进行检测得到目标检测结果。
2.根据权利要求1所述的一种飞机发动机孔探检测方法，其特征在于，
S1的具体步骤包括：
S1.1通过孔探装置的延伸结构将工业内窥镜探入发动机内部；
S1.2通过工业内窥镜上设置的多个窄带单通道成像装置，采集发动机内部的多光谱孔探图像；其中，多光谱孔探图像包括每个窄带单通道成像装置对应获取的单色图像。
3.根据权利要求1所述的一种飞机发动机孔探检测方法，其特征在于，
S2的具体步骤包括：
S2.1基于图像质量缺陷数据集使用生成对抗网络训练生成一个预制模型；其中，图像质量缺陷数据集为具有广泛性存在的图像质量缺陷的图像组成的数据集；
S2.2提取出预制模型中生成器的部分网络层作为一个通用的预训练模型；
S2.3针对不同的内窥镜图像质量缺陷，在预训练模型的基础上进行训练，最终得到针对不同内窥镜图像质量缺陷的性能最佳的神经网络模型；
S2.4将多光谱孔探图像输入神经网络模型，并处理输出为多光谱预处理图像。
4.根据权利要求1所述的一种飞机发动机孔探检测方法，其特征在于，
S3的具体步骤包括：
S3.1根据多光谱预处理图像，获取光谱曲线；其中，光谱曲线用于体现待拍摄对象的光谱反射比；
S3.2根据光谱曲线以及颜色转换标准，对多光谱预处理图像进行颜色合成得到彩色图像。
5.根据权利要求1所述的一种飞机发动机孔探检测方法，其特征在于，
S4的具体步骤包括：
S4.1使用多种尺度的卷积核分别提取彩色图像的卷积特征图；
S4.2使用全连接层调节卷积特征图每一个空间位置的特征向量，得到第一特征图；
S4.3拼接第一特征图，得到拼接特征图，使用全连接层调节拼接特征图每个通道的特征信息，得到第二特征图；
S4.4为第二特征图的每个空间位置上设定不同尺度和长宽比的锚点框；
S4.5将每个锚点框投影到第二特征图上，使用区域特征提取操作提取投影之后锚点框内部的特征，并根据锚点框内部的特征得到锚点框中包含物体的概率值，并根据概率值从所有锚点框中挑选目标候选框；
S4.6使用目标识别网络对目标候选框中的物体进行分类以及回归目标候选框的准确位置和大小，根据准确位置和大小确定物体的边界框，将分类结果和边界框作为目标检测结果输出。
6.一种飞机发动机孔探检测系统，其特征在于，包括：
多光谱图像采集模块、图像处理模块、图像合成模块、目标检测模块；
多光谱图像采集模块，用于采集发动机内部的多光谱孔探图像；其中，多光谱孔探图像包括多个单色图像；
图像处理模块，用于对多光谱孔探图像进行预处理并得到多光谱预处理图像；
图像合成模块，用于将多光谱预处理图像合成为彩色图像；
目标检测模块，用于对彩色图像进行检测得到目标检测结果。
7.根据权利要求6所述的一种飞机发动机孔探检测系统，其特征在于，
多光谱图像采集模块包括：延伸结构、工业内窥镜；
延伸结构，用于将工业内窥镜探入发动机内部；
工业内窥镜，用于通过工业内窥镜上设置的多个窄带单通道成像装置，采集发动机内部的多光谱孔探图像；其中，多光谱孔探图像包括每个窄带单通道成像装置对应获取的单色图像。
8.根据权利要求6所述的一种飞机发动机孔探检测系统，其特征在于，
图像处理模块包括：初始训练单元、提取单元、迁移单元；
初始训练单元，用于基于图像质量缺陷数据集使用生成对抗网络训练生成一个预制模型；
模型提取单元，用于提取出预制模型中生成器的部分网络层作为一个通用的预训练模型；
迁移单元，用于针对不同的内窥镜图像质量缺陷，在预训练模型的基础上进行训练，最终得到针对不同内窥镜图像质量缺陷的性能最佳的神经网络模型；
图像预处理单元，用于将多光谱孔探图像输入神经网络模型，并处理输出为多光谱预处理图像。
9.根据权利要求6所述的一种飞机发动机孔探检测系统，其特征在于，
图像合成模块包括：
光谱曲线提取单元，用于根据多光谱预处理图像，获取光谱曲线；其中，光谱曲线用于体现待拍摄对象的光谱反射比；
彩色图像合成单元，用于根据光谱曲线以及颜色转换标准，对多光谱预处理图像进行颜色合成得到彩色图像。
10.根据权利要求6所述的一种飞机发动机孔探检测系统，其特征在于，
目标检测模块包括：提取单元、第一调节单元、第二调节单元、第三调节单元、候选框挑选单元、目标检测单元；
提取单元，用于使用多种尺度的卷积核分别提取彩色图像的卷积特征图；
第一调节单元，用于使用全连接层调节卷积特征图每一个空间位置的特征向量，得到第一特征图；
第二调节单元，用于拼接第一特征图，得到拼接特征图，使用全连接层调节拼接特征图每个通道的特征信息，得到第二特征图；
第三调节单元，用于为第二特征图的每个空间位置上设定不同尺度和长宽比的锚点框；
候选框挑选单元，用于将每个锚点框投影到第二特征图上，使用区域特征提取操作提取投影之后锚点框内部的特征，并根据锚点框内部的特征得到锚点框中包含物体的概率值，并根据概率值从所有锚点框中挑选目标候选框；
目标检测单元，用于使用目标识别网络对目标候选框中的物体进行分类以及回归目标候选框的准确位置和大小，根据准确位置和大小确定物体的边界框，将分类结果和边界框作为目标检测结果输出。
CN202310239700.5A 2023-03-14 2023-03-14 一种飞机发动机孔探检测方法及系统 Pending CN116342510A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310239700.5A CN116342510A (zh) 2023-03-14 2023-03-14 一种飞机发动机孔探检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310239700.5A CN116342510A (zh) 2023-03-14 2023-03-14 一种飞机发动机孔探检测方法及系统

Publications (1)

Publication Number Publication Date
CN116342510A true CN116342510A (zh) 2023-06-27

Family

ID=86875654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310239700.5A Pending CN116342510A (zh) 2023-03-14 2023-03-14 一种飞机发动机孔探检测方法及系统

Country Status (1)

Country Link
CN (1) CN116342510A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105919543A (zh) * 2016-05-31 2016-09-07 深圳市中科康医疗科技有限公司 一种多光谱内窥镜成像图像的获取方法及其系统
CN107405064A (zh) * 2015-10-14 2017-11-28 奥林巴斯株式会社 内窥镜用光源装置和内窥镜系统
CN109583483A (zh) * 2018-11-13 2019-04-05 中国科学院计算技术研究所 一种基于卷积神经网络的目标检测方法和系统
WO2020119103A1 (zh) * 2018-12-13 2020-06-18 程琳 基于深度学习的航空发动机孔探图像损伤智能识别方法
CN111784596A (zh) * 2020-06-12 2020-10-16 北京理工大学 基于生成对抗神经网络的通用内窥镜图像增强方法及装置
US11354804B1 (en) * 2019-09-27 2022-06-07 Verily Life Sciences Llc Transforming multispectral images to enhanced resolution images enabled by machine learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107405064A (zh) * 2015-10-14 2017-11-28 奥林巴斯株式会社 内窥镜用光源装置和内窥镜系统
CN105919543A (zh) * 2016-05-31 2016-09-07 深圳市中科康医疗科技有限公司 一种多光谱内窥镜成像图像的获取方法及其系统
CN109583483A (zh) * 2018-11-13 2019-04-05 中国科学院计算技术研究所 一种基于卷积神经网络的目标检测方法和系统
WO2020119103A1 (zh) * 2018-12-13 2020-06-18 程琳 基于深度学习的航空发动机孔探图像损伤智能识别方法
US11354804B1 (en) * 2019-09-27 2022-06-07 Verily Life Sciences Llc Transforming multispectral images to enhanced resolution images enabled by machine learning
CN111784596A (zh) * 2020-06-12 2020-10-16 北京理工大学 基于生成对抗神经网络的通用内窥镜图像增强方法及装置

Similar Documents

Publication Publication Date Title
CN111339882A (zh) 基于实例分割的输电线路隐患检测方法
JP5883949B2 (ja) 画像取込デバイス処理のためのスペクトル合成
CN106548467B (zh) 红外图像和可见光图像融合的方法及装置
JP5721673B2 (ja) 塗色データベース作成方法、作成システム、作成プログラム及び記録媒体
JP5764238B2 (ja) 鋼管内部腐食解析装置及び鋼管内部腐食解析方法
CN105842173B (zh) 一种高光谱材质鉴别方法
JP7412556B2 (ja) 目標コーティング中の効果顔料を識別する方法及び装置
US20190304077A1 (en) System and method for image-based target object inspection
CN109636927B (zh) 一种飞行器姿态测量算法训练与鉴定的系统及方法
CN109544497A (zh) 用于输电线路检测的图像融合方法及电子设备
CN107103589A (zh) 一种基于光场图像的高光区域修复方法
CN114693528B (zh) 无人机低空遥感图像拼接质量评估与降冗方法及系统
AU2021282310B2 (en) Identification of effect pigments in a target coating
CN113920378B (zh) 基于注意力机制的柴胡种子识别方法
CN110619373A (zh) 一种基于bp神经网络的红外多光谱微弱目标检测方法
CN116721385A (zh) 一种基于机器学习的rgb摄像头数据蓝藻水华监测方法
KR102517326B1 (ko) 다중분광 영상에 기반을 둔 산림 병해충 탐지 장치
CN113435514A (zh) 一种基于元深度学习的建筑垃圾精细分类方法、装置
CN117350925A (zh) 一种巡检图像红外可见光图像融合方法、装置及设备
CN116342510A (zh) 一种飞机发动机孔探检测方法及系统
CN120655612A (zh) 一种飞机铆钉缺陷视距自适应检测方法
CN118537708B (zh) 基于改进卷积神经网络的孔探图像损伤识别模型及应用系统
CN114359541A (zh) 基于候选框生成和协调注意力机制的故障绝缘子检测方法
Sulaiman et al. Automatic grading system for oil palm fruit ripeness
CN108322723A (zh) 一种色彩失真的补偿方法、装置和电视机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination