CN118736310A - 基于天文时频图像的射频干扰识别方法、系统 - Google Patents
基于天文时频图像的射频干扰识别方法、系统 Download PDFInfo
- Publication number
- CN118736310A CN118736310A CN202410871662.XA CN202410871662A CN118736310A CN 118736310 A CN118736310 A CN 118736310A CN 202410871662 A CN202410871662 A CN 202410871662A CN 118736310 A CN118736310 A CN 118736310A
- Authority
- CN
- China
- Prior art keywords
- radio frequency
- image
- encoder
- astronomical time
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于天文时频图像的射频干扰识别方法、系统,包括:获取天文时频图像;将天文时频图像作为编码器、Branch分支的输入,分别获得编码器特征图、高维特征图;将编码器特征图作为解码器的输入,在解码器中引入多尺度残差位置感知注意模块提取特征图信息,将解码器中第四个上采样的输出与Branch分支的输出进行拼接,获得拼接特征图,实现将空间信息与高阶语义信息进行整合;所述拼接特征图通过1次卷积操作后再经分割头预测每个像素的类别。与现有的同类方法相比,它具备较快的网络收敛速度,合理的网络的性能,能够全面且较为准确地识别RFI。
Description
技术领域
本发明涉及一种基于天文时频图像的射频干扰识别方法、系统,属于基于计算机视觉的图像处理领域。
背景技术
天文学是一门需要高度精确和清晰的科学,而射频干扰的存在可能会对天文图像和数据造成负面影响。因此,射频干扰识别成为了天文学研究中的一个重要领域。射频干扰(Radio Frequency Interference,RFI)是指来自人造射频源的电磁辐射,例如无线电通信、雷达、卫星通信等产生的信号,它们可能干扰天文观测设备捕捉和分析来自宇宙的微弱信号。这种干扰可能导致天文图像中出现噪音、失真或数据偏移,严重影响天文学家对宇宙的研究和理解。射频干扰可以有多种来源:通信设施:包括地面无线电台、卫星通信、移动通信网络等;航空器和卫星:飞机、卫星等通信设备可能产生射频干扰;人造源:诸如人造卫星、空间站等人类制造的射频源也可能成为干扰源。射频干扰对天文图像和数据可能产生的影响较多,例如信号失真:干扰信号与天体信号混合,导致信号特征模糊不清;增加噪声:干扰信号增加了背景噪声水平,降低了数据的信噪比;数据偏移:干扰信号可能导致天文数据的偏移,影响测量和分析的准确性。
射频干扰识别作为天文学研究中的一项关键任务,它的发展和应用对于保证天文数据的质量和准确性至关重要。目前常见的射频干扰识别方法有频谱分析、空间滤波、信号处理算法、时频分析和机器学习技术。近年来,机器学习技术在射频干扰识别中的应用逐渐增多,通过训练机器学习模型,可以识别不同类型的射频干扰信号,从而实现自动化的干扰识别。因此通过不断改进识别方法,天文学家们可以更好地应对射频干扰的挑战,从而更深入地探索宇宙的奥秘。
有鉴于此,特提出本发明。
发明内容
本发明提供了一种基于天文时频图像的射频干扰识别方法、系统,构建了由编码器、Branch分支、解码器构成的基于多尺度特征融合的MS-TransUNet网络模型,实现了真实观测数据对应的天文时频图像的射频干扰识别。
本发明的技术方案是:
根据本发明的第一方面,提供了一种基于天文时频图像的射频干扰识别方法,包括:获取天文时频图像;构建由编码器、Branch分支、解码器构成的基于多尺度特征融合的MS-TransUNet网络模型;将天文时频图像作为编码器、Branch分支的输入,分别获得编码器特征图、高维特征图;将编码器特征图作为解码器的输入,在解码器中引入多尺度残差位置感知注意模块提取特征图信息,将解码器中第四个上采样的输出与Branch分支的输出进行拼接,获得拼接特征图,实现将空间信息与高阶语义信息进行整合;所述拼接特征图通过1次卷积操作后再经分割头预测每个像素的类别,以输出射频干扰掩膜图像;其中类别包括:干扰、非干扰。
所述Branch分支具体在于:对输入的天文时频图像分别经一个3×3的卷积核和一个1×1的卷积核操作后的输出进行加法操作,再经批量归一化、Relu操作获得高维特征图。
所述基于多尺度特征融合的MS-TransUNet网络模型的编码器、解码器以TransUNet网络的编码器、解码器为框架,在编码器中,Transformer块采取一个Transformer层;在解码器中引入多尺度残差位置感知注意模块。
所述编码器包含卷积块、Transformer块;其中,卷积块对输入的天文时频图像进行局部特征提取,获得三个不同尺度的射频干扰目标局部特征图;Transformer块将第三尺度的射频干扰目标局部特征图进行编码并对其进行特征提取,获得编码器特征图。
所述解码器在第一次上采样后引入了多尺度残差位置感知注意模块。
所述多尺度残差位置感知注意模块,具体在于:通过设置“不同空洞率的膨胀卷积+平均池化”以提取多尺度残差位置感知注意模块输入图像不同尺度下的特征信息;将膨胀卷积和平均池化的结果拼接,然后通过一个1×1卷积进行降维;将多尺度残差位置感知注意模块原始输入图像与降维后的特征图进行加法操作,再经批量归一化、Relu操作后的特征图进行通道洗牌操作;对通道洗牌操作后的特征图分别在水平和垂直方向进行全局平均池化,得到两个特征图,将水平和垂直方向的特征图进行拼接后经1×1卷积、批量归一化和非线性激活处理,将处理后的特征图在通道维度上分割成两个部分:分别通过1×1卷积conv,然后经过Sigmoid激活函数得到权重;将“通道洗牌操作后的特征图与两个权重相乘获得的输出”与“乘以预设系数的多尺度残差位置感知注意模块原始输入图像和乘以预设系数的通道洗牌操作后的特征图相加的输出”进行相加操作后作为多尺度残差位置感知注意模块输出。
所述基于多尺度特征融合的MS-TransUNet网络模型还包括训练和测试步骤,具体为:将真实观测数据转换成天文时频图像,并采用标注+矫正的方式制作真实掩膜标签图像,以此构建数据集;依据预设比例,将数据集随机划分训练集、验证集和测试集;将训练集运用Transformer增强技术以进行扩充,获得扩充训练集;依据扩充训练集、验证集对基于多尺度特征融合的MS-TransUNet网络模型进行训练和验证,获得训练好的基于多尺度特征融合的MS-TransUNet网络模型;将测试集中天文时频图像作为训练好的基于多尺度特征融合的MS-TransUNet网络模型的输入,获得射频干扰掩膜图像。
根据本发明的第二方面,提供了一种基于天文时频图像的射频干扰的识别系统,包括:获取模块,用于获取天文时频图像;识别模块,用于构建由编码器、Branch分支、解码器构成的基于多尺度特征融合的MS-TransUNet网络模型;将天文时频图像作为编码器、Branch分支的输入,分别获得编码器特征图、高维特征图;将编码器特征图作为解码器的输入,在解码器中引入多尺度残差位置感知注意模块提取特征图信息,将解码器中第四个上采样的输出与Branch分支的输出进行拼接,获得拼接特征图,实现将空间信息与高阶语义信息进行整合;所述拼接特征图通过1次卷积操作后再经分割头预测每个像素的类别,以输出射频干扰掩膜图像;其中类别包括:干扰、非干扰。
根据本发明的第三方面,提供了一种处理器,所述处理器用于执行操作,所述操作包括执行上述中任意一项所述的基于天文时频图像的射频干扰识别方法。
根据本发明的第四方面,提供了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现上述中任一项所述的基于天文时频图像的射频干扰识别方法的步骤。
本发明的有益效果是:本发明构建了由编码器、Branch分支、解码器构成的基于多尺度特征融合的MS-TransUNet网络模型,该网络结合了transformer与u-net架构的思想,使用branch分支作为提取时频图像中干扰的高维特征提取部分,多尺度残差位置感知注意模块提取特征图像中低维特征信息。与现有的同类方法相比,它具备较快的网络收敛速度,合理的网络的性能,能够全面且较为准确地识别RFI。同时,本发明考虑网络的轻量级,设置较少的参数与合理的训练次数。在数据集有限的情况下,本发明在数据预处理的过程中对数据进行在线旋转、裁剪方式扩充数据集,以保证学习的效率。这也意味着本发明的网络兼具轻量级和高效率的特点。相比于现有的深度学习RFI识别方法,增加的更多类型的RFI的识别可能,对RFI的识别更加全面。
附图说明
图1为本发明的流程框图;
图2为本发明所提基于多尺度特征融合的MS-TransUNet网络模型的结构图;
图3为本发明的Branch分支结构图;
图4为本发明的多尺度残差位置感知注意模块结构图;
图5为依据真实观观测数据转换的一张脉冲星天文时频图像;
图6为依据图5制作的真实掩膜标签图像;
图7为本发明MS-TransUNet对图5的识别结果图;
图8为U-net对图5的识别结果图;
图9为R-Net对图5的识别结果图;
图10为RFI-Net对图5的识别结果图;
图11为DSC对图5的识别结果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图,对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下获得的所有其他实施例,都属于本发明保护的范围。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
实施例1:如图1-11所示,根据本发明实施例的第一方面,提供了一种基于天文时频图像的射频干扰识别方法,包括:获取天文时频图像;构建由编码器、Branch分支、解码器构成的基于多尺度特征融合的MS-TransUNet网络模型;将天文时频图像作为编码器、Branch分支的输入,分别获得编码器特征图、高维特征图;将编码器特征图作为解码器的输入,在解码器中引入多尺度残差位置感知注意模块提取特征图信息,将解码器中第四个上采样的输出与Branch分支的输出进行拼接,获得拼接特征图,实现将空间信息与高阶语义信息进行整合;所述拼接特征图通过1次卷积操作后再经分割头预测每个像素的类别,以输出射频干扰掩膜图像;其中类别包括:干扰、非干扰。根据射频干扰的具体突发性的特点,在编码器与解码器之间设计了Branch分支用于保存图像中的纹理以及形状信息,使得网络在上采样Upsample后,能够结合更多的低维图像特征信息,实现更加精确的干扰识别效果。
进一步地,所述Branch分支具体在于:对输入的天文时频图像分别经一个3×3的卷积核和一个1×1的卷积核操作后的输出进行加法操作,再经批量归一化、Relu操作获得高维特征图。应用上述技术方案可知,Branch分支引入的3×3卷积核可以捕捉图像中射频干扰的局部特征,如边缘、纹理等;通过在图像上滑动3×3卷积核,网络可以有效地学习到图像中的局部结构,这对于射频干扰识别任务中区分不同信息的边界和细节非常重要。而在此基础上再接着1×1卷积可以在保留足够的边界和细节信息的情况下达到降低特征图的维度以减少计算量和内存消耗的目的。
进一步地,所述基于多尺度特征融合的MS-TransUNet网络模型的编码器、解码器以TransUNet网络的编码器、解码器为框架,在编码器中,Transformer块采取一个Transformer层;在解码器中引入多尺度残差位置感知注意模块。
进一步地,所述编码器包含卷积块、Transformer块;其中,卷积块CNN对输入的天文时频图像进行局部特征提取,获得三个不同尺度的射频干扰目标局部特征图,有助于捕获图像中RFI的空间信息;Transformer块将第三尺度的射频干扰目标局部特征图进行编码并对其进行特征提取,获得编码器特征图。需要说明的是,Transformer块运用的是自注意力机制,可以对输入的第三尺度的RFI目标局部特征图中每个查询像素的局部邻域中应用自关注,通过将输入为平坦的补丁序列来执行标记化,使用可训练线性投影将矢量化的补丁映射到潜在的嵌入空间中,这使得模型能够关注到RFI目标信息的上下文信息。
进一步地,所述解码器在第一次上采样后引入了多尺度残差位置感知注意模块。
进一步地,所述解码器包括四个上采样层(上采样层使用反卷积将低分辨率特征图还原为高分辨率特征图)、六个卷积操作(五个用于特征提取,一个用于分割头),而为了准确定位和识别原始天文信号中RFI的形状和位置,在解码器第一次上采样后引入了多尺度残差位置感知注意模块,该模块使网络模型能够专注于感兴趣的信息,强调RFI在原始天文信号中的形状和位置,从而提高图像中RFI的分割精度。该模型中利用的四个上采样操作结合了来自编码器的三个不同尺度的RFI目标局部特征图,实现了不同分辨率特征图的结合,使得该模型能够识别不同尺度的RFI特征,经过4次上采样和4次卷积运算的输出与Branch分支输出的高维图像进行拼接获得拼接特征图,实现将空间信息与高阶语义信息进行整合;拼接特征图再通过1次卷积操作后再经1次卷积操作的分割头输出。
进一步地,所述多尺度残差位置感知注意模块,具体在于:通过设置“不同空洞率的膨胀卷积+平均池化”以提取多尺度残差位置感知注意模块输入图像不同尺度下的特征信息;将膨胀卷积和平均池化的结果拼接,然后通过一个1×1卷积进行降维;将多尺度残差位置感知注意模块原始输入图像与降维后的特征图进行加法操作,再经批量归一化、Relu操作后的特征图进行通道洗牌操作Channel shuffle,以增加通道之间的相互作用;对通道洗牌操作后的特征图分别在水平和垂直方向进行全局平均池化,得到两个特征图,将水平和垂直方向的特征图进行拼接(Concat)后经1×1卷积、批量归一化和非线性激活(如h_swish)处理,将处理后的特征图在通道维度上分割成两个部分:分别通过1×1卷积conv,然后经过Sigmoid激活函数得到权重;将“通道洗牌操作后的特征图与两个权重相乘(点乘)获得的输出”与“乘以预设系数的多尺度残差位置感知注意模块原始输入图像和乘以预设系数的通道洗牌操作后的特征图相加的输出”进行相加操作后作为多尺度残差位置感知注意模块输出。其中,预设系数取0.1。本发明针对射频干扰的识别任务专门设计的多尺度残差位置感知注意模块不仅能够捕获不同尺度的特征信息,同时增强了通道间的相互作用和特征表达能力,实现关注RFI特征在图像中不同位置的坐标信息,提升模型对图像语义信息的感知和理解,使模型能够更加准确定位和识别RFI。具体而言:通过设置不同空洞率膨胀卷积提取不同尺度下的特征信息,可以在保持多尺度感受野情况下,保证模型参数量不会大幅增加,而使用通道洗牌操作可以缓解由膨胀卷积带来的隔离通道间无法信息交流问题;再进一步地,上述经膨胀卷积、通道洗牌操作后的RFI特征位置信息嵌入到通道注意力中,可以使模型获取更大的区域信息而不会引入大量的计算开销;再者将通道注意力分解为两个并行的一维特征编码,可以避免2D全局平均池化导致的位置信息丢失,达到有效整合RFI的空间位置信息;最后各部分的信息整合引入了残差连接,以防止梯度在网络训练过程,并融合更多RFI特征信息。该模块使用了多尺度的思想并同时考虑了通道和位置信息之间的关系。
进一步地,所述基于多尺度特征融合的MS-TransUNet网络模型还包括训练和测试步骤,具体为:将真实观测数据转换成天文时频图像,并采用标注+矫正的方式制作真实掩膜标签图像,以此构建数据集;依据预设比例,将数据集随机划分训练集、验证集和测试集;将训练集运用Transformer增强技术以进行扩充,获得扩充训练集;具体而言,运用Transformer技术进行随机裁剪、旋转操作以实现扩充;依据扩充训练集、验证集对基于多尺度特征融合的MS-TransUNet网络模型进行训练和验证,获得训练好的基于多尺度特征融合的MS-TransUNet网络模型;将测试集中天文时频图像作为训练好的基于多尺度特征融合的MS-TransUNet网络模型的输入,获得射频干扰掩膜图像;进一步地,可以输入其它原始天文数据转换得来的天文时频图像,调用基于多尺度特征融合的MS-TransUNet网络模型,输出预测射频干扰掩膜图像。另外,可以依据预测的射频干扰掩膜图像与真实掩膜标签图像进行对比。
进一步地,训练与测试过程均采用精确率、召回率和F2分数来评估模型。
根据本发明实施例的第二方面,提供了一种基于天文时频图像的射频干扰的识别系统,包括:获取模块,用于获取天文时频图像;识别模块,用于构建由编码器、Branch分支、解码器构成的基于多尺度特征融合的MS-TransUNet网络模型;将天文时频图像作为编码器、Branch分支的输入,分别获得编码器特征图、高维特征图;将编码器特征图作为解码器的输入,在解码器中引入多尺度残差位置感知注意模块提取特征图信息,将解码器中第四个上采样的输出与Branch分支的输出进行拼接,获得拼接特征图,实现将空间信息与高阶语义信息进行整合;所述拼接特征图通过1次卷积操作后再经分割头预测每个像素的类别,以输出射频干扰掩膜图像;其中类别包括:干扰、非干扰。
根据本发明实施例的第三方面,提供了一种处理器,所述处理器用于执行操作,所述操作包括执行上述中任意一项所述的基于天文时频图像的射频干扰识别方法。
根据本发明实施例的第四方面,提供了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现上述中任一项所述的基于天文时频图像的射频干扰识别方法的步骤。
需要说明的是,射频干扰源可能来自多个不同的地方,包括通信设备、卫星通信、航空器、雷达等。这些干扰源可能具有不同的频率、功率和工作模式,使得识别和区分它们变得更加复杂和困难。在天文观测中,干扰信号常常与天体信号混合在一起,导致天体信号的失真或模糊。这种混合使得区分和识别干扰信号变得更加困难,需要采取更加精细的处理方法。天文观测通常在复杂多变的天文环境中进行,如天气变化、地球自转、大气干扰等都可能影响射频信号的传播和接收。这些因素增加了识别和排除射频干扰的难度。下面结合实验数据,对本发明可选地具体实施过程说明如下:
在本次实验中,本发明设置batch为8,总共300个epoch,每一层的初始权值是随机的。使用骰子损失作为损失函数,使用Adam作为优化器,并且在训练过程中设置学习率自动随机调整。
Step1、本发明的数据集由实验室制作而成。使用中国科学院云南天文台40米口径射电望远镜在2016年9月至2022年10月期间的真实脉冲星观测数据对模型进行训练和评估。实验数据的中心观测频率为2256MHz,相位点数量为512,选取子积分通道数量大于90且频率通道数量大于128的数据,子积分时间包含10s和30s,频率通道带宽1MHz。
Step2、首先对原始真实脉冲星观测数据进行处理,将其转换为天文时频图像,然后使用AOFlagger 3标注后二次人工矫正制作掩膜标签图像。
Step3、本研究的实验数据集由三颗不同脉冲星的1383个观测文件制作而成,为确保数据集划分的公平与合理性,本发明设置通过7:1.5:1.5的比例随机划分训练集、验证集和测试集,即70%作为训练样本,15%作为验证样本,剩余的15%作为测试样本。其中968个文件用于模型训练,207个文件用于模型验证,其余208个文件用于对模型性能评估。
进一步地,本发明使用了transformer技术中的增强方法进行随机旋转和裁剪操作来扩充数据的多样性,提高网络的学习效率,在线扩充训练集到290400张图像。
需要说明的是,训练、验证与测试集中任意给定一张时频图像,包含的信息为有用的脉冲星信号和无用的射频干扰信号,与这个图像相对应的掩膜标签图像仅包含射频干扰信号;
在学习训练过程中,基于多尺度特征融合的MS-TransUNet网络模型学习原始时频图像中的干扰信息,并与掩膜标签作为参照调整学习方法与策略;验证与测试过程均采用精确率、召回率和F2分数来评估模型。具体说明如下:
精确率表示模型正确预测的时频图像中射频干扰的像素与全部预测为射频干扰的像素的比例。精确率的公式为:
其中,TP(真正例)是模型正确预测为射频干扰的像素数,FP(假正例)是模型错误预测为射频干扰的像素数。
召回率是指真正为正例的样本中,模型成功预测为正例的比例。在RFI识别任务中,召回率表示模型正确预测的时频图像中射频干扰的像素与所有实际预测为射频干扰的像素的比例。召回率的公式为:
其中,TP是模型正确预测为射频干扰的像素数,FN(假负例)是模型未能正确预测为射频干扰的像素数。
fβ分数是精确率和召回率的加权调和平均值,通过调整β值可以平衡精确率和召回率之间的关系。Fβ分数的公式为:
其中,β是一个权重参数,用于平衡精确率和召回率。在F2分数中,β的值越大,对召回率的影响就越大。在本发明实施例中,设置β等于2。
模型每微调一次记录结果,以综合指标F2分数作为评判指标,保存最好结果的模型。
在训练过程中,伴随实验的进展损失函数的值不断变化。各项评估指标的值也在变化。通过实验的随机一次实验可知,MS-TransUNet网络刚开始的损失函数值接近0.4,随着训练过程的推进逐渐降低,在第230个epoch时趋向稳定,最后趋近于0。而精确率一开始就比较高但不稳定,随着训练的次数的增多趋于稳定状态;召回率在一开的时候比较低,训练开始时飞速提高,伴随训练过程在第230个epoch时达到较高水平并在之后的训练中表现出稳定水平。
为探究验证本发明的网络模型在当前具有优越性,本发明复现了目前较优的U-Net,RFI-Net,DSC和R-Net等。使用同样实验平台与数据集训练、测试每个模型,选用多次实验的结果平均指标进行展示(选用20次实验的结果),如表1所示:
表1对比实验
| Precision | Recall | F2分数 | |
| U-Net | 0.8929 | 0.7251 | 0.7534 |
| RFI-Net | 0.8792 | 0.7457 | 0.7692 |
| DSC | 0.8479 | 0.6922 | 0.7186 |
| R-Net | 0.8319 | 0.5574 | 0.5936 |
| MS-TransUNet | 0.8129 | 0.8016 | 0.8039 |
通过表1展示的数据,可以看出,精确度和召回率有互相抑制的表现,一个升高另一个必然下降。精确度代表查准率,召回率代表查全率,但精确度和召回率通常处于一种权衡关系中,对于结果评估,需要综合考虑。而对于RFI识别任务,需要保证精确度,同样重要的,是在保证识别精度的条件下(通常百分之八十以上),提高识别的全面性。因此,本发明选择综合指标F2分数作为最后的评定依据,F2分数是精确度和召回率的一种加权调和平均值,用于衡量二分类模型的性能,尤其适用于需要重视召回率的情况。从数据中看出,R-Net的测试结果表现较差,综合指标F2的平均结果为59.39%;其次,DSC的F2指标处于第三梯队,为71.86%;最后,U-Net和RFI-Net的F2指标差异不大,与R-Net相比较显现出优异性。而值得注意的是,本发明提出的MS-TransUNet在射电天文领域明显优秀于之前的方法。
依据上述的实施过程,随机选择一张测试图片如图5所示,图6对应的真实掩膜标签图像如图6所示,通过不同模型获得的预测图像的可视化结果展示于图7-图11所示:从图6-图11中可以看出,尽管现有的多种方法都可以对RFI进行识别,且大多数RFI能够被识别出,但是本发明提出的MS-TransUNet网络表现出优于之前方法的可视化效果,较比现有的多种方法它可以做到最全面且精确的预测出RFI的形状与位置。
为探究MS-TransUNet网络的合理性,本发明给出如下关于网络的消融比对实验。如表2所示:
表2消融实验
| Precision | Recall | F2分数 | |
| transUNet | 0.8266 | 0.7779 | 0.7872 |
| transUNet+1 | 0.8388 | 0.7769 | 0.7885 |
| MS-TransUNet | 0.8129 | 0.8016 | 0.8039 |
从表2中可以看出,原始的transUNet网络迁移至天文领域用于RFI的识别表现优秀,而在原始网络上加入多尺度残差位置感知注意模块(transUNet+1),使得更好的结果在测试指标中体现出来。而在该基础上,进一步引入branch分支,即获得本发明提出的MS-TransUNet,该MS-TransUNet虽然只是在transUNet+1基础上引入简单的卷积核组合而来的branch分支,却给网络的性能带来了一个好的效果。
鉴于天文时频图像中RFI的特性并不唯一,有些具有宽带特性,能在射电频谱中产生连续的干扰,有些具有突发性,在时间上表现得非常突然,持续时间长短不确定。此外,RFI强度不均匀,在频谱中的分布也不均匀。而本发明提出了一种基于transUNet改进的识别RFI的网络结构,称为MS-TransUNet。该网络结合了transformer与u-net架构的思想,使用branch分支作为提取时频图像中干扰的高维特征提取部分,多尺度残差位置感知注意模块提取特征图像中低维特征信息。通过训练好的模型可以精确且全面地批量识别天文图像中存在的射频干扰,自动高效。与现有的同类方法相比,它具备较快的网络收敛速度,合理的网络的性能,能够全面且较为准确地识别RFI。同时,本发明考虑网络的轻量级,设置较少的参数与合理的训练次数。在数据集有限的情况下,本发明在数据预处理的过程中对数据进行在线旋转、裁剪方式扩充数据集,以保证学习的效率。这也意味着本发明的网络兼具轻量级和高效率的特点。
上面结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (10)
1.一种基于天文时频图像的射频干扰识别方法,其特征在于,包括:
获取天文时频图像;
构建由编码器、Branch分支、解码器构成的基于多尺度特征融合的MS-TransUNet网络模型;将天文时频图像作为编码器、Branch分支的输入,分别获得编码器特征图、高维特征图;将编码器特征图作为解码器的输入,在解码器中引入多尺度残差位置感知注意模块提取特征图信息,将解码器中第四个上采样的输出与Branch分支的输出进行拼接,获得拼接特征图,实现将空间信息与高阶语义信息进行整合;所述拼接特征图通过1次卷积操作后再经分割头预测每个像素的类别,以输出射频干扰掩膜图像;其中类别包括:干扰、非干扰。
2.根据权利要求1所述的基于天文时频图像的射频干扰识别方法,其特征在于,所述Branch分支具体在于:对输入的天文时频图像分别经一个3×3的卷积核和一个1×1的卷积核操作后的输出进行加法操作,再经批量归一化、Relu操作获得高维特征图。
3.根据权利要求1所述的基于天文时频图像的射频干扰识别方法,其特征在于,所述基于多尺度特征融合的MS-TransUNet网络模型的编码器、解码器以TransUNet网络的编码器、解码器为框架,在编码器中,Transformer块采取一个Transformer层;在解码器中引入多尺度残差位置感知注意模块。
4.根据权利要求3所述的基于天文时频图像的射频干扰识别方法,其特征在于,所述编码器包含卷积块、Transformer块;其中,卷积块对输入的天文时频图像进行局部特征提取,获得三个不同尺度的射频干扰目标局部特征图;Transformer块将第三尺度的射频干扰目标局部特征图进行编码并对其进行特征提取,获得编码器特征图。
5.根据权利要求1所述的基于天文时频图像的射频干扰识别方法,其特征在于,所述解码器在第一次上采样后引入了多尺度残差位置感知注意模块。
6.根据权利要求1所述的基于天文时频图像的射频干扰识别方法,其特征在于,所述多尺度残差位置感知注意模块,具体在于:通过设置“不同空洞率的膨胀卷积+平均池化”以提取多尺度残差位置感知注意模块输入图像不同尺度下的特征信息;将膨胀卷积和平均池化的结果拼接,然后通过一个1×1卷积进行降维;将多尺度残差位置感知注意模块原始输入图像与降维后的特征图进行加法操作,再经批量归一化、Relu操作后的特征图进行通道洗牌操作;对通道洗牌操作后的特征图分别在水平和垂直方向进行全局平均池化,得到两个特征图,将水平和垂直方向的特征图进行拼接后经1×1卷积、批量归一化和非线性激活处理,将处理后的特征图在通道维度上分割成两个部分:分别通过1×1卷积conv,然后经过Sigmoid激活函数得到权重;将“通道洗牌操作后的特征图与两个权重相乘获得的输出”与“乘以预设系数的多尺度残差位置感知注意模块原始输入图像和乘以预设系数的通道洗牌操作后的特征图相加的输出”进行相加操作后作为多尺度残差位置感知注意模块输出。
7.根据权利要求1所述的基于天文时频图像的射频干扰识别方法,其特征在于,所述基于多尺度特征融合的MS-TransUNet网络模型还包括训练和测试步骤,具体为:
将获取的天文时频图像采用标注+矫正的方式制作真实掩膜标签图像,以此构建数据集;
依据预设比例,将数据集随机划分训练集、验证集和测试集;
将训练集运用Transformer增强技术以进行扩充,获得扩充训练集;
依据扩充训练集、验证集对基于多尺度特征融合的MS-TransUNet网络模型进行训练和验证,获得训练好的基于多尺度特征融合的MS-TransUNet网络模型;
将测试集中天文时频图像作为训练好的基于多尺度特征融合的MS-TransUNet网络模型的输入,获得射频干扰掩膜图像。
8.一种基于天文时频图像的射频干扰的识别系统,其特征在于,包括:
获取模块,用于获取天文时频图像;
识别模块,用于构建由编码器、Branch分支、解码器构成的基于多尺度特征融合的MS-TransUNet网络模型;将天文时频图像作为编码器、Branch分支的输入,分别获得编码器特征图、高维特征图;将编码器特征图作为解码器的输入,在解码器中引入多尺度残差位置感知注意模块提取特征图信息,将解码器中第四个上采样的输出与Branch分支的输出进行拼接,获得拼接特征图,实现将空间信息与高阶语义信息进行整合;所述拼接特征图通过1次卷积操作后再经分割头预测每个像素的类别,以输出射频干扰掩膜图像;其中类别包括:干扰、非干扰。
9.一种处理器,其特征在于,所述处理器用于执行操作,所述操作包括执行权利要求1至7中任意一项所述的基于天文时频图像的射频干扰识别方法。
10.一种计算机可读存储介质,其特征在于,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于天文时频图像的射频干扰识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410871662.XA CN118736310B (zh) | 2024-07-01 | 2024-07-01 | 基于天文时频图像的射频干扰识别方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410871662.XA CN118736310B (zh) | 2024-07-01 | 2024-07-01 | 基于天文时频图像的射频干扰识别方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118736310A true CN118736310A (zh) | 2024-10-01 |
| CN118736310B CN118736310B (zh) | 2024-11-22 |
Family
ID=92856762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410871662.XA Active CN118736310B (zh) | 2024-07-01 | 2024-07-01 | 基于天文时频图像的射频干扰识别方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118736310B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120354892A (zh) * | 2025-06-24 | 2025-07-22 | 昆明理工大学 | 运用Swin Transformer嵌入U2-Net分割射频干扰的方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021000362A1 (zh) * | 2019-07-04 | 2021-01-07 | 浙江大学 | 一种基于深度神经网络模型的地址信息特征抽取方法 |
| CN113850824A (zh) * | 2021-09-27 | 2021-12-28 | 太原理工大学 | 一种基于多尺度特征融合的遥感图像路网提取方法 |
| US20220309674A1 (en) * | 2021-03-26 | 2022-09-29 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on u-net |
| US20230056657A1 (en) * | 2021-08-03 | 2023-02-23 | Abdullah ABUOLAIM | System and method of dual-pixel image synthesis and image background manipulation |
| CN115797931A (zh) * | 2023-02-13 | 2023-03-14 | 山东锋士信息技术有限公司 | 一种基于双分支特征融合的遥感图像语义分割方法 |
| WO2023044612A1 (zh) * | 2021-09-22 | 2023-03-30 | 深圳先进技术研究院 | 一种图像分类的方法和装置 |
| CN116012581A (zh) * | 2022-12-19 | 2023-04-25 | 上海师范大学 | 一种基于双重注意力融合的图像分割方法 |
| CN117152445A (zh) * | 2023-10-31 | 2023-12-01 | 暨南大学 | 基于多连接编码小波池化的实时图像语义分割方法及系统 |
| CN117953341A (zh) * | 2024-01-03 | 2024-04-30 | 广东工业大学 | 一种病理图像分割网络模型、方法、装置及介质 |
| CN118015460A (zh) * | 2024-02-02 | 2024-05-10 | 哈尔滨工业大学 | 一种基于跨尺度引导和增强的遥感图像变化检测方法 |
-
2024
- 2024-07-01 CN CN202410871662.XA patent/CN118736310B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021000362A1 (zh) * | 2019-07-04 | 2021-01-07 | 浙江大学 | 一种基于深度神经网络模型的地址信息特征抽取方法 |
| US20220309674A1 (en) * | 2021-03-26 | 2022-09-29 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on u-net |
| US20230056657A1 (en) * | 2021-08-03 | 2023-02-23 | Abdullah ABUOLAIM | System and method of dual-pixel image synthesis and image background manipulation |
| WO2023044612A1 (zh) * | 2021-09-22 | 2023-03-30 | 深圳先进技术研究院 | 一种图像分类的方法和装置 |
| CN113850824A (zh) * | 2021-09-27 | 2021-12-28 | 太原理工大学 | 一种基于多尺度特征融合的遥感图像路网提取方法 |
| CN116012581A (zh) * | 2022-12-19 | 2023-04-25 | 上海师范大学 | 一种基于双重注意力融合的图像分割方法 |
| CN115797931A (zh) * | 2023-02-13 | 2023-03-14 | 山东锋士信息技术有限公司 | 一种基于双分支特征融合的遥感图像语义分割方法 |
| CN117152445A (zh) * | 2023-10-31 | 2023-12-01 | 暨南大学 | 基于多连接编码小波池化的实时图像语义分割方法及系统 |
| CN117953341A (zh) * | 2024-01-03 | 2024-04-30 | 广东工业大学 | 一种病理图像分割网络模型、方法、装置及介质 |
| CN118015460A (zh) * | 2024-02-02 | 2024-05-10 | 哈尔滨工业大学 | 一种基于跨尺度引导和增强的遥感图像变化检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| FEI GU, LONGFEI HAO, BO LIANG, SONG FENG, SHOULIN WEI, WEI DAI, YONGHUA XU, ZHIXUAN LI, YIHANG DAO: "Radio Frequency Interference Detection Using Efficient Multi-Scale Convolutional Attention UNet", ARXIV, 30 March 2024 (2024-03-30) * |
| ZIQING LUO , KAILEI ZHOU , YUMIN TAN , XIAOLU WANG , RUI ZHU , AND LIQIANG ZHANG: "AD-RoadNet: An Auxiliary-Decoding Road Extraction Network Improving Connectivity While Preserving Multiscale Road Details", IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING, 26 June 2023 (2023-06-26) * |
| 尚群锋;沈炜;帅世渊;: "基于深度学习高分辨率遥感影像语义分割", 计算机系统应用, no. 07, 15 July 2020 (2020-07-15) * |
| 李姗姗,骆开达,卫守林,戴伟,梁波: "基于Dask并行加速的射电干涉成像网格化方法实现", 天文研究与技术, 31 March 2023 (2023-03-31) * |
| 李林娟,贺赟,谢刚,张浩雪,柏艳红: "跨层细节感知和分组注意力引导的 遥感图像语义分割", 中国图像图形学报, 16 May 2024 (2024-05-16) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120354892A (zh) * | 2025-06-24 | 2025-07-22 | 昆明理工大学 | 运用Swin Transformer嵌入U2-Net分割射频干扰的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118736310B (zh) | 2024-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111291825B (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| CN113095409B (zh) | 基于注意力机制和权值共享的高光谱图像分类方法 | |
| CN108596248B (zh) | 一种基于改进深度卷积神经网络的遥感影像分类方法 | |
| CN111950453B (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN111860573A (zh) | 模型训练方法、图像类别检测方法、装置和电子设备 | |
| CN116012364B (zh) | Sar图像变化检测方法和装置 | |
| CN117953341A (zh) | 一种病理图像分割网络模型、方法、装置及介质 | |
| US20250238932A1 (en) | Building method of multi-modal three-dimensional medical image segmentation and registration model, and application thereof | |
| CN115620132B (zh) | 一种无监督的对比学习冰湖提取方法 | |
| CN118395274A (zh) | 一种基于DeepLabV3+模型的射频干扰抑制方法及装置 | |
| CN118334532A (zh) | 基于双时像遥感图像的轻量级遥感变化检测方法及系统 | |
| CN118736310A (zh) | 基于天文时频图像的射频干扰识别方法、系统 | |
| CN120068004A (zh) | 基于深度学习的质谱图离子碎片峰区域识别方法及装置 | |
| CN118429724A (zh) | 一种小样本医疗图像分类方法、系统及存储介质 | |
| CN116704036A (zh) | 一种基于深度学习的x线头影测量标志点自动定位方法 | |
| Zhang et al. | Ascnet: Adaptive-scale convolutional neural networks for multi-scale feature learning | |
| CN119339093B (zh) | 一种基于双分支cnn多尺度融合网络的ct图像分割方法 | |
| CN115564999A (zh) | 基于知识蒸馏的sar图像轻量化目标识别方法 | |
| CN118332443B (zh) | 一种脉冲星数据射频干扰检测方法 | |
| CN113762478A (zh) | 射频干扰检测模型、射频干扰检测方法及装置 | |
| CN118470468B (zh) | 一种射电天文信号的射频干扰检测方法及装置 | |
| Sheng et al. | Apply masked-attention mask transformer to instance segmentation in pathology images | |
| CN115187984B (zh) | 基于波段-位置选择的多光谱遥感图像分割方法 | |
| CN114120050B (zh) | 地表生态数据提取方法及装置、设备和存储介质 | |
| CN118334400A (zh) | 一种基于crvt网络结构的皮肤镜图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |