CN116452816B

CN116452816B - 一种基于卷积自编码器的舒曼谐振时频图特征提取方法

Info

Publication number: CN116452816B
Application number: CN202310442345.1A
Authority: CN
Inventors: 黄永明; 阙名毅; 孟一恒; 徐邦杰
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2023-04-23
Filing date: 2023-04-23
Publication date: 2025-11-11
Anticipated expiration: 2043-04-23
Also published as: CN116452816A

Abstract

本发明公开了一种基于卷积自编码器的舒曼谐振时频图特征提取方法，其中，卷积自编码器训练的过程为：首先对原始时频图集合进行合并、裁剪、灰度化、标准化，得宽高一致的灰度时频图，然后设计编码器为UNET模型结构、解码器为满足条件约束的映射函数，并将处理后的灰度时频图同时作为训练集和标签，将时频图输入至自编码器中进行迭代训练，梯度更新自编码器中参数。使用该方法可以实现求取时频图像的一阶、二阶导数，从而观察单位像素的变化方向、变化快慢等情况，利于时频图数据的分析，提供了一种时频图数据分析的解决方案。

Description

一种基于卷积自编码器的舒曼谐振时频图特征提取方法

技术领域

本发明涉及一种卷积自编码器的舒曼谐振时频图特征映射方法，尤其涉及到时频图变化的分析方法，属于图像处理和舒曼谐振的数据分析方法领域。

背景技术

一方面，由于原始时域信号本身的性质，时频图本身反映出的异常变化可能是微小的，存在时频图所能观察到的异常并不明显的问题；另一方面，时频图本身以及时频图中的像素是离散量，不存在同时对时间、频率进行差分的方法，即无法观察时频图在单位时间，单位频率内的幅度变化情况，同时也无法直接的计算时频图中单位像素的变化方向、变化快慢等数据特征。并且，在目前的舒曼谐振时频图数据的分析案例中，多数的分析方法都是基于直接观察数据在特定事件(如地震、磁暴等)前后的变化以及通过数学统计方法进行异常的提取和分析，分析方法和提取特征较为简单、直接，缺乏复杂度和可解释性，无法充分的分析舒曼谐振信号中的异常。

发明内容

针对现有技术存在的以上问题，本发明旨在提供一种基于卷积自编码器的舒曼谐振时频图特征提取方法，通过选择合适的编码器模型，设计满足约束条件的解码器，实现对时频图进行单位像素变化的一阶、二阶矩阵求导，从而可以获得时频图的变化规律。

为实现本发明的目的，本发明所采用的技术方案如下：

一种基于卷积自编码器的舒曼谐振时频图特征提取方法，所述方法包括以下步骤：

步骤1：对原始时频图集合进行图像合并、保持高不变进行裁剪、灰度化、标准化；

步骤2：根据具体问题选择合适的模型结构作为编码器；

步骤3：设计满足约束条件的解码器函数；

步骤4：将步骤2和步骤3中设计的编码器、解码器进行融合，得卷积自编码器，并将步骤1中处理结束的时频图输入至卷积自编码器中进行计算，将输入的时频图同时作为训练样本和样本标签，计算模型输入输出的均方差作为损失值，根据损失值对模型进行迭代；

步骤5：重复步骤4，直到达到算法的最大迭代数。

作为本发明的一种改进，所述步骤1中，图像预处理方法为：

原始时频图的分辨率大小为640*560，所涵盖的时间范围为0～24小时(从左至右)，频率范围为0～50Hz(从下至上)，并且时频图中的单位时间及单位频率皆为等间隔，即时间的分辨率为2.25分钟，频域的分辨率为0.089Hz。首先将7张时频图按行排列，再以560*560的窗口进行裁剪，最终得到8张560*560的时频图，此时单张图片在时间尺度上缩减为21小时，而频域尺度上保持不变，最后再对图片灰度化，并对裁剪后图像的像素以1为基准进行标准化。

作为本发明的一种改进，所述步骤2中，根据具体问题选择合适的模型结构作为编码器，考虑编码器的输出维度、解码器的结构、输入数据的类型和实现目标等因素，选择UNET模型作为编码器的主要结构，通过UNET的下采样对时频图进行特征提取，通过上采样还原时频图形状。其中，选择UNET的好处在于UNET能够提取时频图中不同层次的特征，例如幅度特征(亮度、像素大小)、频率特征等，并且将它们通过特征叠加的方式进行整合。

作为本发明的一种改进，所述步骤3中，分设计满足约束条件的解码器函数：

为探究自编码器中的解码器结构，不妨设模型输入的原图像矩阵为Y，经卷积自编码器输出的图像矩阵为H，一般而言，有H逼近于Y，并且对于图像矩阵H中单一元素h_ij而言，h_ij同时包含时间、频率和幅度的信息。

现假设如存在函数f和x_ij满足式1所示，使得：

h_ij＝f(x_ij)i∈[0,560],j∈[0,560],x_ij∈R,h_ij∈R(1)

则x_ij在H足够逼近于Y的前提下，可视为H也包含时间、频率和幅度的信息。

因此，为求得单一元素h_ij的变化情况，需要建立约束条件如下：

因此，可设函数f为：

其满足：

同时，考虑在实际运算时为矩阵间运算，因此可设x_ij所构成的映射矩阵为X，元素全为1的方阵为则有：

其中，矩阵间乘法为哈达玛积，即对应位置的元素相乘，f(X)为自编码器中解码器。

作为本发明的一种改进，所述步骤4中，融合编码器与解码器，将步骤1中处理结束的时频图输入至卷积自编码器中并进行计算，具体过程为：

先将UNET编码器和满足约束条件的解码器函数进行连接，得卷积自编码器，再将预处理后的图像矩阵Y输入到卷积自编码器中，得输出矩阵H，计算均方差MSE(Y,H)，并根据均方差MSE(Y,H)对卷积自编码器模型进行梯度法的迭代。

作为本发明的一种改进，所述步骤5中，重复步骤4，直到达到算法的最大迭代数，初始化迭代数t＝0，设定最大迭代数t_max＝100，完整计算步骤4后t＝t+1，重复至t＝t_max，该算法可表示如下：

与其他方法相比，本发明提出的方法有如下有益效果：

第一，通过卷积自编码器的计算，实现了对时频图的信息增强，凸显了数据的变化情况，同时，通过解码器的设计使得时频图中的特征增强，使时频图像素变化在数值表现上能够更加敏感。

第二，通过所设计的满足约束条件的解码器，使得时频图一阶、二阶可导，并且取值范围在实数全域上。

第三，由于映射的矩阵为宽高一致的数值矩阵，因此可以计算矩阵的行列式、秩、迹等矩阵特征，从而针对性的从数据变化上对所研究问题进行分析，为舒曼谐振时频图数据的分析提供了更多的特征提取能力，一定程度上为当前舒曼谐振数据的研究瓶颈提供了解决方案，为舒曼谐振时频图数据的变化提供了一种有效的、具有可解释性的特征提取方法。

附图说明

图1是本发明一种基于卷积自编码器的舒曼谐振时频图特征提取方法流程图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

实施例1：参见图1，一种基于卷积自编码器的舒曼谐振时频图特征提取方法，所述方法包括以下步骤：

步骤2：根据具体问题选择合适的模型结构作为编码器；

步骤3：设计满足约束条件的解码器函数；

步骤5：重复步骤4，直到达到算法的最大迭代数。

步骤1中，图像预处理方法为：原始时频图的分辨率大小为640*560，所涵盖的时间范围为0～24小时(从左至右)，频率范围为0～50Hz(从下至上)，并且时频图中的单位时间及单位频率皆为等间隔，即时间的分辨率为2.25分钟，频域的分辨率为0.089Hz。首先将7张时频图按行排列，再以560*560的窗口进行裁剪，最终得到8张560*560的时频图，此时单张图片在时间尺度上缩减为21小时，而频域尺度上保持不变，最后再对图片灰度化，并对裁剪后图像的像素以1为基准进行标准化。

步骤2中，根据具体问题选择合适的模型结构作为编码器。考虑编码器的输出维度、解码器的结构、输入数据的类型和实现目标等因素，选择UNET模型作为编码器的主要结构，通过UNET的下采样对时频图进行特征提取，通过上采样还原时频图形状。其中，选择UNET的好处在于UNET能够提取时频图中不同层次的特征，例如幅度特征(亮度、像素大小)、频率特征等，并且将它们通过特征叠加的方式进行整合。

步骤3中，设计满足约束条件的解码器函数。为探究自编码器中的解码器结构，不妨设模型输入的原图像矩阵为Y，经卷积自编码器输出的图像矩阵为H，一般而言，有H逼近于Y，并且对于图像矩阵H中单一元素h_ij而言，h_ij同时包含时间、频率和幅度的信息。

现假设如存在函数f和x_ij满足式1所示，使得：

h_ij＝f(x_ij)i∈[0,560],j∈[0,560],x_ij∈R,h_ij∈R(1)

因此，可设函数f为：

其满足：

其中，矩阵间乘法为哈达玛积，即对应位置的元素相乘，而f即为解码器。

步骤4中，融合编码器与解码器，将步骤1中处理结束的时频图输入至卷积自编码器中并进行计算，具体过程为：首先将UNET编码器和满足约束条件的解码器函数进行连接，得卷积自编码器，再将预处理后的图像矩阵Y输入到卷积自编码器中，得输出矩阵H，计算均方差MSE(Y,H)，并根据均方差MSE(Y,H)对卷积自编码器模型进行梯度法的迭代。

步骤5中，重复步骤4，直到达到算法的最大迭代数，初始化迭代数t＝0，设定最大迭代数t_max＝100，完整计算步骤4后t＝t+1，重复至t＝t_max，该算法可表示如下：

需要说明的是上述实施例仅仅是本发明的最佳实践案例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代均属于本发明的保护范围。

Claims

1.一种基于卷积自编码器的舒曼谐振时频图特征提取方法，其特征在于，所述方法包括以下步骤：

步骤1：图像预处理，原始时频图集合进行图像合并、保持高不变进行裁剪、灰度化、标准化；

步骤2：根据具体问题选择合适的模型结构作为编码器；

步骤3：设计满足约束条件的解码器函数；

步骤5：重复步骤4，直到达到算法的最大迭代数;

其中，所述步骤3中，设计满足约束条件的解码器函数，具体如下：设模型输入的原图像矩阵为，经卷积自编码器输出的图像矩阵为，有逼近于，并且对于图像矩阵中单一元素而言，同时包含时间、频率和幅度的信息，

现设存在函数和满足式1所示，使得：

(1)

则在足够逼近于的前提下，可视为也包含时间、频率和幅度的信息，

因此，为求得单一元素的变化情况，需要建立约束条件如下：

(2)

因此，可设函数为：

(3)

其满足：

(4)

同时，考虑在实际运算时为矩阵间运算，因此可设所构成的映射矩阵为，元素全为1的方阵为，则有：

(5)

其中，矩阵间乘法为哈达玛积，即对应位置的元素相乘，为自编码器中解码器。

2.根据权利要求1所述的一种基于卷积自编码器的舒曼谐振时频图特征提取方法，其特征在于，所述步骤1中，图像预处理方法为：

原始时频图的分辨率大小为640*560，所涵盖的时间范围为0~24小时，频率范围为0~50Hz，并且时频图中的单位时间及单位频率皆为等间隔，即时间的分辨率为2.25分钟，频域的分辨率为0.089Hz，首先将7张时频图按行排列，再以560*560的窗口进行裁剪，最终得到8张560*560的时频图，此时单张图片在时间尺度上缩减为21小时，而频域尺度上保持不变，最后再对图片灰度化，并对裁剪后图像的像素以1为基准进行标准化。

3.根据权利要求1所述的一种基于卷积自编码器的舒曼谐振时频图特征提取方法，其特征在于，所述步骤2中，根据具体问题选择合适的模型结构作为编码器，具体如下：选择UNET模型作为编码器的主要结构，通过UNET的下采样对时频图进行特征提取，通过上采样还原时频图形状，其中，选择UNET的好处在于UNET能够提取时频图中不同层次的特征，并且将它们通过特征叠加的方式进行整合。

4.根据权利要求1所述的一种基于卷积自编码器的舒曼谐振时频图特征提取方法，其特征在于，所述步骤4中，融合编码器与解码器，将步骤1中处理结束的时频图输入至卷积自编码器中并进行计算，具体过程为：首先将UNET编码器和满足约束条件的解码器函数进行连接，得卷积自编码器，再将预处理后的图像矩阵输入到卷积自编码器中，得输出矩阵，计算均方差MSE(, )，并根据均方差MSE(, )对卷积自编码器模型进行梯度法的迭代。

5.根据权利要求1所述的一种基于卷积自编码器的舒曼谐振时频图特征提取方法，其特征在于：重复步骤4，直到达到算法的最大迭代数，初始化迭代数，设定最大迭代数，完整计算步骤4后，重复至，该算法可表示如下：

。