CN118537696A - 基于多源遥感数据的信息融合分析方法 - Google Patents
基于多源遥感数据的信息融合分析方法 Download PDFInfo
- Publication number
- CN118537696A CN118537696A CN202410714967.XA CN202410714967A CN118537696A CN 118537696 A CN118537696 A CN 118537696A CN 202410714967 A CN202410714967 A CN 202410714967A CN 118537696 A CN118537696 A CN 118537696A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing data
- feature
- data
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多源遥感数据的信息融合分析方法，涉及数据处理领域，首先实时获取多源遥感数据，然后将采集的所述多源遥感数据输入到云计算平台进行空间、时间和分辨率的标准化处理，然后对得到的标准化数据进行特征选择和提取，得到最优特征子集，然后将提取的特征输入到特征残差融合神经网络进行特征融合，并进行增强处理，再进行后处理分析，能够有效解决多源遥感数据融合分析中的异质性、多波段和多尺度问题，提高融合分析结果的准确性和效率。
Description
技术领域
本发明涉及数据处理领域，具体涉及一种基于多源遥感数据的信息融合分析方法。
背景技术
随着遥感技术和计算机技术的迅速发展，越来越多的遥感数据源被开发和应用，如卫星遥感、航空遥感、无人机遥感等，使用单一的遥感数据进行信息分析的结果具有局限性和不确定性，多源遥感数据的融合分析已成为实现地理信息系统和其他相关应用的重要手段。相比单源遥感数据，多源遥感数据的融合可以将同一地物的不同类型进行综合，以获得满足目标检测、灾害评估和关注区域提取等任务的高质量信息，产生比单源遥感数据更加精准、可靠的估计和判决。因此，如何基于多源遥感数据进行信息融合分析，以利用各种遥感数据的优势，提高信息分析的精度和效率，具有重要的研究意义和广泛的应用前景。
由于不同遥感数据源可能采用不同的传感器、分辨率和拍摄角度，传感器之间的数据获得时间、空间位置、分辨率方面存在较大差异，导致融合数据的不一致性，因此，现有的多源遥感数据融合分析方法只能针对单一的问题或数据类型进行处理，难以处理异质性、多波段和多尺度的多源遥感数据融合分析，从而影响融合分析结果的准确性和效率。
因此，需要一种基于多源遥感数据的信息融合分析方法，以解决上述问题。
发明内容
针对现有技术的不足，本发明公开了一种基于多源遥感数据的信息融合分析方法，通过数据标准化处理、自适应特征提取、特征残差融合神经网络和注意力机制增强等步骤，能够有效解决多源遥感数据融合分析中的异质性、多波段和多尺度问题，提高融合分析结果的准确性和效率。
本发明采用以下技术方案：
一种基于多源遥感数据的信息融合分析方法，包括以下步骤：
S1、采用无线传感器网络实时获取多源遥感数据，所述多源遥感数据至少包括卫星遥感数据、地面观测数据和无人机遥感数据；
S2、将步骤S1采集的所述多源遥感数据输入到云计算平台进行空间、时间和分辨率的标准化处理，所述云计算平台基于结构相似性指数和互相关系数构建数据标准化模型，所述数据标准化模型包括数据去噪模块、分辨率标准化模块、时空配准模块和校正模块；
S3、基于自适应特征提取动态决策框架对步骤S2得到的标准化数据进行特征选择和提取，得到最优特征子集；
S4、将步骤S3提取的特征输入到特征残差融合神经网络进行特征融合，并通过实时流处理引擎对所述特征残差融合神经网络进行剪枝处理；
S5、通过注意力机制将步骤S4得到的融合数据特征进行增强处理；
S6、基于步骤S5得到的增强融合数据特征进行后处理分析。
进一步地，所述数据标准化模型的工作方法包括以下步骤：
S2.1、构建结构相似性指数，用于衡量遥感数据之间结构信息的相似度，所述结构相似性指数基于亮度、对比度和结构信息进行遥感数据分辨率相似度比较，计算公式为：
在公式(1)中，SSIM(x,y)表示x和y遥感数据的结构相似性指数，x和y表示步骤S1采集的所述多源遥感数据，l(x,y)、c(x,y)和s(x,y)分别表示x和y遥感数据亮度、对比度和结构的相似性，l表示遥感数据亮度相似性，c表示遥感数据对比度相似性，s表示遥感数据结构信息相似性，α、β和γ为遥感数据亮度、对比度和结构信息的相似性权重参数，α>0、β>0、γ>0，α+β+γ＝1，表示归一化因子，用于平衡整体指标的一致性，x和y数据亮度、对比度和结构信息的相似性的计算公式为：
在公式(2)中，l(x,y)表示遥感数据x和y的亮度相似性，c(x,y)表示遥感数据x和y的对比度相似性，s(x,y)表示遥感数据x和y的结构相似性，C1、C2和C3表示标准常量，用于避免分母为零，lx表示遥感数据x的亮度均值，ly表示遥感数据y的亮度均值，cx表示x遥感数据的对比度均值，cy表示遥感数据y的对比度均值，cxy表示遥感数据x和y的协方差，用于表示遥感数据x和y的结构信息；
S2.2、构建互相关系数，用于衡量遥感数据时间序列和空间分布之间的线性相关性，计算公式为：
在公式(3)中，Corr(x,y)表示遥感数据x和y的互相关系数，x(t)和y(t)表示遥感数据x和y在时间序列t的取值，和表示遥感数据x和y时间序列的平均值，T表示时间序列中的时间点数量，Wt表示时间序列归一化权重矩阵，x(i)和y(i)表示遥感数据x和y在空间序列i的值，和表示遥感数据x和y空间序列i的平均值，I表示空间序列的数量，Wi表示空间序列归一化权重矩阵；
S2.3、基于结构相似性指数和互相关系数对步骤S1采集的所述多源遥感数据进行标准化处理，计算公式为：
在公式(4)中，G(x,y)表示遥感数据x和y的标准化值。
进一步地，所述数据去噪模块采用双边滤波器去除所述多源遥感数据中存在的噪声干扰，得到的数据细节信息和边缘信息，所述分辨率标准化模块基于所述结构相似性指数衡量数据细节信息和边缘信息的分辨率相似度，并采用插值法进行分辨率标准化调整，所述时空配准模块采用变换矩阵将不同时间和不同传感器采集到的遥感数据进行时空对齐，所述校正模块采用MODIS辐射定标模型和大气传输修正模型对标准化遥感数据进行辐射定标和大气校正处理，所述数据去噪模块的输出端与所述分辨率标准化模块的输入端连接，所述分辨率标准化模块的输出端与所述时空配准模块的输入端连接，所述时空配准模块的输出端与所述校正模块的输入端连接。
进一步地，所述自适应特征提取动态决策框架根据遥感数据和分析任务自动进行特征子集的选择决策，所述自适应特征提取动态决策框架包括输入层、多尺度卷积层、注意力层、池化层、自适应参数调节层、信息抽取层、协同训练层和输出层，所述自适应特征提取动态决策框架的工作方法包括以下步骤：
S3.1、通过所述输入层将S2得到的标准化数据输入到所述自适应特征提取动态决策框架中；
S3.2、通过信息抽取层、多尺度卷积层、注意力层对输入数据进行特征提取和加权处理，所述信息抽取层采用非线性激活函数和抽取器对输入数据进行表征性特征抽取，所述多尺度卷积层通过多尺寸卷积核抽取输入数据不同尺度的特征，所述注意力层通过学习特征通道权重对抽取特征进行加权处理；
S3.3、将加权处理后的特征输入到所述池化层中进行降维和特征压缩；
S3.4、通过自适应参数调节层对降维后的特征子集进行自适应权重调节，并引入正则化项进行过拟合抑制，所述自适应参数调节层采用动态学习率调整特征通道学习率的大小，实现特征筛选；
S3.5、将调节后的特征输入到所述协同训练层中进行训练优化，所述协同训练层采用集成学习方法对输入特征数据集进行平分，并通过损失函数优化和更新所述自适应特征提取动态决策框架；
S3.6、将得到的最优特征子集通过所述输出层进行输出。
进一步地，所述特征残差融合神经网络通过残差结构和多尺度细化方法对S3提取的数据特征进行特征融合和重构，所述特征残差融合神经网络的工作步骤为：
S4.1、将S3提取的数据特征输入至空洞空间卷积池化金字塔ASPP进行尺度和分辨率细化，得到多尺度和多分辨率特征信息，所述空洞空间卷积池化金字塔ASPP采用空洞卷积对特征进行特征学习，并采用激活函数ReLU进行神经网络隐藏层之间的前向传播计算；
S4.2、采用残差结构对多尺度和多分辨率特征信息进行保留和细化，并传递到下一层，所述残差结构采用特征上采样方法对多尺度和多分辨率特征进行细化，并通过跳跃连接保留特征信息；
S4.3、采用特征细节插入卷积块将多尺度和多分辨率融合特征与原始输入的细节特征进行插入，得到全面融合特征信息，所述特征细节插入卷积块通过卷积对特征矩阵将细节特征插入多尺度和多分辨率融合特征中进行融合，得到多尺度和多分辨率融合特征；
S4.4、采用重构卷积块对全面融合特征信息进行特征重构和特征恒等映射，所述重构卷积块通过对全面融合特征信息进行卷积操作获得抽象融合特征，并通过反卷积操作进行数据恢复，实现数据的重构和重建。
进一步地，所述实时流处理引擎采用深度可分离卷积对所述特征残差融合神经网络进行剪枝处理，所述深度可分离卷积将标准卷积操作分解为深度卷积操作和逐点卷积操作，以压缩所述特征残差融合神经网络的卷积复杂度，所述深度卷积操作对所述特征残差融合神经网络的通道进行逐通道卷积，所述逐点卷积操作对深度卷积操作结果进行逐元素卷积。
进一步地，所述注意力机制通过全局平均池化和多层感知器对融合特征进行降维和非线性变换，所述全局平均池化通过对特征的加权平均得到特征的全局性表达，所述多层感知器通过对特征进行非线性变换反映特征之间的关系，提高特征的表现能力和区分度。
本发明的有益效果为：
1、本发明通过云计算平台的数据标准化模型，对不同传感器、分辨率和拍摄角度的遥感数据进行空间、时间和分辨率的标准化处理，解决了融合数据的不一致性，有利于获得更加准确和一致的多源遥感数据；
2、本发明采用自适应特征提取动态决策框架对标准化数据进行特征选择和提取，得到最优特征子集，从海量数据中筛选出最具代表性的特征，提高融合分析的精度和效果。
3、本发明将提取的特征输入到特征残差融合神经网络中，并通过实时流处理引擎对网络进行剪枝处理，能够学习到特征之间的残差信息，增强融合特征的表达能力和鲁棒性，在面对复杂场景时仍能保持良好的性能，同时实时流处理引擎也能够实现实时、高效的数据处理。
4、本发明通过注意力机制对融合数据特征进行增强处理，自动调整不同特征的权重，使得重要的信息更加突出，能够提高分析结果的准确性和可解释性，有助于更好地分析数据。
附图说明
图1为本发明的整体方法流程示意图；
图2为本发明中数据标准化模型的流程示意图；
图3为本发明中数据标准化模型的架构图；
图4为本发明中自适应特征提取动态决策框架的流程示意图；
图5为本发明的特征残差融合神经网络的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图1至5，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于多源遥感数据的信息融合分析方法，包括以下步骤：
S1、采用无线传感器网络实时获取多源遥感数据。例如，在海洋渔业领域中，采用卫星遥感数据、无人机遥感数据和地面观测数据集，实时监测渔场的水质水位、温度、盐度等环境参数，以及鱼类、海草等的生长状况。
S2、将步骤S1采集的所述多源遥感数据输入到云计算平台进行标准化处理。例如，采用结构相似性指数和互相关系数构建数据标准化模型，处理多源数据的空间、时间和分辨率差异。
S3、基于自适应特征提取动态决策框架对步骤S2得到的标准化数据进行特征选择和提取。例如，针对海洋渔业数据，提取与环境参数和生长状况相关的特征，如PH值、氧气含量、海草覆盖率、鱼类密度等。
S4、将步骤S3提取的特征输入到特征残差融合神经网络进行特征融合，并通过实时流处理引擎对所述特征残差融合神经网络进行剪枝处理。例如，利用特征残差融合神经网络对PH值、氧气含量、海草覆盖率等特征进行融合，并通过实时流处理引擎实时更新神经网络的参数，减少网络的冗余和噪声。
S5、通过注意力机制将步骤S4得到的融合数据特征进行增强处理。例如，采用注意力机制对神经网络中不同特征的重要性进行加权，进一步提高特征的表达能力和识别能力。
S6、基于步骤S5得到的增强融合数据特征进行后处理分析。例如，在海洋渔业领域中，利用增强融合数据特征进行大数据分析和机器学习，预测渔场中鱼类的生长趋势、预警海洋环境变化等。同时可通过可视化方式呈现数据分析结果，为决策者提供更准确、更全面的决策支持。
在上述实施例中，所述数据标准化模型的工作方法包括以下步骤：
S2.1、构建结构相似性指数，用于衡量遥感数据之间结构信息的相似度，所述结构相似性指数基于亮度、对比度和结构信息进行遥感数据分辨率相似度比较，计算公式为：
在公式(1)中，SSIM(x,y)表示x和y遥感数据的结构相似性指数，x和y表示步骤S1采集的所述多源遥感数据，l(x,y)、c(x,y)和s(x,y)分别表示x和y遥感数据亮度、对比度和结构的相似性，l表示遥感数据亮度相似性，c表示遥感数据对比度相似性，s表示遥感数据结构信息相似性，α、β和γ为遥感数据亮度、对比度和结构信息的相似性权重参数，α>0、β>0、γ>0，α+β+γ＝1，表示归一化因子，用于平衡整体指标的一致性，x和y数据亮度、对比度和结构信息的相似性的计算公式为：
在公式(2)中，l(x,y)表示遥感数据x和y的亮度相似性，c(x,y)表示遥感数据x和y的对比度相似性，s(x,y)表示遥感数据x和y的结构相似性，C1、C2和C3表示标准常量，用于避免分母为零，lx表示遥感数据x的亮度均值，ly表示遥感数据y的亮度均值，cx表示x遥感数据的对比度均值，cy表示遥感数据y的对比度均值，cxy表示遥感数据x和y的协方差，用于表示遥感数据x和y的结构信息。
S2.2、构建互相关系数，用于衡量遥感数据时间序列和空间分布之间的线性相关性，计算公式为：
在公式(3)中，Corr(x,y)表示遥感数据x和y的互相关系数，x(t)和y(t)表示遥感数据x和y在时间序列t的取值，和表示遥感数据x和y时间序列的平均值，T表示时间序列中的时间点数量，Wt表示时间序列归一化权重矩阵，x(i)和y(i)表示遥感数据x和y在空间序列i的值，和表示遥感数据x和y空间序列i的平均值，I表示空间序列的数量，Wi表示空间序列归一化权重矩阵。
S2.3、基于结构相似性指数和互相关系数对步骤S1采集的所述多源遥感数据进行标准化处理，计算公式为：
在公式(4)中，G(x,y)表示遥感数据x和y的标准化值。
在具体实施例中，数据标准化模型硬件工作环境通常需要满足以下要求：
1.计算机或其他计算设备：运行数据标准化模型需要一台计算机或其他计算设备，例如服务器、工作站、云计算等，可以根据实际需要选择合适的设备。
2.内存和存储空间：数据标准化模型通常需要处理大量的数据，因此需要足够的内存和存储空间。具体内存和存储要求取决于模型处理的数据量和算法复杂度。
3.处理器和显卡：一些数据标准化模型可能需要较高的计算能力，因此需要配备较快的处理器和显卡。常用的处理器包括Intel Core和AMD Ryzen等，显卡可以选择NVIDIA和AMD等品牌。
4.网络连接：如果需要在云计算环境中运行数据标准化模型，需要保证良好的网络连接。
基于上述硬件环境，选择一组具有不同空间分辨率和时间分辨率的遥感图像数据，包括高分影像、Landsat影像和MODIS影像，分别采用数据标准化模型(A组)和Z-score标准化(B组)进行对比实验，对比A、B两组标准化处理后数据的分类准确率和变化检测精度，每组进行五次实验，实验结果如表1所示。
表1结果统计表
从实验结果可以看出，数据标准化模型(A组)在三种不同空间分辨率的遥感影像上的分类准确率均高于Z-score标准化(B组)。这表明数据标准化模型在提取和保留遥感影像中的关键信息方面更有效，从而提高了分类性能。分类准确率类似，数据标准化模型(A组)在变化检测方面的精度也高于Z-score标准化(B组)。这可能是因为数据标准化模型不仅考虑了数值分布，还综合考虑了亮度、对比度和结构信息以及时空相关性，使得标准化后的数据更能反映实际的地表变化。
结构相似性指数和互相关系数在标准化处理中的具体作用可能需要根据实际应用进行调整。例如，它们可能作为权重因子、阈值或优化目标等。标准化处理的方法应确保处理后的数据具有可比性和可解释性，同时尽可能保留原始数据中的有用信息。在实际应用中，可能需要对算法进行验证和优化，以确保其性能和准确性满足要求。
数据去噪模块使用双边滤波器对多源遥感数据进行去噪处理，去除数据中存在的噪声干扰，得到细节信息和边缘信息。分辨率标准化模块对数据细节信息和边缘信息进行分辨率相似度衡量，根据结构相似性指数，采用插值法进行分辨率标准化处理，使得数据具有相同的分辨率，便于后续的数据处理和分析。时空配准模块对不同时间和不同传感器采集到的遥感数据进行时空配准处理，通过变换矩阵将数据进行对齐，消除由于拍摄角度、时间和位置等因素导致的偏差和差异。校正模块采用MODIS辐射定标模型和大气传输修正模型，对标准化遥感数据进行辐射定标和大气校正处理，使得数据具有可比性和可靠性。模块连接数据去噪模块的输出端与分辨率标准化模块的输入端连接，分辨率标准化模块的输出端与时空配准模块的输入端连接，时空配准模块的输出端与校正模块的输入端连接，完成整个遥感数据处理流程。
所述自适应特征提取动态决策框架根据遥感数据和分析任务自动进行特征子集的选择决策，所述自适应特征提取动态决策框架包括输入层、多尺度卷积层、注意力层、池化层、自适应参数调节层、信息抽取层、协同训练层和输出层，所述自适应特征提取动态决策框架的工作方法包括以下步骤：
S3.1：输入层将经过标准化处理后的遥感数据送入框架中。
S3.2：信息抽取层通过采用非线性激活函数和抽取器对输入数据进行表征性特征抽取，并将抽取得到的特征集输出到多尺度卷积层和注意力层。多尺度卷积层采用多尺寸卷积核抽取数据不同尺度的特征，而注意力层通过学习特征通道权重对抽取特征进行加权处理，从而提高弱特征的重要性。
S3.3：池化层对加权处理后的特征进行降维和特征压缩。
S3.4：自适应参数调节层对降维后的特征子集进行自适应权重调节，并引入正则化项进行过拟合抑制。该层采用动态学习率调整特征通道学习率的大小，实现特征筛选。
S3.5：协同训练层采用集成学习方法对输入特征数据集进行平分，并通过损失函数优化和更新整个框架。通过这种方式，框架可以学习到更准确和具有鲁棒性的特征。
S3.6：输出层将得到的最优特征子集通过分类器或回归器进行输出，以完成相应的任务。
综上所述，该自适应特征提取动态决策框架通过多层次的特征提取和加权处理从原始的遥感数据中提取出最具有表征性和区分度的特征，通过自适应参数调节和动态学习率调整等方法实现特征筛选和优化，并通过集成学习方法进行训练和更新，从而大大提高了遥感数据分类和分析的效果。
自适应特征提取动态决策框架需要在硬件环境支持下才能进行高效的计算和训练。其硬件工作环境主要包括以下方面：
1.高性能计算机或服务器：框架需要使用高性能的计算机或服务器来进行复杂的计算任务，例如深度学习模型的训练和优化等。这些计算机或服务器应具有高效的处理器、内存和存储设备，以支持框架的性能和效率。
2.图形处理单元(GPU)：GPU对于深度学习模型训练和优化的高效性能至关重要。GPU不仅可以提供高速计算能力，还可以加速大规模矩阵运算和优化算法等。
3.传感器和器材：框架需要使用遥感传感器和器材来收集地球观测数据，例如卫星图像、激光雷达和相机等。这些传感器和器材应具有高精度、高分辨率和高灵敏度，以支持框架的数据收集和预处理。
4.存储设备：存储设备对于处理大规模遥感数据至关重要。框架需要使用高容量和高速的存储设备来存储遥感数据和模型数据等，例如硬盘、固态硬盘和网络存储等。
5.人工智能和机器学习相关的设备和技术：框架需要使用人工智能和机器学习相关的设备和技术，例如深度学习框架、机器学习算法、并行计算和分布式计算等，来实现自适应特征提取动态决策框架中的各项功能。
6.软件和算法库：框架需要使用适用于遥感数据处理和人工智能、机器学习相关的软件和算法库，例如Python、TensorFlow、PyTorch、Scikit-Learn等，以支持模型训练、数据处理和分析。
基于上述硬件环境，选择一组具有不同空间分辨率和时间分辨率的遥感图像数据，包括高分影像、Landsat影像和MODIS影像，分别采用自适应特征提取动态决策框架(A组)和空白对照组(B组)进行对比实验，对比A、B两组特征选择后数据的分类准确率和变化检测精度，每组进行五次实验，实验结果如表2所示。
表2结果统计表
从实验结果可以看出，采用自适应特征提取动态决策框架的分类准确率通常比空白对照组更高，并且它的准确率更加稳定。框架的个性化特征选择能更好地适应不同的遥感图像数据，并且能够更加有效地选择有代表性和区分度的特征子集，因此具有更好的分类能力。自适应特征提取动态决策框架呈现出更高的变化检测精度。通过特征平移、特征调整、空间、时间尺度自适应选择等手段，使得该框架能够更好地适应不同分辨率下的变化检测任务，并具有更高的准确性。
综上所述，自适应特征提取动态决策框架能够更好地适应不同的遥感图像数据，提高数据分析效果，具有更好的应用前景。
所述特征残差融合神经网络通过残差结构和多尺度细化方法对S3提取的数据特征进行特征融合和重构，所述特征残差融合神经网络的工作步骤为：
S4.1：将S3提取的数据特征输入至空洞空间卷积池化金字塔ASPP进行尺度和分辨率细化，即利用空洞卷积对特征进行学习，通过激活函数ReLU实现神经网络隐藏层之间的前向传播计算，并得到多尺度和多分辨率特征信息。
S4.2：采用残差结构对多尺度和多分辨率特征信息进行保留和细化，并传递到下一层，即采用特征上采样方法对多尺度和多分辨率特征进行细化，通过跳跃连接保留特征信息，并使得网络更加深层，得到更高级别的特征表征。
S4.3：采用特征细节插入卷积块将多尺度和多分辨率融合特征与原始输入的细节特征进行插入，得到全面融合特征信息，即通过卷积对特征矩阵将细节特征插入多尺度和多分辨率融合特征中进行融合，得到多尺度和多分辨率融合特征。
S4.4：采用重构卷积块对全面融合特征信息进行特征重构和特征恒等映射，即通过对全面融合特征信息进行卷积操作获得抽象融合特征，并通过反卷积操作进行数据恢复，实现数据的重构和重建。
综上所述，所述特征残差融合神经网络通过残差结构和多尺度细化方法对S3提取的数据特征进行特征融合和重构，通过多层次的特征融合和细化，实现了数据特征的更加准确和全面的表征，提高了遥感数据分类和分析的精准度和效率。
特征残差融合神经网络的硬件环境包括：
1.计算机：特征残差融合神经网络可以在普通的台式机或笔记本电脑上运行。但是，对于较大的模型和数据集，需要具有较高性能的CPU，如Intel Core i7或更高版本的处理器。
2.GPU工作站：由于特征残差融合神经网络包含大量的矩阵乘法运算，所以在GPU上的计算速度更快。因此，可以使用配备高效GPU，如NVIDIATeslaV100或NVIDIA GeForceRTX 2080Ti的工作站来进行训练和推理。
3.云计算平台：云计算平台提供基于GPU和FPGA的成本优化云服务，可以用于训练和推理特征残差融合神经网络。像Amazon AWS、Google Cloud，MicrosoftAzure等都提供了这样的服务。
4.ASIC/FPGA加速器：实现特定于应用程序的集成电路(ASIC)和现场可编程门阵列(FPGA)可以显著提高特征残差融合神经网络的性能和效率。使用这些加速器可以高效地计算和存储神经网络参数。
总的来说，特征残差融合神经网络的硬件环境应根据具体应用需要而定，并结合软件算法进行优化，以实现更高的性能和效率。将特征残差融合神经网络与典型融合方法空间-光谱重建网络FHM、高光谱-全色融合神经网络FHP和耦合非负矩阵分解网络FHMP进行融合性能比较，分别采用一组卫星真实数据进行实验研究。实验采用TensorFlow框架，服务器配置为：Intel Xeon Core 3.70GHz的CPU，GeForce GTX 2080Ti GPU显卡，以及11GB内存。实验数据来自于在一组由2个卫星采集某城区同一地区的真实数据，采集三中类别多源遥感数据图像，尺寸分别为2136×2165×246，10680×10825×4，32036×32467。选择5项指标进行融合性能评价，包括平均平方误差、图像品质指数、平均结构相似性和失真度，每种融合方法重复五次实验，取平均值，融合测试后的对比效果如表3所示。
表3结果统计表
从上表可以看出，在五次实验中，特征残差融合神经网络具有相对于其他典型融合方法更好的性能表现。在所有五个指标中，特征残差融合神经网络的表现均优于其他三种方法。特别是在图像品质指数和平均结构相似性指标方面，特征残差融合神经网络的得分显著高于其他方法。因此，特征残差融合神经网络可以作为一种优秀的遥感图像融合方法，并在实际应用中得到广泛的应用。为了进一步提高性能和效率，我们建议在具体应用中根据系统需求进行硬件和软件优化。
所述实时流处理引擎采用深度可分离卷积对所述特征残差融合神经网络进行剪枝处理，先将特征残差融合神经网络的参数加载到实时流处理引擎中，并对输入数据进行处理；在保持模型准确性的前提下，采用深度可分离卷积对网络结构进行剪枝处理，去除不必要的冗余参数，从而减小模型的大小和计算负担；然后通过实时流处理引擎对剪枝后的模型进行实时处理，并输出处理结果；最后对剪枝后的模型进行训练和精调，进一步提高模型的准确性和处理效率。采用深度可分离卷积对网络结构进行剪枝处理主要是通过去除不必要的冗余参数，从而减小模型的大小和计算负担，在保证模型准确性的前提下，提升模型的处理效率和实时性。
深度可分离卷积是一种轻量级卷积，将传统的卷积分解成深度卷积和逐元素卷积两个步骤，首先进行深度卷积，逐通道地对输入的各个通道进行卷积操作，然后再进行逐元素卷积，对各个通道的结果进行卷积操作。与传统的卷积相比，深度可分离卷积可有效减少卷积操作的复杂度，从而达到压缩模型的目的。
所述注意力机制通过全局平均池化和多层感知器对融合特征进行降维和非线性变换，所述全局平均池化通过对特征的加权平均得到特征的全局性表达，所述多层感知器通过对特征进行非线性变换反映特征之间的关系，提高特征的表现能力和区分度。
所述注意力机制通过全局平均池化和多层感知器对融合特征进行降维和非线性变换，以得到特征的重要性权重。具体步骤如下：
1.对融合特征进行全局平均池化，得到一个全局性的空间特征向量，进行降维处理；
2.将降维后的特征向量送入多层感知器中进行非线性变换，得到特征的重要性权重；
3.对权重进行归一化处理，使得所有权重之和等于1；
4.将原始特征和特征的权重进行加权处理，得到加权后的特征。
通过全局平均池化和多层感知器的处理，可以将高维的特征向量进行降维处理，并提高特征的表达能力。多层感知器能够将特征进行非线性变换，以更好地反映特征之间的关系，使得重要特征的作用更加突出。归一化处理能够保证每个特征的权重之和为1，使得特征的加权处理更加准确。通过上述处理，可以有效地计算特征的重要性权重，并对不同尺度和分辨率的特征进行加权处理，进一步提高特征的表达能力和区分度。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (7)
1.一种基于多源遥感数据的信息融合分析方法，其特征在于，包括以下步骤：
S1、采用无线传感器网络实时获取多源遥感数据，所述多源遥感数据至少包括卫星遥感数据、地面观测数据和无人机遥感数据；
S2、将步骤S1采集的所述多源遥感数据输入到云计算平台进行空间、时间和分辨率的标准化处理，所述云计算平台基于结构相似性指数和互相关系数构建数据标准化模型，所述数据标准化模型包括数据去噪模块、分辨率标准化模块、时空配准模块和校正模块；
S3、基于自适应特征提取动态决策框架对步骤S2得到的标准化数据进行特征选择和提取，得到最优特征子集；
S4、将步骤S3提取的特征输入到特征残差融合神经网络进行特征融合，并通过实时流处理引擎对所述特征残差融合神经网络进行剪枝处理；
S5、通过注意力机制将步骤S4得到的融合数据特征进行增强处理；
S6、基于步骤S5得到的增强融合数据特征进行后处理分析。
2.根据权利要求1所述的一种基于多源遥感数据的信息融合分析方法，其特征在于，所述数据标准化模型的工作方法包括以下步骤：
S2.1、构建结构相似性指数，用于衡量遥感数据之间结构信息的相似度，所述结构相似性指数基于亮度、对比度和结构信息进行遥感数据分辨率相似度比较，计算公式为：
在公式(1)中，SSIM(x,y)表示x和y遥感数据的结构相似性指数，x和y表示步骤S1采集的所述多源遥感数据，l(x,y)、c(x,y)和s(x,y)分别表示x和y遥感数据亮度、对比度和结构的相似性，l表示遥感数据亮度相似性，c表示遥感数据对比度相似性，s表示遥感数据结构信息相似性，α、β和γ为遥感数据亮度、对比度和结构信息的相似性权重参数，α>0、β>0、γ>0，α+β+γ＝1，表示归一化因子，用于平衡整体指标的一致性，x和y数据亮度、对比度和结构信息的相似性的计算公式为：
在公式(2)中，l(x,y)表示遥感数据x和y的亮度相似性，c(x,y)表示遥感数据x和y的对比度相似性，s(x,y)表示遥感数据x和y的结构相似性，C1、C2和C3表示标准常量，用于避免分母为零，lx表示遥感数据x的亮度均值，ly表示遥感数据y的亮度均值，cx表示x遥感数据的对比度均值，cy表示遥感数据y的对比度均值，cxy表示遥感数据x和y的协方差，用于表示遥感数据x和y的结构信息；
S2.2、构建互相关系数，用于衡量遥感数据时间序列和空间分布之间的线性相关性，计算公式为：
在公式(3)中，Corr(x,y)表示遥感数据x和y的互相关系数，x(t)和y(t)表示遥感数据x和y在时间序列t的取值，和表示遥感数据x和y时间序列的平均值，T表示时间序列中的时间点数量，Wt表示时间序列归一化权重矩阵，x(i)和y(i)表示遥感数据x和y在空间序列i的值，和表示遥感数据x和y空间序列i的平均值，I表示空间序列的数量，Wi表示空间序列归一化权重矩阵；
S2.3、基于结构相似性指数和互相关系数对步骤S1采集的所述多源遥感数据进行标准化处理，计算公式为：
在公式(4)中，G(x,y)表示遥感数据x和y的标准化值。
3.根据权利要求2所述的一种基于多源遥感数据的信息融合分析方法，其特征在于，所述数据去噪模块采用双边滤波器去除所述多源遥感数据中存在的噪声干扰，得到的数据细节信息和边缘信息，所述分辨率标准化模块基于所述结构相似性指数衡量数据细节信息和边缘信息的分辨率相似度，并采用插值法进行分辨率标准化调整，所述时空配准模块采用变换矩阵将不同时间和不同传感器采集到的遥感数据进行时空对齐，所述校正模块采用MODIS辐射定标模型和大气传输修正模型对标准化遥感数据进行辐射定标和大气校正处理，所述数据去噪模块的输出端与所述分辨率标准化模块的输入端连接，所述分辨率标准化模块的输出端与所述时空配准模块的输入端连接，所述时空配准模块的输出端与所述校正模块的输入端连接。
4.根据权利要求1所述的一种基于多源遥感数据的信息融合分析方法，其特征在于，所述自适应特征提取动态决策框架根据遥感数据和分析任务自动进行特征子集的选择决策，所述自适应特征提取动态决策框架包括输入层、多尺度卷积层、注意力层、池化层、自适应参数调节层、信息抽取层、协同训练层和输出层，所述自适应特征提取动态决策框架的工作方法包括以下步骤：
S3.1、通过所述输入层将S2得到的标准化数据输入到所述自适应特征提取动态决策框架中；
S3.2、通过信息抽取层、多尺度卷积层、注意力层对输入数据进行特征提取和加权处理，所述信息抽取层采用非线性激活函数和抽取器对输入数据进行表征性特征抽取，所述多尺度卷积层通过多尺寸卷积核抽取输入数据不同尺度的特征，所述注意力层通过学习特征通道权重对抽取特征进行加权处理；
S3.3、将加权处理后的特征输入到所述池化层中进行降维和特征压缩；
S3.4、通过自适应参数调节层对降维后的特征子集进行自适应权重调节，并引入正则化项进行过拟合抑制，所述自适应参数调节层采用动态学习率调整特征通道学习率的大小，实现特征筛选；
S3.5、将调节后的特征输入到所述协同训练层中进行训练优化，所述协同训练层采用集成学习方法对输入特征数据集进行平分，并通过损失函数优化和更新所述自适应特征提取动态决策框架；
S3.6、将得到的最优特征子集通过所述输出层进行输出。
5.根据权利要求1所述的一种基于多源遥感数据的信息融合分析方法，其特征在于，所述特征残差融合神经网络通过残差结构和多尺度细化方法对S3提取的数据特征进行特征融合和重构，所述特征残差融合神经网络的工作步骤为：
S4.1、将S3提取的数据特征输入至空洞空间卷积池化金字塔ASPP进行尺度和分辨率细化，得到多尺度和多分辨率特征信息，所述空洞空间卷积池化金字塔ASPP采用空洞卷积对特征进行特征学习，并采用激活函数ReLU进行神经网络隐藏层之间的前向传播计算；
S4.2、采用残差结构对多尺度和多分辨率特征信息进行保留和细化，并传递到下一层，所述残差结构采用特征上采样方法对多尺度和多分辨率特征进行细化，并通过跳跃连接保留特征信息；
S4.3、采用特征细节插入卷积块将多尺度和多分辨率融合特征与原始输入的细节特征进行插入，得到全面融合特征信息，所述特征细节插入卷积块通过卷积对特征矩阵将细节特征插入多尺度和多分辨率融合特征中进行融合，得到多尺度和多分辨率融合特征；
S4.4、采用重构卷积块对全面融合特征信息进行特征重构和特征恒等映射，所述重构卷积块通过对全面融合特征信息进行卷积操作获得抽象融合特征，并通过反卷积操作进行数据恢复，实现数据的重构和重建。
6.根据权利要求5所述的一种基于多源遥感数据的信息融合分析方法，其特征在于，所述实时流处理引擎采用深度可分离卷积对所述特征残差融合神经网络进行剪枝处理，所述深度可分离卷积将标准卷积操作分解为深度卷积操作和逐点卷积操作，以压缩所述特征残差融合神经网络的卷积复杂度，所述深度卷积操作对所述特征残差融合神经网络的通道进行逐通道卷积，所述逐点卷积操作对深度卷积操作结果进行逐元素卷积。
7.根据权利要求1所述的一种基于多源遥感数据的信息融合分析方法，其特征在于，所述注意力机制通过全局平均池化和多层感知器对融合特征进行降维和非线性变换，所述全局平均池化通过对特征的加权平均得到特征的全局性表达，所述多层感知器通过对特征进行非线性变换反映特征之间的关系，提高特征的表现能力和区分度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410714967.XA CN118537696A (zh) | 2024-06-04 | 2024-06-04 | 基于多源遥感数据的信息融合分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410714967.XA CN118537696A (zh) | 2024-06-04 | 2024-06-04 | 基于多源遥感数据的信息融合分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118537696A true CN118537696A (zh) | 2024-08-23 |
Family
ID=92387636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410714967.XA Pending CN118537696A (zh) | 2024-06-04 | 2024-06-04 | 基于多源遥感数据的信息融合分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118537696A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119478560A (zh) * | 2025-01-14 | 2025-02-18 | 中国科学院空天信息创新研究院 | 一种时间序列与高分辨率影像联合的地表精细分类方法 |
| CN119646753A (zh) * | 2025-02-20 | 2025-03-18 | 中国水产科学研究院南海水产研究所 | 一种针对不同分辨率数据的渔业数据融合方法 |
| CN120411458A (zh) * | 2025-04-26 | 2025-08-01 | 北京智碳寰宇技术有限公司 | 一种基于草原遥感数据的标注方法及系统 |
-
2024
- 2024-06-04 CN CN202410714967.XA patent/CN118537696A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119478560A (zh) * | 2025-01-14 | 2025-02-18 | 中国科学院空天信息创新研究院 | 一种时间序列与高分辨率影像联合的地表精细分类方法 |
| CN119646753A (zh) * | 2025-02-20 | 2025-03-18 | 中国水产科学研究院南海水产研究所 | 一种针对不同分辨率数据的渔业数据融合方法 |
| CN120411458A (zh) * | 2025-04-26 | 2025-08-01 | 北京智碳寰宇技术有限公司 | 一种基于草原遥感数据的标注方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110210551B (zh) | 一种基于自适应主体敏感的视觉目标跟踪方法 | |
| Cai et al. | Superpixel contracted neighborhood contrastive subspace clustering network for hyperspectral images | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN118537696A (zh) | 基于多源遥感数据的信息融合分析方法 | |
| CN107563433B (zh) | 一种基于卷积神经网络的红外小目标检测方法 | |
| CN111046967A (zh) | 一种基于卷积神经网络和注意力机制的水下图像分类方法 | |
| CN114445715B (zh) | 一种基于卷积神经网络的农作物病害识别方法 | |
| CN116630964B (zh) | 一种基于离散小波注意力网络的食品图像分割方法 | |
| CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
| CN110609917B (zh) | 基于卷积神经网络和显著性检测的图像检索方法及系统 | |
| CN106815819B (zh) | 多策略粮虫视觉检测方法 | |
| CN119580049B (zh) | 一种基于clip的多模态方法实现对农作物智能识别系统 | |
| CN116664892A (zh) | 基于交叉注意与可形变卷积的多时相遥感图像配准方法 | |
| CN110895697A (zh) | 变压器铭牌信息采集方法及智能采集系统 | |
| CN117726537A (zh) | 自适应多尺度特征融合AMFFD-Net的SAR图像去噪网络方法及系统 | |
| Yang et al. | Hierarchical extreme learning machine based image denoising network for visual Internet of Things | |
| CN117636170A (zh) | 基于Re-UNet模型的梨树种植区遥感提取方法 | |
| Zhan et al. | BHC-YOLOV8: improved YOLOv8-based BHC target detection model for tea leaf disease and defect in real-world scenarios | |
| CN116189175B (zh) | 一种基于InheritfeatNet算法的农作物病虫害分类识别方法 | |
| CN117275080A (zh) | 基于计算机视觉的眼部状态识别方法及系统 | |
| CN120783224A (zh) | 一种基于深度学习的单木主干结构提取方法及系统 | |
| CN120031839A (zh) | 应用于无人机平台的光伏板表面污垢检测与分析系统 | |
| Barhate et al. | Cohort study on recognition of plant species using Deep Learning methods | |
| Tan et al. | Accurate detection of built-up areas from high-resolution remote sensing imagery using a fully convolutional network | |
| CN111950476A (zh) | 基于深度学习的复杂环境下河道船舶自动识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |