CN118898757A - 一种基于遥感图像时空谱特征关联融合的样本数据迁移增强方法及系统 - Google Patents
一种基于遥感图像时空谱特征关联融合的样本数据迁移增强方法及系统 Download PDFInfo
- Publication number
- CN118898757A CN118898757A CN202410885531.7A CN202410885531A CN118898757A CN 118898757 A CN118898757 A CN 118898757A CN 202410885531 A CN202410885531 A CN 202410885531A CN 118898757 A CN118898757 A CN 118898757A
- Authority
- CN
- China
- Prior art keywords
- data
- sample
- pixel
- remote sensing
- target area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于遥感图像时空谱特征关联融合的样本数据迁移增强方法及系统。该方法为:获取目标区域的多光谱遥感图像和数字高程模型数据;基于多光谱遥感图像计算目标区域的归一化植被指数,基于数字高程模型数据计算目标区域的坡度数据;将目标区域的多光谱遥感图像、数字高程模型数据、归一化植被指数以及坡度数据按地理坐标进行纵向关联和组合,形成数据立方体;在数据立方体中标记典型地物基础样本数据;结合区域生长算法和马氏距离算法对已标记的典型地物基础样本数据进行迁移增强。本方法可为大规模样本数据集制作、增强和自动生成提供新技术和新方法。
Description
技术领域
本发明涉及地质灾害遥感监测与识别领域,具体涉及一种基于遥感图像时空谱特征关联融合的样本数据迁移增强方法及系统。
背景技术
世界上发生的地质灾害主要有地质灾害有崩塌、泥石流、滑坡、地面沉降、地裂缝等。其中,滑坡灾害为地质灾害中危害和影响程度最大的灾害种类之一。
山区地区,山高谷深、地质复杂,孕育着大量高危滑坡体。在地震或暴雨等诱发因素作用下滑坡灾害将呈现大范围多发状态。因此,对滑坡位置、数量、范围和分布情况等重要灾情信息快速精确提取在应急救援、灾情评估和防灾减灾等方面有着重要的理论意义和实用价值。
基于卫星或航空平台的光学遥感成像技术与图像处理技术的发展为滑坡灾情信息大范围监测与精确提取带来了新的技术手段。国内外许多专家学者基于光学遥感图像和机器学习方法开展了大量的滑坡特征解译与遥感识别工作。但是,无论是传统的统计分析方法、经典的机器学习方法,还是当前主流的深度学习方法都需要用到大量的样本数据。而制作高质量的样本数据集常常需要消耗大量的人力、物力和财力,此外,训练样本数据的不足常常会造成机器学习模型在训练过程中发生欠拟合问题,进而影响机器学习模型的目标识别精度,因此,如何低成本高效率的制作大规模样本数据集成为目前亟需解决的问题。
发明内容
为了克服上述现有技术中存在的缺陷,本发明的目的是提供一种基于遥感图像时空谱特征关联融合的样本数据迁移增强方法及系统。
为了实现本发明的上述目的,本发明提供了一种基于遥感图像时空谱特征关联融合的样本数据迁移增强方法,包括以下步骤:
获取目标区域灾前、灾后的多光谱遥感图像和数字高程模型数据,并对其进行预处理,并将多光谱遥感图像转化为多光谱反射率图像;
基于所述多光谱反射率图像计算目标区域的地表归一化植被指数,基于所述数字高程模型数据计算目标区域的坡度数据;
将目标区域灾前、灾后的多光谱反射率图像、数字高程模型数据、地表归一化植被指数以及坡度数据按地理坐标进行纵向关联和组合,形成融合滑坡和背景典型地物时空谱特征信息的数据立方体;
在所述数据立方体中标记典型地物基础样本数据;
结合区域生长算法和马氏距离算法对已标记的典型地物基础样本数据进行迁移增强。
本方法可对人工手动标记的基础样本数据集进行数据迁移增强,进而缓解机器学习模型训练过程中遇到的欠拟合问题。利用本发明进行数据增强后得到的新样本数据集训练经典的支持向量机模型和当前热门的卷积神经网络模型,均可有效改善各类机器学习模型对典型地物目标的识别精度;可为大规模样本数据集制作、增强和自动生成提供新技术和新方法。
在一种可选方案中,将目标区域的多光谱反射率图像中的近红外波段的反射率图像与红光波段的反射图像之和与两者之差的比值作为目标区域的地表归一化植被指数。
在一种可选方案中,坡度数据的计算步骤为:
在数字高程模型数据上给定一个像元(i,j),其中i和j分别为该像元的行列号;
在像元(i,j)周围选定n×n的邻近像元区,计算像元(i,j)在x方向上的平均高度变化率,n为正整数:
其中,cellsizex为x方向上单个像元的空间宽度,h(i,j)为像元(i,j)的海拔高度;
计算像元(i,j)在y方向上的平均高度变化率:
其中,cellsizey为y方向上单个像元的空间宽度;
计算像元(i,j)的坡度:
移动n×n像元的窗口区遍历每一个像元,计算出来整个目标区域每一个像元的坡度值,得到目标区域的坡度数据。
坡度是表示地表某一像元点的陡峭程度,是滑坡发生区域地形空间特征的重要量化指标,通常用角度或百分比来表示。滑坡的发生与地形的坡度密切相关。基于该可选方案可快速准确的得到目标区域的坡度数据。
在一种可选方案中,对已标记的典型地物基础样本数据迁移增强的步骤为:
在已标记的样本点周围按区域生长算法搜索未标记的样本点,当所述已标记样本点与未标记样本点之间的马氏距离小于生长门限阈值TM时,将所述未标记样本点作为已标记样本点的同类样本点,实现典型样本数据迁移增强。
该可选方案采用区域生长算法扩展搜索新的同类样本点,并引入马氏距离进行高维空间中各样本点相似性度量,从而实现同类样本点的精确搜索与迁移增强。
在一种可选方案中,基于马氏距离计算公式为:
其中,Y=[y1,y2,",yi,...,yp]T,为未标记的样本点集合,yi表示Y中第i个样本点的多光谱反射率、数字高程模型数据、地表归一化植被指数以及坡度数据,为已经标记的样本点集合,xi表示X中第i个样本点的多光谱反射率、数字高程模型数据、地表归一化植被指数以及坡度数据,c表示已标记样本类别,Σc为第c类已标记样本数据集多维特征的协方差矩阵,DM(Y,Xc)用于表征已经标记的样本点与未标记的样本点之间的相似度。
在一种可选方案中,典型样本数据迁移增强的步骤为:
步骤1:对已标记的各类样本进行顺序扫描,将第1个已标记的基础样本作为中心像元(i0,j0);
步骤2:以中心像元(i0,j0)为中心,考虑中心像元(i0,j0)周围8连通邻域中没有标记归属类别的像元(i,j),如果像元(i,j)与中心像元(i0,j0)的马氏距离小于生长门限阈值TM时,则满足生长准则,将像元(i,j)与中心像元(i0,j0)合并,作为同一区域内的同类地物,同时将像元(i,j)压入堆栈;
步骤3:从堆栈中取出一个像元,把它当作中心像元(i0,j0)返回执行步骤2;
步骤4:当堆栈为空或堆栈中样本总数达到单个样本生长上限Tnum_max时,返回到步骤1,将剩余的已标记的基础样本之一作为中心像元(i0,j0);
步骤5:重复步骤1-4直到遍历所有已标记的基础样本点时,生长结束。
该可选方案可遍历所有已标记的样本点,能对所有已标记样本点进行从而同类样本点的精确搜索与迁移增强。
本发明还提出了一种样本数据迁移增强系统,其包括处理模块、存储模块以及用于获取目标区域的多光谱遥感图像和数字高程模型数据的数据采集模块;
所述数据采集模块与处理模块连接,向其发送所述多光谱遥感图像和数字高程模型数据;所述处理模块和存储模块通信连接,所述存储模块用于存放至少一个可执行指令,所述可执行指令使所述处理模块基于所述多光谱遥感图像和数字高程模型数据执行如上述基于遥感图像时空谱特征关联融合的样本数据迁移增强方法对应的操作,对样本数据进行迁移增强。
该样本数据迁移增强系统具备上述基于遥感图像时空谱特征关联融合的样本数据迁移增强方法的所有优点。
本发明还提出了一种目标识别方法,基于上述这的基于遥感图像时空谱特征关联融合的样本数据迁移增强方法获取样本;
构建机器学习模型,利用所述样本对该机器学习模型进行训练,利用训练好的机器学习模型对待识别样本进行目标识别。
本发明的有益效果是:
本发明将滑坡遥感监测与识别所涉及到光谱特征、时序变化特征、地形空间特征等多维信息进行融合,用于构建典型地物的数据立方体,为滑坡与典型背景地物的识别提供了基础性的支撑数据;
本发明采用区域生长算法扩展搜索新的同类样本点,并引入马氏距离进行高维空间中各样本点相似性度量,从而实现同类样本点的精确搜索与迁移增强。
本发明通过计算已标记样本点与周围8连通邻域内各样本点在高维空间中的马氏距离,并将其作为区域生长算法的生长准则,实现对同类样本点的精确搜索与迁移扩增。马氏距离能消除量纲对特征的影响,在高维特征空间中具有平移不变性,并且考虑了自身特征的相关性,因此,相比于传统的欧式距离或光谱夹角,能更加精准的表征两个样本点之间的相似度。
本发明可对少量高质量标记样本点进行数据增强,实现对基础样本数据集的有效扩增,进而缓解机器学习模型训练过程中遇到的欠拟合问题。利用本专利方法进行数据增强后得到的新样本数据集训练经典的支持向量机(Support Vector Machine,SVM)模型和当前热门的卷积神经网络(Convolutional Neural Networks,CNN)模型,均可有效改善各类机器学习模型对典型地物目标的识别精度。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明的流程示意图;
图2是中心像元周围8连通邻域示意图,其中五角星处为中心像元;
图3a是地震滑坡后目标区域地表反射率图像;
图3b是地震滑坡前目标区域地表反射率图像;
图4是目标区域的数字高程模型数据;
图5a是灾后目标区域的地表归一化植被指数分布情况示意图;
图5b是灾前目标区域的地表归一化植被指数分布情况示意图;
图6是目标区域的坡度数据图;
图7是目标区域多维特征信息组合形成的数据立方体;
图8是人工手动标记的滑坡和典型背景地物样本数据,其中,红色为滑坡样本;蓝色为植被样本;黄色为水体样本;绿色为城建区和云样本;
图9a是数据迁移增强前滑坡和典型背景地物样本分布情况;
图9b是基于区域生长算法与欧式距离进行数据迁移增强后滑坡和典型背景地物样本分布情况;
图9c是基于区域生长算法与马氏距离进行数据迁移增强后滑坡和典型背景地物样本分布情况;
其中,红色为滑坡样本;蓝色为植被样本;黄色为水体样本;绿色为城建区和云样本;
图10实施例一中实验用的CNN模型基本结构;
图11a为基于人工标注的基础样本数据集训练SVM模型后的分类结果示意图;
图11b为使用区域生长算法与马式距离进行数据迁移增强处理的样本数据集训练SVM模型后的分类结果示意图;
图11c为基于人工标注的基础样本数据集训练CNN模型后的分类结果示意图;
图11d为使用区域生长算法与马式距离进行数据迁移增强处理的样本数据集训练CNN模型后的分类结果示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
实施例一
本实施例利用Sentinel-2A/B卫星获取的泸定6.8级地震前后的多光谱图像和ALOS(Advanced Land Observing Satellite)卫星相控阵型L波段合成孔径雷达(PALSAR)获取的数字高程模型(Digital Elevation Model,DEM)数据开展基于滑坡遥感图像时空谱特征关联融合的样本数据迁移增强方法的研究,具体指针对多光谱遥感图像中滑坡、植被、水体和人造地物等典型目标样本数据自动生成和迁移增强,并基于SVM模型和CNN模型对增强后的样本数据开展应用实验。相关实验结果表明,利用时空谱特征关联融合和迁移增强处理后的样本数据训练SVM和CNN模型均能有效缓解模型训练过程中遇到的欠拟合问题,提升其对典型地物目标的识别精度。
如图1所示,具体包括以下步骤:
第一步:数据的选择与获取,即获取目标区域的多光谱遥感图像和数字高程模型数据。
为提高滑坡遥感监测与识别的精度,以滑坡发生前、发生后的多时相、多光谱遥感图像和数字高程模型数据为基础,建立基础训练样本数据。其中,滑坡发生后(灾后)多光谱遥感图像应至少包含蓝光(450~495nm)、绿光(495~570nm)、红光(620~780nm)三个波段范围内的可见光波段图像,以及一个及以上的近红外波段(780~1200nm)范围内的图像;滑坡发生前(灾前)多光谱遥感图像一般为对应区域的历史图像,其光谱波段设置应与灾后数据相同或相似。数字高程模型数据可以基于目标区域前期现地测量数据、激光雷达遥感数据、摄影测量解算数据或合成孔径雷达(Synthetic Aperture Radar,SAR)干涉测量数据形成。
本实施例选取距离泸定6.8级地震震中约10km左右的磨西镇河谷为实验区域,其空间范围大致为左上角:E102.08°,N29.68°;右下角:E102.18°,N29.59°的长方形区域。实验区域的灾后遥感图像是Sentinel-2A卫星在10月1日获取的该地区的多光谱图像,灾前遥感影像为8月7日Sentinel-2B卫星在该区域获取的多光谱图像,对应波段如表1所示。ALOS卫星PALSAR获取的数字高程模型数据空间分辨率为12.5m。
表1Sentinel-2卫星多光谱遥感图像中心波长与空间分辨率
第二步:数据预处理
对多光谱遥感图像进行辐射校正、大气校正和正射校正等预处理,并将其转化为基于地理坐标系的地表反射率图像。对数字高程模型数据按双线性插值法重采样到与光学遥感图像相同的空间分辨率,并将其转换到与光学遥感图像相同的地理坐标系。
本实施例中,Sentinel-2A/B卫星获取的L1C级多光谱图像经辐射校正、大气校正和正射校正等预处理,形成基于WGS-84地理坐标系空间分辨率为10m的地表反射率图像,如图3a和图3b所示。对12.5m数字高程模型数据按双线性插值法重采样到10m空间分辨率,并将其转换到WGS-84地理坐标系,如图4所示。
第三步:辅助数据图层生成
这里的辅助数据图层包括基于多光谱反射率图像计算的目标区域的地表归一化植被指数(Normalized Difference Vegetation Index,NDVI)和基于数字高程模型数据计算的目标区域的坡度数据。
(1)地表归一化植被指数辅助数据图层生成
地表归一化植被指数为目标区域的多光谱反射率图像中的近红外波段的反射率图像与红光波段的反射图像之和与两者之差的比值。由此,可生成地表归一化植被指数辅助数据图层。
本实施例中,利用灾前、灾后多光谱图像按如下公式分别计算整个目标区域地表归一化植被指数BNDVI:
其中,BNIR为近红外波段的反射率图像;BR为红光波段的反射图像。计算得到的灾前、灾后目标区域的地表归一化植被指数,如图5a和图5b所示,地表归一化植被指数的范围通常在-1到1之间。当地表归一化植被指数为正值(接近1)表示强烈的植被覆盖,当地表归一化植被指数为小于零时表示没有植被覆盖。如裸土、水体和城市区域的地表归一化植被指数较低。
(2)坡度辅助数据图层生成
坡度是表示地表某一像元点的陡峭程度,是滑坡发生区域地形空间特征的重要量化指标,通常用角度或百分比来表示。滑坡的发生与地形的坡度密切相关。大量的公开文献资料表明,滑坡发生区域的坡度大多在20°~50°之间。
本实施例中利用数字高程模型数据生成目标区域的坡度辅助数据图层。
具体包括以下步骤:
在数字高程模型数据图层上给定一个像元(i,j),其中i和j分别为该像元的行列号,用h(i,j)表示像元(i,j)的海拔高度,单位为m;
在像元(i,j)周围选定n×n的邻近像元区,n为正整数,计算像元(i,j)在x方向(水平方向)上的平均高度变化率:
其中,cellsizex为x方向上单个像元的空间宽度。
计算像元(i,j)在y方向(垂直方向)上的平均高度变化率:
其中,cellsizey为y方向上单个像元的空间宽度。
计算像元(i,j)的坡度:
移动n×n像元的窗口区遍历每一个像元,重复执行上述步骤,计算出来整个目标区域每一个像元的坡度值,得到目标区域的坡度数据,即坡度辅助数据图层Bslope,如图6所示。本实施例中,n优选但不限于为3。
第四步:数据图层纵向关联与组合
将目标区域的多光谱反射率图像、数字高程模型数据、地表归一化植被指数以及坡度数据按地理坐标进行纵向关联和组合,形成融合滑坡和背景典型地物时空谱特征信息的数据立方体。
本实施例是将地震滑坡前后目标区域Sentinel-2多光谱反射率图像、计算的地表归一化植被指数、数字高程模型数据和坡度数据按地理坐标进行纵向关联和组合,形成融合滑坡和典型背景地物时空谱特征信息的数据立方体,如图7所示。图7中将灾前12个波段和灾后12个波段的图像,加分别计算的归一化植被指数2个图层,加数字高程模型数据和坡度图层,共28个图层,融合成一个数据立方体。这个数据立方图包含了灾前和灾后的光谱变化信息、地表归一化植被指数变化信息、高程信息和坡度信息等。
形成的数据立方图中,每个像元(坐标点)包含了地物的多光谱信息(光谱特征)、地表归一化植被指数信息,以及灾前、灾后遥感图像中相应的变化信息(时序变化特征),高程信息和坡度信息(地形空间特征),实现了面向滑坡遥感监测与识别的地物多维度特征信息的关联融合。
第五步:典型地物基础样本标记
通过目视解译、高分辨率遥感图像辅助判别和开源公开信息交叉验证,人工手动标记部分高质量、高精度的滑坡和典型背景地物基础样本数据。
在本实施例中,通过目视解译、高分辨率遥感数据辅助判别,并结合公开发布的9月8日泸定地震后无人机影像地质灾害解译结果和中科院成都山地所地震应急调查成果,人工手动标记部分高质量、高精度的滑坡和典型背景地物样本,建立基础样本数据集,如图8所示。其中,标记滑坡样本4102个,植被样本4422个,水体样本3848个,城建区和云样本4966个。
第七步:基于区域生长算法与马氏距离的典型地物样本数据迁移增强
在已标记的样本点周围按区域生长算法搜索未标记的样本点,当所述已标记样本点与未标记样本点之间的马氏距离小于生长门限阈值TM时,将所述未标记样本点作为已标记样本点的同类样本点,实现典型样本数据迁移增强。
具体步骤如下:
步骤1:对已标记的各类样本进行顺序扫描,将第1个已标记的基础样本(人工标记)作为中心像元(i0,j0)。
步骤2:以中心像元(i0,j0)为中心,如图2所示,考虑中心像元(i0,j0)周围8连通邻域中没有标记归属类别的像元(i,j),如果像元(i,j)与中心像元(i0,j0)的马氏距离小于生长门限阈值TM,则满足生长准则,将像元(i,j)与中心像元(i0,j0)合并(即认为是同一区域内的同类地物),实现典型样本数据迁移增强,同时将像元(i,j)压入堆栈(即满足条件,被判定为和中心像元(i0,j0)属于一个同类地物区域,后面需要再从该像元点往外继续生长)。
该步骤中,马氏距离的计算公式为:
其中,Y=[y1,y2,",yi,...,yp]T,为未标记的样本点集合,yi表示Y中第i个样本点的多光谱反射率、数字高程模型数据、地表归一化植被指数以及坡度数据,为已经标记的样本点集合,xi表示X中第i个样本点的多光谱反射率、数字高程模型数据、地表归一化植被指数以及坡度数据,c表示已标记样本类别,Σc为第c类已标记样本数据集多维特征的协方差矩阵,DM(Y,Xc)可用于表征已经标记的样本点与未标记的样本点之间的相似度。
步骤3:从堆栈中取出一个像元,把它当作中心像元(i0,j0)返回执行步骤2。
步骤4:当堆栈为空或堆栈中样本总数达到单个样本生长上限Tnum_max时,返回到步骤1,将剩余的已标记的基础样本之一作为中心像元(i0,j0)。
步骤5:重复步骤1-4直到遍历所有已标记的基础样本点时,生长结束。
本实施例中,根据实验经验,生长门限阈值TM=8,单个样本生长上限为Tnum_max=20。
在相似性度量方面,本实施例将传统的欧式距离和本专利选用的马氏距离分别用于了样本数据的迁移增强对比实验,相关结果如图9a、图9b和图9c所示。结合图3、图8、图9a、图9b和图9c,并对比数据增强前后各类地物样本分布情况可以看出,引入马氏距离能更加精准的表征两个样本数据点之间的相似度,并且结合区域生长算法进行数据迁移增强后生成各种地物样本能与遥感图像中各种典型地物的真实分布保持较高的一致性。
为进一步验证本实施例的有效性,选择经典的SVM模型和当前热门的CNN模型进行了模型训练和目标识别实验。将所有人工标记的17338个基础样本数据集按7:3随机分为训练集和验证集,其中,训练集按本实施例进行样本数据增强后用于训练SVM和CNN模型。本实施例中用于实验的SVM模型的核函数为径向基函数(RBF)核,正则化参数C=20,核函数的系数gamma=0.1;用于实验的CNN模型基本结构如图10。本实施例涉及目标识别方法均以Python(version:3.8.12)编程实现,实验平台配置为Intel(R)Core(TM)i7处理器,16G内存,Windows 10操作系统。对各种典型地物目标的识别结果如图11a、图11b、图11c和图11d所示,各种对比方法精度如表2所示。
表2各种对比方法对典型地物目标的识别精度
结合图3、图8、图11a、图11b、图11c、图11d和表2可以看出,本实施例所述方法通过基础样本数据集的有效扩增,缓解了机器学习模型训练过程中的欠拟合问题。以本实施例所述方法进行数据迁移增强处理后得到的新样本数据集训练SVM模型和CNN模型,可有效改善各类模型对典型地物目标识别精度。
实施例二
该实施例提供了一种样本数据迁移增强系统,其包括处理模块、存储模块以及用于获取目标区域的多光谱遥感图像和数字高程模型数据的数据采集模块;所述数据采集模块与处理模块连接,向其发送所述多光谱遥感图像和数字高程模型数据;所述处理模块和存储模块通信连接,所述存储模块用于存放至少一个可执行指令,所述可执行指令使所述处理模块基于所述多光谱遥感图像和数字高程模型数据执行如上述基于遥感图像时空谱特征关联融合的样本数据迁移增强方法对应的操作,对样本数据进行迁移增强。
实施例三
该实施例一种目标识别方法,基于上述的基于遥感图像时空谱特征关联融合的样本数据迁移增强方法获取样本;构建机器学习模型,利用迁移增强后的样本对该机器学习模型进行训练,利用训练好的机器学习模型对待识别样本进行目标识别。
该实施例中,机器学习模型优选但不限于为经典的SVM模型和当前热门的CNN模型等等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
Claims (8)
1.一种基于遥感图像时空谱特征关联融合的样本数据迁移增强方法,其特征在于,包括以下步骤:
获取目标区域灾前、灾后的多光谱遥感图像和数字高程模型数据,并对其进行预处理,并将多光谱遥感图像转化为多光谱反射率图像;
基于所述多光谱反射率图像计算目标区域的地表归一化植被指数,基于所述数字高程模型数据计算目标区域的坡度数据;
将目标区域灾前、灾后的多光谱反射率图像、数字高程模型数据、地表归一化植被指数以及坡度数据按地理坐标进行纵向关联和组合,形成融合滑坡和背景典型地物时空谱特征信息的数据立方体;
在所述数据立方体中标记典型地物基础样本数据;
结合区域生长算法和马氏距离算法对已标记的典型地物基础样本数据进行迁移增强。
2.根据权利要求1所述的基于遥感图像时空谱特征关联融合的样本数据迁移增强方法,其特征在于,
将目标区域的多光谱反射率图像中的近红外波段的反射率图像与红光波段的反射图像之和与两者之差的比值作为目标区域的地表归一化植被指数。
3.根据权利要求1所述的基于遥感图像时空谱特征关联融合的样本数据迁移增强方法,其特征在于,坡度数据的计算步骤为:
在数字高程模型数据上给定一个像元(i,j),其中i和j分别为该像元的行列号;
在像元(i,j)周围选定n×n的邻近像元区,计算像元(i,j)在x方向上的平均高度变化率,n为正整数:
其中,cellsizex为x方向上单个像元的空间宽度,h(i,j)为像元(i,j)的海拔高度;
计算像元(i,j)在y方向上的平均高度变化率:
其中,cellsizey为y方向上单个像元的空间宽度;
计算像元(i,j)的坡度:
移动n×n像元的窗口区遍历每一个像元,计算出来整个目标区域每一个像元的坡度值,得到目标区域的坡度数据。
4.根据权利要求1所述的基于遥感图像时空谱特征关联融合的样本数据迁移增强方法,其特征在于,对已标记的典型地物基础样本数据迁移增强的步骤为:
在已标记的样本点周围按区域生长算法搜索未标记的样本点,当所述已标记样本点与未标记样本点之间的马氏距离小于生长门限阈值TM时,将所述未标记样本点作为已标记样本点的同类样本点,实现典型样本数据迁移增强。
5.根据权利要求4所述的基于遥感图像时空谱特征关联融合的样本数据迁移增强方法,其特征在于,基于马氏距离计算公式为:
其中,Y=[y1,y2,",yi,...,yp]T,为未标记的样本点集合,yi表示Y中第i个样本点的多光谱反射率、数字高程模型数据、地表归一化植被指数以及坡度数据,为已经标记的样本点集合,xi表示X中第i个样本点的多光谱反射率、数字高程模型数据、地表归一化植被指数以及坡度数据,c表示已标记样本类别,Σc为第c类已标记样本数据集多维特征的协方差矩阵,DM(Y,Xc)用于表征已经标记的样本点与未标记的样本点之间的相似度。
6.根据权利要求1或4所述的基于遥感图像时空谱特征关联融合的样本数据迁移增强方法,典型样本数据迁移增强的步骤为:
步骤1:对已标记的各类样本进行顺序扫描,将第1个已标记的基础样本作为中心像元(i0,j0);
步骤2:以中心像元(i0,j0)为中心,考虑中心像元(i0,j0)周围8连通邻域中没有标记归属类别的像元(i,j),如果像元(i,j)与中心像元(i0,j0)的马氏距离小于生长门限阈值TM时,则满足生长准则,将像元(i,j)与中心像元(i0,j0)合并,作为同一区域内的同类地物,同时将像元(i,j)压入堆栈;
步骤3:从堆栈中取出一个像元,把它当作中心像元(i0,j0)返回执行步骤2;
步骤4:当堆栈为空或堆栈中样本总数达到单个样本生长上限Tnum_max时,返回到步骤1,将剩余的已标记的基础样本之一作为中心像元(i0,j0);
步骤5:重复步骤1-4直到遍历所有已标记的基础样本点时,生长结束。
7.一种样本数据迁移增强系统,其特征在于,包括处理模块、存储模块以及用于获取目标区域的多光谱遥感图像和数字高程模型数据的数据采集模块;
所述数据采集模块与处理模块连接,向其发送所述多光谱遥感图像和数字高程模型数据;所述处理模块和存储模块通信连接,所述存储模块用于存放至少一个可执行指令,所述可执行指令使所述处理模块基于所述多光谱遥感图像和数字高程模型数据执行如权利要求1-6任一项所述基于遥感图像时空谱特征关联融合的样本数据迁移增强方法对应的操作,对样本数据进行迁移增强。
8.一种目标识别方法,其特征在于,基于权利要求1-6任一项所述的基于遥感图像时空谱特征关联融合的样本数据迁移增强方法获取样本;
构建机器学习模型,利用所述样本对该机器学习模型进行训练,利用训练好的机器学习模型对待识别样本进行目标识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410885531.7A CN118898757B (zh) | 2024-07-03 | 2024-07-03 | 一种基于遥感图像时空谱特征关联融合的样本数据迁移增强方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410885531.7A CN118898757B (zh) | 2024-07-03 | 2024-07-03 | 一种基于遥感图像时空谱特征关联融合的样本数据迁移增强方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118898757A true CN118898757A (zh) | 2024-11-05 |
| CN118898757B CN118898757B (zh) | 2025-01-28 |
Family
ID=93265511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410885531.7A Active CN118898757B (zh) | 2024-07-03 | 2024-07-03 | 一种基于遥感图像时空谱特征关联融合的样本数据迁移增强方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118898757B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120339850A (zh) * | 2025-06-19 | 2025-07-18 | 安徽省交通控股集团有限公司 | 一种基于多源遥感数据的地质灾害自动识别系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008157843A1 (en) * | 2007-06-21 | 2008-12-24 | Guardian Technologies International Inc. | System and method for the detection, characterization, visualization and classification of objects in image data |
| CN105787457A (zh) * | 2016-03-08 | 2016-07-20 | 浙江工商大学 | 一种modis卫星集成dem提高植被分类遥感精度的估算方法 |
| CN106815690A (zh) * | 2017-01-25 | 2017-06-09 | 中国科学院遥感与数字地球研究所 | 基于遥感数据的生态环境质量评价系统与方法 |
| CN116778104A (zh) * | 2023-08-16 | 2023-09-19 | 江西省国土资源测绘工程总院有限公司 | 一种动态遥感监测的测绘方法及系统 |
-
2024
- 2024-07-03 CN CN202410885531.7A patent/CN118898757B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008157843A1 (en) * | 2007-06-21 | 2008-12-24 | Guardian Technologies International Inc. | System and method for the detection, characterization, visualization and classification of objects in image data |
| CN105787457A (zh) * | 2016-03-08 | 2016-07-20 | 浙江工商大学 | 一种modis卫星集成dem提高植被分类遥感精度的估算方法 |
| CN106815690A (zh) * | 2017-01-25 | 2017-06-09 | 中国科学院遥感与数字地球研究所 | 基于遥感数据的生态环境质量评价系统与方法 |
| CN116778104A (zh) * | 2023-08-16 | 2023-09-19 | 江西省国土资源测绘工程总院有限公司 | 一种动态遥感监测的测绘方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| IVÁN D. GARCÍA-SANTILLÁN等: "On-line crop/weed discrimination through the Mahalanobis distance from images in maize fields", 《BIOSYSTEMS ENGINEERING》, vol. 166, 28 February 2018 (2018-02-28), pages 28 - 43 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120339850A (zh) * | 2025-06-19 | 2025-07-18 | 安徽省交通控股集团有限公司 | 一种基于多源遥感数据的地质灾害自动识别系统及方法 |
| CN120339850B (zh) * | 2025-06-19 | 2025-09-09 | 安徽省交通控股集团有限公司 | 一种基于多源遥感数据的地质灾害自动识别系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118898757B (zh) | 2025-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zefri et al. | Developing a deep learning-based layer-3 solution for thermal infrared large-scale photovoltaic module inspection from orthorectified big UAV imagery data | |
| CN112381013B (zh) | 基于高分辨率遥感影像的城市植被反演方法及系统 | |
| Chen et al. | Isolating individual trees in a savanna woodland using small footprint lidar data | |
| Xu et al. | Feature-based constraint deep CNN method for mapping rainfall-induced landslides in remote regions with mountainous terrain: An application to Brazil | |
| CN111767865A (zh) | 一种利用航拍影像和激光数据反演红树林生物量的方法 | |
| CN117114147A (zh) | 基于雷达和卫星遥感的森林植被碳储量估算的方法和装置 | |
| CN113033315A (zh) | 一种稀土开采高分影像识别与定位方法 | |
| CN114662626A (zh) | 多源遥感数据多特征融合的岩性自动分类方法及系统 | |
| CN116994029A (zh) | 一种用于多源数据的融合分类方法及系统 | |
| Ding et al. | Building detection in remote sensing image based on improved YOLOv5 | |
| CN117993735A (zh) | 一种基于遥感技术的油气勘探系统及方法 | |
| CN120431481A (zh) | 一种动态监测自然资源变化的系统 | |
| CN118898757A (zh) | 一种基于遥感图像时空谱特征关联融合的样本数据迁移增强方法及系统 | |
| CN115272153A (zh) | 一种基于特征稀疏区域检测的影像匹配增强方法 | |
| Zhang et al. | Automatic extraction of building geometries based on centroid clustering and contour analysis on oblique images taken by unmanned aerial vehicles | |
| CN117169138B (zh) | 一种基于遥感数据的区域墒情监测方法 | |
| CN117571625A (zh) | 一种基于遥感影像的罂粟非法种植检测方法及系统 | |
| Ding et al. | Study on building extraction from high-resolution images using MBI | |
| CN119478571B (zh) | 太阳能电站植被覆盖度的重建方法、装置及设备 | |
| Zhang et al. | High-precision photogrammetric 3d modeling technology based on multi-source data fusion and deep learning-enhanced feature learning using internet of things big data | |
| Albanwan et al. | 3D iterative spatiotemporal filtering for classification of multitemporal satellite data sets | |
| Chen et al. | Fusion of LIDAR data and high resolution images for forest canopy modelling | |
| CN120088672A (zh) | 基于多源遥感数据的海堤特征信息提取方法及系统 | |
| Waser et al. | Towards automated forest mapping | |
| Sun | Deep learning-based building extraction using aerial images and digital surface models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |