CN116403011A

CN116403011A - 基于SAR-Optical图像匹配的有效数据样本群的建立方法

Info

Publication number: CN116403011A
Application number: CN202310071993.0A
Authority: CN
Inventors: 李波; 简若冰; 章飞宇; 王绍谦; 戴玉超
Original assignee: Northwestern Polytechnical University
Current assignee: Northwestern Polytechnical University
Priority date: 2023-02-01
Filing date: 2023-02-01
Publication date: 2023-07-07
Anticipated expiration: 2043-02-01
Also published as: CN116403011B

Abstract

本发明公开了一种基于SAR‑Optical图像匹配的有效数据样本群的建立方法，获取SAR图像和光学遥感图像对；对SAR图像和光学遥感图像对进行矩形模板区域匹配，匹配中不需要人工使用肉眼对待测数据进行选择，减少了人工筛选分类错误的同时，提高了数据集制作效率，降低了时间和人力成本，并且更能适应目前基于深度学习的匹配算法；最后，对筛选出的所有有效SAR图像和光学遥感图像对进行校准对齐，生成基于SAR‑Optical图像匹配的有效数据样本群，并通过阈值法去除无效数据，保留有效数据，提高数据的有效性，解决如何自动生成有效数据集，减小人工数据处理成本的技术问题。

Description

基于SAR-Optical图像匹配的有效数据样本群的建立方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于SAR-Optical图像匹配的有效数据样本群的建立方法。

背景技术

图像是自然场景信息在计算机中的最主要的表现形式，因此图像处理技术一直以来是理论研究和实际应用的重点与热点。通常，单一传感器只能获得场景的某一方面信息，而多传感器可以获得场景多方面的信息，例如可见光图像可以获得场景可见光波段的光谱反射信息，遥感图像可以获得拍摄地区的地物特质，SAR图像可以获得拍摄区域的全天候雷达图像。异源图像匹配及图像融合是综合利用多个传感器采集的互补图像信息的技术基础。异源图像匹配是指将不同传感器采集的同一场景的多幅图像在像素空间上对齐的过程，而异源图像融合是指将异源图像中的互补信息进行综合的过程。由于异源图像匹配及融合的基础性地位，因此被广泛应用于各类军事及民用领域，如导航制导、遥感场景分析、目标识别等。

在异源图像匹配任务中，SAR(合成孔径雷达)和可见光(Optical)图像的匹配最具代表性且有重要的军事应用前景。由于合成孔径雷达和光学图像在成像原理上的根本不同，导致他们图像之间具有复杂的非线性辐射差异。因此传统的基于特征点和基于模版的匹配方法往往不能取得理想的结果。

且现有技术中存在着以下几点技术问题：

1)在SAR-Optical数据集制作的基本流程中，仍需要大量的人工介入，特别是在有效区域筛选这一部分，人为检查的方式不仅效率低下而且成本很高；

2)此外，现有的SAR-Optical数据集由于是靠人工筛选样本，人并不能完全理解网络需要学习的特征和区域，因此人工筛选出来的数据往往并不能适应现有神经网络；

3)考虑到近年来的匹配算法逐渐从特征依赖转为数据依赖，数据规模的大小有时将决定匹配算法的性能好坏。现有清洗数据的算法都具有速度慢，占用资源多，只能处理单种数据的问题。这些问题都大大限制了数据集规模的发展。

发明内容

本发明的目的是提供一种基于SAR-Optical图像匹配的有效数据样本群的建立方法，以解决如何自动生成有效数据集，减小人工数据处理成本的技术问题。

本发明采用以下技术方案：

本发明实施例一提供了一种基于SAR-Optical图像匹配的有效数据样本群的建立方法，包括：

获取SAR图像和光学遥感图像对；

对SAR图像和光学遥感图像对进行模板匹配，得到有效SAR图像和光学遥感图像对；

对筛选出的所有有效SAR图像和光学遥感图像对进行校准对齐，生成基于SAR-Optical图像匹配的有效数据样本群。

可选地，对所述SAR图像和光学遥感图像对进行模板匹配包括：

根据模板匹配算法在SAR图像上随机选取第一矩形模板区域和第二矩形模板区域；

计算第一矩形模板区域与第二矩形模板区域在第一预设偏移方向上的第一长度偏移量和第一宽度偏移量；

根据第一长度偏移量和第一宽度偏移量得到有效SAR图像和光学遥感图像对。

可选地，对所述SAR图像和光学遥感图像对进行模板匹配还包括：

根据模板匹配算法在光学遥感图像上随机选取第三矩形模板区域和第四矩形模板区域；

计算第三矩形模板区域与第四矩形模板区域在第二预设偏移方向上的第二长度偏移量和第二宽度偏移量；

根据第二长度偏移量和第二长度偏移量确定当前有效SAR图像和光学遥感图像对。

可选地，得到有效SAR图像和光学遥感图像对包括：

判断第一长度偏移量与第二长度偏移量的第一差值是否大于第一阈值；

判断第二长度偏移量与第二长度偏移量的第二差值是否大于第二阈值；

若第一差值小于第一阈值且第二差值小于第二阈值，则保留当前SAR图像和光学遥感图像对为有效SAR图像和光学遥感图像对；

可选地，若第一差值不小于第一阈值且第二差值不小于第二阈值，则调整模板区域的大小或不同阈值的大小。

可选地，对筛选出的所有有效SAR图像和光学遥感图像对进行校准对齐包括：

分别提取有效SAR图像和有效光学遥感图像中地物特征；

计算有效SAR图像和有效光学遥感图像中地物特征之间的对齐度；

根据对齐度筛选出若干个有效SAR图像和光学遥感图像对，生成基于SAR-Optical图像匹配的有效数据样本群。

可选地，对齐度的计算方式包括：

其中，I₁表示有效SAR图像的地物特征，I₂表示有效光学遥感图像的地物特征，

表示I₁图像的像素方差，/>

表示图像I₂图像的像素方差，/>

表示I₂对I₁的像素期望方差，/>

表示I₁对I₂的像素期望方差，CI(I₁,I₂)表示有效SAR图像和有效光学遥感图像中地物特征之间的对齐度。

可选地，获取SAR图像和光学遥感图像对包括：

对SAR图像和光学遥感图像进行数据格式转换；

对数据格式转换后的SAR图像和光学遥感图像进行随机采样；

对随机采样采集到的SAR图像和光学遥感图像进行去重处理，生成SAR图像和光学遥感图像对。

本发明实施例二提供了一种基于SAR-Optical图像匹配的有效数据样本群的建立装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述方法实施例中任一项的一种基于SAR-Optical图像匹配的有效数据样本群的建立方法。

本发明的有益效果是：1)利用市场上成熟的Google Earth Engine获取SAR图像和光学遥感图像对，使用方便，易于掌握，且具有广泛的社会认可度；

2)对所述SAR图像和光学遥感图像对进行模板匹配，匹配中不需要人工使用肉眼对待测数据进行选择，减少了人工筛选分类错误的同时，提高了数据集制作效率，降低了时间和人力成本，并且更能适应目前基于深度学习的匹配算法。

3)对筛选出的所有有效SAR图像和光学遥感图像对进行校准对齐，生成基于SAR-Optical图像匹配的有效数据样本群，并通过阈值法去除无效数据，保留有效数据，提高数据的有效性。

附图说明

图1为本发明实施例一提供的一种基于SAR-Optical图像匹配的有效数据样本群的建立方法步骤流程图；

图2为本发明实施例一提供的一种基于SAR-Optical图像匹配的有效数据样本群的建立方法步骤流程示意图；

图3为本发明实施例一提供的一种矩形模板区域设置示意图；

图4为本发明实施例一提供的一种基于地面控制点(GCP)库的图像校准方法步骤示意图；

图5为本发明实施例一提供的一种模板匹配算法网络结构示意图；

图6为本发明实施例二提供的一种基于SAR-Optical图像匹配的有效数据样本群的建立转置示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

1、本发明实施例一提供了一种基于SAR-Optical图像匹配的有效数据样本群的建立方法，结合图1和图2，该方法包括：

步骤101,获取SAR图像和光学遥感图像对；

可选地，获取SAR图像和光学遥感图像对包括：

对SAR图像和光学遥感图像进行数据格式转换；

对数据格式转换后的SAR图像和光学遥感图像进行随机采样；

步骤101的具体实现方式为：从Google Earth Engine下载所需的SAR图像和光学遥感图像，为了扩充数据源，或从网络上的公开雷达卫星采样数据构成的公开数据集获取预设城市或地区的SAR图像和光学遥感图像，并进行数据格式转换，将其处理转换成易于处理的数据。

具体地，对于下载的公开数据集，首先需要将所有数据调整为统一格式以方便处理。

以哨兵一号和哨兵二号数据为例，转换数据格式是指的将数据转换为GeoTiffs数据格式的图像，使用GEE的Export.image.toDrive函数将下载的SAR图像数据或光学遥感图像导出，生成GeoTiff数据；并将GeoTiff数据的灰度值控制在±2.5σ的范围内，像素值归一化到[0，1]的区间内用以表征一个相对大的范围，如果具有多个波段，则在所有波段上都实现以上校正操作。完成以上操作则可以实现SAR图像和光学遥感图像的数据格式转换。数据格式转换后随机采样并选取所需的地物区域数据。

为了去除存在重叠的随机采样数据，使用GEE内置的ee.ImageCollection.mosaic()函数和ee.Image.clip()函数为每一个随机采样设置一个可修剪采样数据的大小的功能。简而言之，ee.ImageCollection.mosaic()函数就是用处理那些部分重叠的图像，剔除无效的SAR图像和光学遥感图像，提高异源匹配性。

对于从Google Earth Engine获取的图像，首先进行采样，进行去重处理，与公开数据集统一格式，并整合筛选出可用数据。

从Google Earth Engine下载所需的图像后需要设定区域进行随机采样，设定好采样seed，在预设城市或所需地区的地表泛泛地选100个点进行随机采样，再从预设城区选50个点。不同陆地或城市地区的形状详情由公共域Geodata服务提供，其采样比例为1：50m。

如果得到的两个点位置相当接近，需要进行去重处理去掉其中的一个点，保证采样时没有重叠部分，保留不存在重叠的SAR图像和光学遥感图像对。对于采样得到的图像，再进行图像去重工作，使用上文所述GEE内置的ee.ImageCollection.mosaic()函数和ee.Image.clip()函数进行处理。

采样完成后将Google Earth Engine数据统一格式，再将公开数据集数据和Google Earth Engine数据进行整合，对不可用数据进行筛选。例如基于SAR-Optical图像匹配的有效数据样本群需要哨兵二号图像的云覆盖范围小于1％且哨兵一号的VV-IW所有波段都可用，使用GEE的工具按照上述条件过滤图像，以此来筛选处理采样数据，如果有不符合条件的数据，则去除。

步骤102,对所述SAR图像和光学遥感图像对进行模板匹配，得到有效SAR图像和光学遥感图像对；

在一种实施例中，需要说明的是哨兵二号的颗粒的云覆盖的数据仅仅是一个全球共享的参数，根据参数筛选SAR图像和光学遥感图像并不准确，存在整个颗粒中包括了一堆被云遮挡的图像数据，其中只有少部分云覆盖局部图像数据，这些均为无效数据，只有极少部分数据为无任何遮挡物的数据为有效数据。而通过模板匹配法在SAR图像和光学遥感图像分别设置矩形模板区域，需要说明的是该模板区域包含目标地物特征，通过对SAR图像和光学遥感图像中各自模板偏移量进行判断，筛选有效SAR图像和光学遥感图像对。从而通过模板匹配法去除SAR图像和光学遥感图像中大块的无效区域以及具有严重的云覆盖的图像，实现SAR图像和光学遥感图像的粗匹配，初步筛选出有效数据，达到数据清洗的效果。

第一矩形模板区域与第二矩形模板区域按照第一预设偏移方向存在第一长度偏移量和第一宽度偏移量；

第三矩形模板区域与第四矩形模板区域按照第二预设偏移方向存在第二长度偏移量和第二宽度偏移量；

可选地，得到有效SAR图像和光学遥感图像对包括：

在一种实施例中，如图3所示，首先在待检测的SAR图像中随机设置两个矩形模板区域，例如区域A为第一矩形模板区域，区域B为第二矩形模板区域，其中区域B相对区域A按照预设方向存在一定的偏移量。例如在二维坐标系中，区域B相对区域A在水平方向上存在第一长度偏移量Δx，在垂直方向上存在第一宽度偏移量Δy。以同样的方法在光学遥感图像设置对应的模板，例如区域A′为第三矩形模板区域，区域B′为第四矩形模板区域。其中区域B′相对区域A′按照预设方向存在一定的偏移量。例如在二维坐标系中，区域B′相对区域A′在水平方向上存在第二长度偏移量Δx′，在垂直方向上存在第二宽度偏移量Δy′。

为此，进一步计算SAR图像和光学遥感图像之间的第一长度偏移量和第二长度偏移量之间的第一差值，即(Δx-Δx′)是否大于模板匹配算法中设置的第一阈值；同时判断SAR图像和遥感光学图像之间的第一宽度偏移量和第二宽度偏移量之间的第二差值，即(Δy-Δy′)是否大于模板匹配算法中的设置的第二阈值，只有当第一差值小于第一阈值且第二差值小于第二阈值的时，表明当前处理的SAR图像和光学遥感图像为有效SAR图像和光学遥感图像对。

若第一差值不小于第一阈值且第二差值不小于第二阈值，则调整模板区域的大小或不同阈值的大小。

需要说明的是，通常情况下，如果该区域存在很高的适配性，那么Δx，Δy与Δx′，Δy′将十分接近。如果该区域的适配性很低，那么Δx与Δx′，Δy与Δy′将表现出较大的偏差。通过对Δx，Δy与Δx′，Δy′的偏差设置一定的阈值，即可筛查出大部分的不适配区域。

需要说明的是在整个清洗过程中矩形模板区域的大小和位置并非固定的，可以不断变换以适应不同的无效区域筛选要求和图像类型。比如对待数据上较小的无效区域，大的矩形模板区域可能并不能检测出其存在，或者其计算的偏移量非常小，不满足阈值。因此可以额外加入一个由粗到精的矩形模板区域设置策略。

在由粗到精的矩形模板区域设置策略当中，首先设置一对尺寸较大的矩形模板区域作为滑动窗口，该滑动窗口可根据实际待检测特征的所在区域的大小而调整大小，并且可在整个参考图像上滑动，以便包含全部待检测图像特征，便于更加准确地计算SAR图像和光学遥感图像中矩形模板区域的偏移量。

通过该模板检测方法对所有SAR图像和光学遥感图像进行多次循环检测，以增加对数据的筛选精确度。

并且通过本实施例中设置多种阈值，可以根据网络的需求构建调整数据集。在整个数据集构建流程中，对同一批数据循环使用数据清洗，逐步去除所有的不适配图像，保留适配图像，从而有效替代数据集制备流程中的人工介入步骤，实现大规模数据集制备过程的自动化。

步骤103,对筛选出的所有有效SAR图像和光学遥感图像对进行校准对齐，生成基于SAR-Optical图像匹配的有效数据样本群。

在一种实施例中，需要说明的是通过上述步骤102筛选出的SAR图像和光学遥感图像对中，由于实际采集的SAR图像信息为地物目标的后向散射形成的图像信息，其图像呈现一个区域的曲面图像信息，为了更好的将SAR图像和光学遥感图像进行对齐，首先采用基于地面控制点(GCP)库的图像校准方法对SAR图像和光学遥感图像进行校准，具体如图4所示，将待校准的图像作为校准器的输入，通过(GCP)库获取的目标区域的光学遥感图像，并且可直接提取该光学遥感图像的中心点位置；此外，由于SAR图像呈现目标区域地表的曲面图像信息，为此需获取SAR轨道参数和成像参数，将SAR图像进行展开处理，同时计算展开后SAR图像的四个角点的位置信息，根据四个角点的位置信息计算出SAR图像的中心点的位置，SAR图像的中心点位置和(GCP)库中光学遥感光学图像的中心点位置进行校准，采用仿射变换和重采样提取初匹配区域，确保可以从两个图像中可以找到同一目标地区的图像片或者同一地物特征；最后，对SAR图像的中心点位置和(GCP)库中光学遥感光学图像的初匹配区域进行互相关精匹配。

可选地，对筛选出的所有有效SAR图像和光学遥感图像对进行校准对齐，生成基于SAR-Optical图像匹配的有效数据样本群包括：

分别提取有效SAR图像和有效光学遥感图像中地物特征；

在一种实施例中，如图5所示，基于孪生网络架构，将筛选出的有效SAR图像和光学遥感图像对作为矩形模板区域匹配算法网络的输入，并使用相同的CNN特征提取器分别对有效SAR图像和有效光学遥感图像地物特征，当确定出SAR图像的地物特征图与光学遥感图像的地物特征图之后，根据如下方式计算SAR图像和有效光学遥感图像地物特征之间的对齐度：

表示I₁图像的像素方差，/>

表示图像I₂图像的像素方差，/>

表示I₂对I₁的像素期望方差，

为了实现SAR图像和光学图像的对齐，采用交互方差计算对齐度，反映两幅图像灰度相互对应的稳定程度。其主要思想是如果两幅图像对齐，那么一幅图像的每个灰度级在像素位置上所对应的另一幅图像的灰度级最稳定，即方差最小。为此可根据方差的大小或者对齐度的大小筛选出所有满足预设对齐度阈值要求的有效SAR图像和光学遥感图像对，生成基于SAR-Optical图像匹配的有效数据样本群。实现了SAR图像和光学图像的精准匹配。

需要说明的是，如图5中，对提取到的SAR图像和有效光学遥感图像地物特征之后，使用傅立叶卷积对提取到的特征图进行相关性计算。由于特征提取网络存在一定的下采样操作，最后还需要对相关性图进行上采样，以恢复原来的空间分辨率精度。

本方案在服务器端训练一个较大的模型，在移动端布置一个轻量化模型。在服务器端，本方案使用了经典的ResNet网络结构，并通过channel attention模块来增强图像特征的鲁棒性和辨识性。在实际移动端部署的轻量化模型，主要采用以mobilenetv2为主的网络结构，该网络结构具有更小的参数量和计算量。

在计算SAR图像的地物特征图与光学遥感图像的地物特征图的相关性时，本发明采用基于对比学习采用稠密InforNCE损失函数，并基于使用一种多粒度正则化方案，可以有效避免训练阶段的过拟合问题。

且整个训练过程中通过计算SAR图像的地物特征图与光学遥感图像的地物特征图匹配正确位置得到相关性得分：

其中，s_p是SAR图像的地物特征图与光学遥感图像的地物特征图匹配正确位置p处的相关性得分，s_j是SAR图像的地物特征图与光学遥感图像的地物特征图匹配过程中总的相关性得分，τ是温度系数用来对不同位置处的相关性得分进行适度的非线性缩放，R代表相关性得分图的所有位置。该损失函数可以有效应对匹配问题中的多模式分布问题，从而有效地监督整个网络的训练，并且增强网络特征学习与提取的稳定性与泛化性。

为了加快匹配过程，使用傅里叶(FFT)卷积代替普通卷积。在FFT卷积过程中，首先对作为卷积核的SAR图像和作为参考的光学遥感图像进行FFT卷积。在卷积时，要对SAR图像通过补零进行padding，使其与参考图像有相同的大小。总计算量相对于普通卷积的运算有明显的下降。

通过本发明提供的矩形模板区域匹配算法并结合SAR图像实现两种异源图像的粗匹配；进一步对有效光学遥感图像地物特征校准对齐实现两种异源图像的精匹配，提高了改模型最终的匹配效率和精度。

本发明实施例二提供了一种基于SAR-Optical图像匹配的有效数据样本群的建立装置500，如图6所示，包括存储器510、处理器520以及存储在存储器中并可在处理器上运行的计算机程序530，处理器执行计算机程序时实现如上述方法实施例中任一项的一种基于SAR-Optical图像匹配的有效数据样本群的建立方法。

需要说明的是，上述基于SAR-Optical图像匹配的有效数据样本群的建立装置500可实时的基于SAR-Optical图像匹配的有效数据样本群的建立方法与实施例一的方法步骤一致，此处不再赘述。

Claims

1.一种基于SAR-Optical图像匹配的有效数据样本群的建立方法，其特征在于，包括：

获取SAR图像和光学遥感图像对；

对所述SAR图像和光学遥感图像对进行模板匹配，得到有效SAR图像和光学遥感图像对；

对所述有效SAR图像和光学遥感图像对进行校准对齐，生成基于SAR-Optical图像匹配的有效数据样本群。

2.如权利要求1所述的一种基于SAR-Optical图像匹配的有效数据样本群的建立方法，其特征在于，对所述SAR图像和光学遥感图像对进行模板匹配包括：

根据模板匹配算法在所述SAR图像上随机选取第一矩形模板区域和第二矩形模板区域；

计算所述第一矩形模板区域与所述第二矩形模板区域在第一预设偏移方向上的第一长度偏移量和第一宽度偏移量；

根据所述第一长度偏移量和所述第一宽度偏移量得到有效SAR图像和光学遥感图像对。

3.如权利要求2所述的一种基于SAR-Optical图像匹配的有效数据样本群的建立方法，其特征在于，对所述SAR图像和光学遥感图像对进行模板匹配还包括：

根据模板匹配算法在所述光学遥感图像上随机选取第三矩形模板区域和第四矩形模板区域；

计算所述第三矩形模板区域与所述第四矩形模板区域在第二预设偏移方向上的第二长度偏移量和第二宽度偏移量；

根据所述第二长度偏移量和所述第二长度偏移量确定当前有效SAR图像和光学遥感图像对。

4.如权利要求2或3任一一种所述的一种基于SAR-Optical图像匹配的有效数据样本群的建立方法，其特征在于，对所述SAR图像和光学遥感图像对进行模板匹配包括：

判断所述第一长度偏移量与所述第二长度偏移量的第一差值是否大于第一阈值；

判断所述第二长度偏移量与所述第二长度偏移量的第二差值是否大于第二阈值；

若所述第一差值小于第一阈值且所述第二差值小于第二阈值，则保留当前SAR图像和光学遥感图像对为有效SAR图像和光学遥感图像对。

5.如权利要求4所述的一种基于SAR-Optical图像匹配的有效数据样本群的建立方法，其特征在于，若所述第一差值不小于第一阈值且所述第二差值不小于第二阈值，则调整模板区域的大小或不同阈值的大小。

6.如权利要求1所述的一种基于SAR-Optical图像匹配的有效数据样本群的建立方法，其特征在于，对筛选出的所有所述有效SAR图像和光学遥感图像对进行校准对齐包括：

分别提取有效SAR图像和有效光学遥感图像中地物特征；

计算所述有效SAR图像和有效光学遥感图像中地物特征之间的对齐度；

根据所述对齐度筛选出若干个所述有效SAR图像和所述有效光学遥感图像对，生成基于SAR-Optical图像匹配的有效数据样本群。

7.如权利要求6所述的一种基于SAR-Optical图像匹配的有效数据样本群的建立方法，其特征在于，所述对齐度的计算方式包括：

其中，I₁表示所述有效SAR图像的地物特征，I₂表示所述有效光学遥感图像的地物特征，

表示I₁图像的像素方差，/>

表示图像I₂图像的像素方差，/>

表示I₂对I₁的像素期望方差，

表示I₁对I₂的像素期望方差，CI(I₁,I₂)表示所述有效SAR图像和有效光学遥感图像中地物特征之间的对齐度。

8.如权利要求1所述的一种基于SAR-Optical图像匹配的有效数据样本群的建立方法，其特征在于，获取SAR图像和光学遥感图像对包括：

对所述SAR图像和所述光学遥感图像进行数据格式转换；

对数据格式转换后的SAR图像和光学遥感图像进行随机采样；

对随机采样采集到的SAR图像和光学遥感图像进行去重处理，生成所述SAR图像和光学遥感图像对。

9.如权利要求1所述的一种基于SAR-Optical图像匹配的有效数据样本群的建立装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8任一项所述的一种基于SAR-Optical图像匹配的有效数据样本群的建立方法。