CN109284786A - 基于分布和结构匹配生成对抗网络的sar图像地物分类方法 - Google Patents

Abstract

本发明公开了一种基于分布和结构匹配生成对抗网络的SAR图像地物分类方法，选取训练集中的真实数据与生成器生成的伪数据训练DSM‑ACGAN中的判别器，更新其参数；固定判别器参数，再次生成伪数据训练DSM‑ACGAN中的生成器，更新其参数；计算生成数据和真实数据的分布和结构特性差异，作为样本权重引导DSM‑ACGAN训练和判别器中的特征学习；利用训练好的判别器对测试SAR图像进行预测并计算分类指标。本发明同时将真实SAR图像的统计和图像特性作为判别性先验融入生成对抗网络，有效地实现判别性特征学习，显著地提升了分类性能。

Description

基于分布和结构匹配生成对抗网络的SAR图像地物分类方法

技术领域

本发明属于SAR图像处理技术领域，具体涉及一种基于分布和结构匹配生成对抗网络的SAR图像地物分类方法。

背景技术

SAR是一种高分辨主动式微波遥感成像雷达，其对地观测不受光照和天气等因素的影响，所以广泛应用于军事和民用方面。高分辨SAR图像地物分类是SAR理解和解译的重要环节，在环境保护、灾害监测、海洋观测、资源保护、土地覆盖、精确农业、城区检测以及地理测绘方面起到至关重要的作用。

特征提取是分类的重要组成部分，提取特征的判别性很大程度上决定了分类性能的好坏。现有的SAR图像地物特征提取主要通过以下两种途径：基于统计特性的分布建模和基于图像内容的空间特征提取。但前者需要费时费力的大量专家知识去设计和复杂的超参数决定，后者由于缺乏先验指导而只能得到混淆的特征，不可避免地降低分类性能。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于分布和结构匹配生成对抗网络的SAR图像地物分类方法，在真实SAR图像的分布和空间结构先验的指导下，利用生成对抗网络强大的特征学习能力，有效地实现SAR地物图像的判别特征学习，从而提升分类性能。

本发明采用以下技术方案：

基于分布和结构匹配生成对抗网络的SAR图像地物分类方法，通过选取训练集中的真实数据与生成器生成的伪数据训练DSM-ACGAN中的判别器并更新其参数；然后固定判别器参数，再次生成伪数据训练DSM-ACGAN中的生成器并更新其参数；再计算生成数据和真实数据的分布和结构特性差异，作为样本权重引导DSM-ACGAN训练和判别器中的特征学习；最后利用训练好的判别器对测试SAR图像进行预测并计算分类指标。

具体的，包括以下步骤：

S1、输入高分辨SAR图像，随机选取像块组成训练集；

S2、将随机噪声通过生成器映射到数据空间得到伪数据，并与真实数据一同送入判别器训练，更新判别器参数；

S3、将随机噪声送入网络训练，更新生成器参数；

S4、分别对比伪数据和真实数据的统计特性和视觉特性，得到统计特性和视觉特性的差异，并结合得到最终的差异，作为下代训练样本的权重；

S5、重复步骤S2～S4直至达到最大训练次数；

S6、利用训练好的判别器实现SAR图像分类，得到预测结果图，计算分类指标。

进一步的，步骤S1中，输入高分辨Traunstein地区的SAR图像，从建筑、水域、森林和农田四类中每类随机选取5000个样本，每个样本为28×28的图像块，减去图像均值后除以最大值实现归一化，作为网络真实数据的输入。

进一步的，步骤S2中，将服从正态分布的随机噪声批量地送入DSM-ACGAN，通过生成器得到28×28的生成图像，并与等批量的真实数据一同送入判别器训练，对目标函数L_c+L_S进行最小化，更新判别器参数。

进一步的，步骤S3中，将随机噪声通过生成器得到生成图像，固定判别器的参数，训练生成器，对目标函数L_c-L_S进行最小化，更新生成器参数。

更进一步的，判断数据真伪L_c计算如下：

L_s＝-Ε[logD(S＝real|x)]-Ε[logD(S＝fake|G(z))]

判断数据类别的负对数似然损失函数L_S计算如下：

L_c＝-D^c·Ε[logA_c(C＝c|D(x_c))]-Ε[logA_c(C＝c|D(G(z_c)))]

其中，D(·)和G(·)分别代表判别器和生成器，x和z表示真实数据和随机噪声，x_c表示第c类的样本，z_c表示其生成样本G(z_c)被判别器识别为第c类的随机噪声，D(x_c)和D(G(z_c))是分别从真实样本和生成样本学到的判别性特征，A_c表示预测类别的辅助分类器，D^c表示第c类样本的权重，随机噪声z∈R¹⁰⁰，批量大小为100，初始学习率为1×10^-5。

进一步的，步骤S4具体计算如下：

采用Kolmogorov-Smirnov距离和对称的Kullback-Leibler散度度量生成样本与真实样本的统计特性差异如下：

表示拟合的累积分布F(t_n)与实际累积分布的最大绝对值差异D_KS如下：

其中，t_n表示分布曲线中的第n个采样点；

从信息论角度表示估计的概率密度函数和归一化直方图的不一致程度D_sKL如下：

其中，f(t_n)为估计的概率密度函数，g(t_n)为归一化直方图；

采用多尺度的结构化相似度度量准则，度量生成样本与真实样本的视觉特性差异如下：

对光照、对比度和结构对比度进行测定，定义通用的结构相似度如下：

SSIM(x,y)＝[l(x,y)]^α·[c(x,y)]^β·[s(x,y)]^γ

其中，x和y分别表示输入的非负信号，α、β、γ分别定义三个组分相对重要性的参数；

定义多尺度的结构相似度如下：

其中，M表示尺度因子，l_M(x,y)表示规模M时的光照对比计算，c_j(x,y)和s_j(x,y)分别表示尺度为j时的对比度和结构对比度；

然后基于统计特性和视觉特性的样本权重计算总的统计差异如下：

其中，和分别表示第c类真实和生成样本的KS距离和sKL散度；

真实和生成样本间的结构差异计算如下：

其中，是第c类的第j个样本，是第i个随机噪声，生成样本被判别器划分为第c类，N_c和N_c'分别代表真实和生成样本属于第c类的数目；

最终得到的混合差异，即样本权重D^c如下：

其中，λ∈[0,1]，λ表示调节分布和结构差异的平衡因子。

更进一步的，采用多尺度的结构化相似度度量准则，对光照、对比度和结构比较的测定如下：

其中，x和y分别表示输入的非负信号，μ_x和μ_y分别是其均值，和是其方差，σ_xy表示二者的协方差，C₁＝(k₁L)²，C₂＝(k₂L)²，C₃＝C₂/2是三个用于稳定计算的因子，L是像素值的动态范围，L＝255，k₁＝0.01，k₃＝0.03。

进一步的，步骤S5中，最大训练测试为300。

进一步的，步骤S6包括以下步骤：

S601、预测目标的类别，将R、G、B作为三基色，按照三基色上色法对各类预测像素分别进行上色，得到上色后的高分辨SAR图像，然后将其输出；

S602、将高分辨SAR图像得到的预测分类结果图与真实分布图进行比较，计算分类精度和kappa系数如下：

其中，是C×C的混淆矩阵，C代表类别数，x_ij表示类别i分类为类别j，x_i+和x_+i分别分别表示混淆矩阵第i行及第i列之和，N为总的样本个数。

与现有技术相比，本发明至少具有以下有益效果：

本发明基于分布和结构匹配生成对抗网络的SAR图像地物分类方法，利用生成对抗网络的优势并结合统计特性和图像结构两种互补的先验信息，从原始SAR图像中学到高水平的判别性特征；分别提出基于分布和基于结构的两种样本加权策略，促进了判别性和类别均衡的高质量样本的生成，克服了缺乏泛化能力、模式混叠和模式缺失等传统生成对抗网络的缺陷；利用生成的判别性样本和附加分类器将真实SAR图像的判别性信息引入到判别器的学习过程中，从而实现有效的判别性特征学习，极大地提升了分类性能。

进一步的，根据生成伪图像与真实图像的分布和结构差异，合理调整网络的训练，从而提升生成样本的真实性和判别器中学到深层特征的判别性，分别提出基于分布和基于结构的两种样本加权策略，促进了判别性和类别均衡的高质量样本的生成，克服了缺乏泛化能力、模式混叠和模式缺失等传统生成对抗网络的缺陷。

进一步的，最大训练测试为300，实现样本的充分训练，得到精确的实验结果。

综上所述，本发明充分结合传统先验知识与深度学习的优势，准确提取判别性的高水平特征，提高了SAR图像的分类结果。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的流程图；

图2为本发明中判别性学习示意图；

图3为本发明使用DSM-ACGAN模型的超参数示意图；

图4为本发明使用的SAR图像；

图5为本发明使用的SAR图像的地物分布参考图

图6为对比方法卷积神经网络(CNN)对图4的分类仿真结果图；

图7为本发明对图4的分类仿真结果图。

具体实施方式

本发明提供了一种基于分布和结构匹配生成对抗网络的SAR图像地物分类方法，主要解决现有分类方法中缺乏SAR图像真实特性指导下难以捕获高水平判别特征能力的问题。通过选取训练集中的真实数据与生成器生成的伪数据训练DSM-ACGAN中的判别器，更新其参数；然后固定判别器参数，再次生成伪数据训练DSM-ACGAN中的生成器，更新其参数；再计算生成数据和真实数据的分布和结构特性差异，作为样本权重引导DSM-ACGAN训练和判别器中的特征学习；最后利用训练好的判别器对测试SAR图像进行预测并计算分类指标。本发明将真实SAR图像的统计和图像特性作为判别性先验融入生成对抗网络，有效地实现判别性特征学习，显著地提升了分类性能。

请参阅图1，本发明一种基于分布和结构匹配生成对抗网络的SAR图像地物分类方法，包括以下步骤：

S1、输入高分辨SAR图像，随机选取像块组成训练集；

输入高分辨Traunstein地区的SAR图像，从建筑、水域、森林和农田四类中每类随机选取5000个样本，每个样本是28×28的图像块，减去图像均值后除以最大值实现归一化，作为网络真实数据的输入。

S2、将随机噪声通过生成器映射到数据空间得到伪数据，并与真实数据一同送入判别器训练，更新判别器参数；

将服从正态分布的随机噪声批量地送入如图2所示的DSM-ACGAN，通过生成器得到28×28的生成图像，并与等批量的真实数据(包含标签)一同送入判别器训练，最小化如下的目标函数L_c+L_S，更新判别器参数，其中

L_s＝-Ε[logD(S＝real|x)]-Ε[logD(S＝fake|G(z))]

L_c＝-Dc·Ε[logA_c(C＝c|D(x_c))]-Ε[logA_c(C＝c|D(G(z_c)))]

其中，L_c和L_S分别为判断数据真伪和类别的负对数似然损失函数，D(·)和G(·)分别代表判别器和生成器，x和z表示真实数据和随机噪声，x_c表示第c类的样本，z_c表示其生成样本G(z_c)被判别器识别为第c类的随机噪声，D(x_c)和D(G(z_c))是分别从真实样本和生成样本学到的判别性特征，A_c表示预测类别的辅助分类器，D^c表示第c类样本的权重。

随机噪声z∈R¹⁰⁰，批量大小为100，初始学习率为1×10^-5。

S3、将随机噪声送入网络训练，更新生成器参数；

与步骤2类似将随机噪声通过生成器得到生成图像，固定判别器的参数，训练生成器，最小化目标函数L_c-L_S，更新生成器参数。

S4、统计生成伪数据的统计特性和视觉特性并与真实数据对比得到差异，作为下代训练样本的权重；

先用以下两种方式度量生成样本与真实样本的统计特性差异：

一是Kolmogorov-Smirnov距离(KS)，表示拟合的累积分布F(t_n)与实际累积分布的最大绝对值差异如下：

其中，t_n表示分布曲线中的第n个采样点。

二是对称的Kullback-Leibler散度(sKL)，从信息论角度表示估计的概率密度函数和归一化直方图的不一致程度

度量生成样本与真实样本的视觉特性差异，采用多尺度的结构化相似度(MS-SSIM)度量准则，光照、对比度和结构比较的测定如下：

其中，x和y分别表示输入的非负信号，μ_x和μ_y分别是其均值，和是其方差，σ_xy表示二者的协方差，C₁＝(k₁L)²，C₂＝(k₂L)²，C₃＝C₂/2是三个用于稳定计算的因子，L是像素值的动态范围，这里L＝255，k₁＝0.01，k₃＝0.03。

通用的结构相似度(SSIM)定义如下：

SSIM(x,y)＝[l(x,y)]^α·[c(x,y)]^β·[s(x,y)]^γ

其中，α、β、γ分别定义三个组分相对重要性的参数。

多尺度的结构相似度(SSIM)定义如下：

其中，M表示尺度因子，l_M(x,y)表示规模M时的光照对比计算，c_j(x,y)和s_j(x,y)分别表示尺度为j时的对比度和结构比较。

实验中，取M＝3，β₁＝γ₁＝0.0711，β₂＝γ₂＝0.4530，α₃＝β₃＝γ₃＝0.4760，λ＝0.5。

最后基于统计特性和视觉特性的样本权重可由如下公式得到：

其中，和分别表示第c类真实和生成样本的KS距离和sKL散度，表示总的统计差异。

其中，表示真实和生成样本间的结构差异，是第c类的第j个样本，是第i个随机噪声，它的生成样本被判别器划分为第c类，N_c和N'_c分别代表真实和生成样本属于第c类的数目。

最终得到的混合差异，即样本权重D^c如下

其中，λ∈[0,1]，λ表示调节分布和结构差异的平衡因子。

S5、重复步骤S2～S4直至达到最大训练次数；

在设定的最大训练次数范围内，观测训练情况，直至满足要求。这里最大训练测试为300。

S6、利用训练好的判别器实现SAR图像分类，得到预测结果图，计算分类指标。

先预处理测试图像，方法同步骤S1，再输入训练好的判别器实现类别预测，得到预测结果图，计算分类指标。

S601、预测目标的类别，将R(红色)、G(绿色)、B(蓝色)作为三基色，按照三基色上色法对各类预测像素分别进行上色(具体颜色为：建筑：红色，水域：蓝色，森林：绿色，农田：黄色)，得到上色后的高分辨SAR图像，然后将其输出；

S602、将高分辨SAR图像得到的预测分类结果图与真实分布图进行比较，计算分类精度和kappa系数，具体计算公式如下：

其中，是C×C的混淆矩阵，C代表类别数，x_ij表示类别i分类为类别j，x_i+和x_+i分别分别表示混淆矩阵第i行及第i列之和，N为总的样本个数。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

1、实验条件与方法

硬件平台为：Titan X 16GB、64GB RAM；

软件平台为：Ubuntu14.04，Keras 2.1.3,Tensorflow 1.4.1；

实验方法：分别为CNN和本发明的方法

2、仿真内容与结果

图6是对比方法CNN对图4的分类仿真结果图；

图7是本发明对图4的分类仿真结果图；

仿真试验中，根据图5所示的地物分布参考图，得到各类分类精度和总分类精度及kappa系数作为评价指标。

评价结果如表1所示，其中，Alg1是CNN的方法，Alg2是本发明的方法。

表1为本发明和对比方法在仿真实验中得到各类目标的分类精度和kappa系数

实验结果分析

图6为基于CNN模型的分类预测结果图，图7为本发明的分类预测结果图。统计结果如表1所示。对比CNN的方法，明显可以看出图7取得了更好的实验结果。无论在匀质或非匀质区域，图7的分类结构都比较均匀，噪声较少，建筑、森林和农田的分类精度都明显高于CNN，整体的分类精度和kappa系数也显著提高。图6所示CNN的分类结果有严重的错分现象，杂散点较多。

综上所述，本发明提出的基于分布和结构匹配生成对抗网络的高分辨SAR图像地物分类算法能够充分结合传统先验知识与深度学习的优势，准确提取判别性的高水平特征，从而提高SAR图像的分类结果。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.基于分布和结构匹配生成对抗网络的SAR图像地物分类方法，其特征在于，通过选取训练集中的真实数据与生成器生成的伪数据训练DSM-ACGAN中的判别器并更新其参数；然后固定判别器参数，再次生成伪数据训练DSM-ACGAN中的生成器并更新其参数；再计算生成数据和真实数据的分布和结构特性差异，作为样本权重引导DSM-ACGAN训练和判别器中的特征学习；最后利用训练好的判别器对测试SAR图像进行预测并计算分类指标。

2.根据权利要求1所述基于分布和结构匹配生成对抗网络的SAR图像地物分类方法，其特征在于，包括以下步骤：

S1、输入高分辨SAR图像，随机选取像块组成训练集；

S2、将随机噪声通过生成器映射到数据空间得到伪数据，并与真实数据一同送入判别器训练，更新判别器参数；

S3、将随机噪声送入网络训练，更新生成器参数；

S4、分别对比伪数据和真实数据的统计特性和视觉特性，得到统计特性和视觉特性的差异，并结合得到最终的差异，作为下代训练样本的权重；

S5、重复步骤S2～S4直至达到最大训练次数；

S6、利用训练好的判别器实现SAR图像分类，得到预测结果图，计算分类指标。

3.根据权利要求2所述基于分布和结构匹配生成对抗网络的SAR图像地物分类方法，其特征在于，步骤S1中，输入高分辨Traunstein地区的SAR图像，从建筑、水域、森林和农田四类中每类随机选取5000个样本，每个样本为28×28的图像块，减去图像均值后除以最大值实现归一化，作为网络真实数据的输入。

4.根据权利要求2所述基于分布和结构匹配生成对抗网络的SAR图像地物分类方法，其特征在于，步骤S2中，将服从正态分布的随机噪声批量地送入DSM-ACGAN，通过生成器得到28×28的生成图像，并与等批量的真实数据一同送入判别器训练，对目标函数L_c+L_S进行最小化，更新判别器参数。

5.根据权利要求2所述基于分布和结构匹配生成对抗网络的SAR图像地物分类方法，其特征在于，步骤S3中，将随机噪声通过生成器得到生成图像，固定判别器的参数，训练生成器，对目标函数L_c-L_S进行最小化，更新生成器参数。

6.根据权利要求4或5所述基于分布和结构匹配生成对抗网络的SAR图像地物分类方法，其特征在于，判断数据真伪L_c计算如下：

L_s＝-Ε[logD(S＝real|x)]-Ε[logD(S＝fake|G(z))]

判断数据类别的负对数似然损失函数L_S计算如下：

L_c＝-D^c·Ε[logA_c(C＝c|D(x_c))]-Ε[logA_c(C＝c|D(G(z_c)))]

其中，D(·)和G(·)分别代表判别器和生成器，x和z表示真实数据和随机噪声，x_c表示第c类的样本，z_c表示其生成样本G(z_c)被判别器识别为第c类的随机噪声，D(x_c)和D(G(z_c))是分别从真实样本和生成样本学到的判别性特征，A_c表示预测类别的辅助分类器，D^c表示第c类样本的权重，随机噪声z∈R¹⁰⁰，批量大小为100，初始学习率为1×10^-5。

7.根据权利要求2所述基于分布和结构匹配生成对抗网络的SAR图像地物分类方法，其特征在于，步骤S4具体计算如下：

采用Kolmogorov-Smirnov距离和对称的Kullback-Leibler散度度量生成样本与真实样本的统计特性差异如下：

表示拟合的累积分布F(t_n)与实际累积分布的最大绝对值差异D_KS如下：

其中，t_n表示分布曲线中的第n个采样点；

从信息论角度表示估计的概率密度函数和归一化直方图的不一致程度D_sKL如下：

其中，f(t_n)为估计的概率密度函数，g(t_n)为归一化直方图；

采用多尺度的结构化相似度度量准则，度量生成样本与真实样本的视觉特性差异如下：

对光照、对比度和结构对比度进行测定，定义通用的结构相似度如下：

SSIM(x,y)＝[l(x,y)]^α·[c(x,y)]^β·[s(x,y)]^γ

其中，x和y分别表示输入的非负信号，α、β、γ分别定义三个组分相对重要性的参数；

定义多尺度的结构相似度如下：

其中，M表示尺度因子，l_M(x,y)表示规模M时的光照对比计算，c_j(x,y)和s_j(x,y)分别表示尺度为j时的对比度和结构对比度；

然后基于统计特性和视觉特性的样本权重计算总的统计差异如下：

其中，和分别表示第c类真实和生成样本的KS距离和sKL散度；

真实和生成样本间的结构差异计算如下：

其中，是第c类的第j个样本，是第i个随机噪声，生成样本被判别器划分为第c类，N_c和N′_c分别代表真实和生成样本属于第c类的数目；

最终得到的混合差异，即样本权重D^c如下：

其中，λ∈[0,1]，λ表示调节分布和结构差异的平衡因子。

8.根据权利要求7所述基于分布和结构匹配生成对抗网络的SAR图像地物分类方法，其特征在于，采用多尺度的结构化相似度度量准则，对光照、对比度和结构比较的测定如下：

其中，x和y分别表示输入的非负信号，μ_x和μ_y分别是其均值，和是其方差，σ_xy表示二者的协方差，C₁＝(k₁L)²，C₂＝(k₂L)²，C₃＝C₂/2是三个用于稳定计算的因子，L是像素值的动态范围，L＝255，k₁＝0.01，k₃＝0.03。

9.根据权利要求2所述基于分布和结构匹配生成对抗网络的SAR图像地物分类方法，其特征在于，步骤S5中，最大训练测试为300。

10.根据权利要求2所述基于分布和结构匹配生成对抗网络的SAR图像地物分类方法，其特征在于，步骤S6包括以下步骤：

S601、预测目标的类别，将R、G、B作为三基色，按照三基色上色法对各类预测像素分别进行上色，得到上色后的高分辨SAR图像，然后将其输出；

S602、将高分辨SAR图像得到的预测分类结果图与真实分布图进行比较，计算分类精度和kappa系数如下：

其中，是C×C的混淆矩阵，C代表类别数，x_ij表示类别i分类为类别j，x_i+和x_+i分别分别表示混淆矩阵第i行及第i列之和，N为总的样本个数。