CN102819745B - 一种基于AdaBoost的高光谱遥感影像分类方法 - Google Patents

Abstract

本发明公开了一种基于AdaBoost的高光谱遥感影像分类方法。传统的模式识别方法无法满足对数据维数高、数据量大的高光谱数据进行高效率高精度的分类，神经网络、支持向量机虽然能够对遥感数据进行有效的分类，但是参数没有理想的选择方法。本发明首先对高光谱数据进行预处理，去掉大气吸收等因素影响下的异常波段。之后利用MNF变换进行波段优选，达到优化数据、去除噪声和数据降维的目的。然后划分训练样本以及测试样本，选择决策树桩作为弱分类器，对弱分类器训练利用AdaBoost算法得到强分类器，选择合适的迭代次数，最后用一对一的方法构建多分类器，本发明增强了分类器收敛速度，提高了高光谱图像的分类性能。

Description

一种基于AdaBoost的高光谱遥感影像分类方法

技术领域

本发明属于高光谱数据处理方法与应用技术领域，涉及一种基于AdaBoost的高光谱遥感影像分类方法，适用于高光谱数据监督分类的理论方法和应用技术研究。

背景技术

高光谱影像光谱特征具有明显的高维特征，特征之间具有强相关性，直接应用原始波段进行分析是低效的。使用传统多光谱影像分类方法对高光谱影像进行分类时会遇到“维数灾难”现象，而且计算量随波段数量成四次方增加。为了更好地解决高光谱遥感影像分类问题，必须克服Hughes现象。通过有效特征提取算法降低数据维数可以克服Hughes现象，提高分类速度和精度，MNF是一种由Green等提出的特征提取和去除噪声的有效方法。

高光谱遥感影像的监督分类方法主要包括两大类：基于光谱特征匹配的方法和基于统计分析模型的方法。由于高光谱数据在获取过程中，大气、地形、光照等条件的影像，使得其获得的地物光谱特征变化较大，因此，基于光谱特征匹配的方法会出现不同地物之间混淆较大、不稳定等问题，使得分类结果精度降低；基于统计分析模型的方法主要是对高光谱数据样本的总体特征进行统计分析，根据样本采样点统计分布特征实现不同地物的分类。但是在统计分析模型建立过程中为了实现精确的分类，需要对训练样本进行分布假设以及大量的统计参数实现分类建模。传统的模式识别方法无法满足对数据维数高、数据量大的高光谱数据进行高效率高精度的分类，神经网络、支持向量机虽然能够对遥感数据进行有效的分类，但是需要复杂的参数寻优设置。

集成学习是模式识别领域的重要研究方向，而 AdaBoost 算法就是一种具有很强实用性的集成学习方法，它只需要更新训练样本集和弱分类器的权值，除了弱分类器数量外无需设置任何参数，能将简单的弱学习算法逐渐提升为强学习算法。由于 AdaBoost 算法训练和分类速度快，还能够实现非线性分类，比较适合实现精度较高的高光谱影像快速分类。

发明内容

本发明的目的在于针对传统的高光谱分类方法的不足，为高光谱遥感影像分类的研究提供一种基于AdaBoost的高光谱遥感影像分类方法。

本发明方法包括以下步骤：

1）高光谱数据的预处理。

将光谱影像各个波段以灰度图实现显示，对各个波段的光谱影像进行目视检查，可以确定由于大气吸收、折射和散射等因素的作用对光谱数据产生较大影响的异常波段和由于其他因素对光谱数据产生较大噪声的异常波段，对异常波段做直接剔除处理。

2)MNF特征提取。

MNF是含有两次叠置处理的主成分分析，其步骤如下:

第一步，对高光谱图像的噪声协方差矩阵进行估计，得到噪声协方差矩阵                                                ，然后将其对角化为矩阵，即:。

其中为的特征值按照降序排列的对角矩阵; 为由相应的特征值对应的特征向量而组成的正交矩阵。

第二步，在第一步公式的基础上构造矩阵。

第三步，利用第二步中构造的矩阵对图像总协方差矩阵进行变换，得到噪声调整后的总协方差矩阵，即  。

第四步，计算协方差矩阵的特征向量矩阵，使得，其中为特征向量矩阵所对应的特征值按照降序排列的对角矩阵，且有,为单位矩阵。

通过以上4 个步骤可得到MNF的变换矩阵。对步骤1）得到的波段影像进行MNF变换，选取维数缩减、信息量集中的前30波段的MNF变换影像作为训练样本数据。

3）训练样本准备。

依据先验知识，在每个地物类别区域内，随机的选取一定比例（一般小于50%）的训练样本。每个二分类问题，可组成训练样本集，,，其中为n维输入向量，也即n维训练样本，为第i个样本的样本标签（模式类别号），为训练样本总数。

4）AdaBoost的分类器设计。

AdaBoost 算法是根据在线分配算法提出的集成学习算法，允许不断地加入新的弱分类器，直到达到某个预定错误率。在 AdaBoost 算法中，每个训练样本都被赋予一个权值。如果某个样本已经能够被准确地分类，那么在构造下一轮的训练样本集时，它的权值就降低；如果某个样本没有能够被正确分类，那么它的权值就提高。通过多轮这样的训练，算法能够聚焦于那些较困难的样本上，从而综合得出强分类器。

本发明选择计算复杂度低，使用按照单一特征进行判别的决策树树桩作为弱分类器。

对于决策树树桩，弱分类器形式为

其中，为指示函数，是阈值，和b是回归参数。

在AdaBoost迭代过程中选择使加权经验风险最小的参数。

针对第个特征的弱分类器求解，首先将训练样本集按照第特征值大小重新排序，最小化加权经验风险等价于寻找一种划分使得两部分尽可能同质，即两部分标号尽量一致。若在第个样本处进行尝试划分，回归参数和b的估计值公式为：

其中为训练样本集权值，，。

针对第个特征，如果能使弱分类器的分类错误率最小，阈值为：

对弱分类器训练利用AdaBoost算法得到强分类器，包括如下步骤：

（1）、 给定一个训练样本集。

（2）、初始化训练样本集权值:对于i=1，...，N,。

（3）、做T轮循环，t=1,…,T,T为弱分类器数量,执行以下步骤：

 a．对于具有权值的训练样本集S，求使得加权误差函数最小的弱分类器。

      其中为指示函数，若时输出为1，否则输出0。

b．计算弱分类器的误差，若=0或，跳出循环。

c．计算弱分类器的权值。

d．更新训练样本集权值,为计算归一化系数。

（4）、最后得到强分类器：

。

5）对于K类训练样本，构造所有可能的两类分类器，每次仅仅在K类中的两类训练样本上训练，结果共构造K(K-1)/2个分类器。运用这些分类器，分别对高光谱遥感数据进行预测，得到每个数据点的K(K-1)/2个预测标签。采用投票的方法，得票最多的类成为这个数据点的最终预测的类别。

本发明针对高光谱遥感的数据特点，首先对实验数据进行MNF特征提取，采用了算法速度快、学习效率高和推广性好为优点的Boosting的方法。同时应用MNF预处理优化了基于Boosting的实验数据，取得了优于直接采用Boosting的高光谱分类结果。此法能有效解决了，高光谱分类中常见的休斯（Hughes）效应，实现了对高维数据的处理，达到了理想的分类精度。

附图说明

图1为本发明方法流程图；

图2为高光谱第十波段灰度图；

图3为MNF变换后第一主成分灰度图；

图4使用测试样本测试的分类精度随迭代次数的变化关系图。

具体实施方式

使用的高光谱数据为1992年6月获取的航空AVIRIS影像，实验区位于美国印第安纳州，包含农作物和森林植被混合区域。图像大小为145×145像素，光谱范围从0.4-2.4um，共220波段，16个地物类别。图2 为高光谱第十波段灰度图。                  

如图1所示，首先，去掉水汽吸收影响下的18个波段，剩下202个波段，考虑到部分类别样本数很少，实验选取了样本数较多的10类地物进行分类 。

其次进行最小噪声分离变换，变化后的数据202个波段按信噪比SNR由大到小排列,并且噪声的方差为1，波段间无相关性。我们选取维数缩减、信息量集中的前30波段的MNF变换影像作为实验数据。图3为MNF变换后第一主成分灰度图。

接着对MNF变换后的30波段数据，划分训练样本以及测试样本，选择每个类别的4864个样本作为训练样本，4861个样本作为测试样本。表1为各类别训练测试数据统计表

表1 各类别训练测试数据统计表

类别	训练个数	测试个数
			1	690	744
2	417	417
			3	236	261
4	381	366
			5	241	248
6	490	478
			7	1228	1240
8	316	298
			9	669	625
10	196	184
			合计	4864	4861

最后是AdaBoost强分类器的参数设置，采用策树桩作为弱分类器的AdaBoost算法的参数设定非常简单，只需设定弱分类器个数，即AdaBoost算法迭代次数。实验选取200次迭代。

以AVIRIS数据为例，本发明方法和直接采用原始数据的分类结果统计表如表2所示。

 表2 分类结果表

数据	原始数据	MNF
			特征数	202	30
类别	Test	Test
			1	74.2%	86.2%
2	64.9%	76.7%
			3	91.6%	93.9%
4	97.6%	97.6%
			5	97.2%	98.4%
6	69.5%	75.2%
			7	85.2%	85.9%
8	56.6%	89.5%
			9	95.0%	96.8%
10	74.0%	74.0%
			总体精度	81.3%	87.2%

采用2种不同特征时，使用测试样本测试的分类精度随迭代次数的变化关系如图 4 所示。

从统计分类结果表和和分类精度图中都可看到，采用Boosting方法能够有效的提高单个分类器的分类精度，采用本发明的方法，收敛速度得到提高，在迭代100次时就趋于收敛，分类精度方面比原始数据分类效果提高了5.9%，达到了理想的分类精度。

Claims (1)

1.一种基于AdaBoost的高光谱遥感影像分类方法，其特征在于该方法包括以下步骤：

1)高光谱数据的预处理；

将光谱影像各个波段以灰度图实现显示，对各个波段的光谱影像进行目视检查，确定由于大气吸收、折射和散射因素的作用对光谱数据产生较大影响的异常波段和由于其他因素对光谱数据产生较大噪声的异常波段，对异常波段做直接剔除处理；

2)MNF特征提取；

MNF是含有两次叠置处理的主成分分析，其步骤如下：

第一步，对高光谱图像的噪声协方差矩阵进行估计，得到噪声协方差矩阵C_N，然后将其对角化为矩阵D_N，即:D_N＝U^TC_NU；

其中D_N为C_N的特征值按照降序排列的对角矩阵，U为由相应的特征值对应的特征向量而组成的正交矩阵；

第二步，在第一步公式的基础上构造矩阵

第三步，利用第二步中构造的矩阵P对图像总协方差矩阵C_D进行变换，得到噪声调整后的总协方差矩阵C_D-adj，即C_D-adj＝P^TC_DP；

第四步，计算总协方差矩阵C_D-adj的特征向量矩阵V，使得D_D-adj＝V^TC_D-adjV，其中D_D-adj为特征向量矩阵V所对应的特征值按照降序排列的对角矩阵，且有V^TV＝I,I为单位矩阵；

通过以上四个步骤可得到MNF的变换矩阵T_MNF＝PV；对步骤1)得到的波段影像进行MNF变换，选取维数缩减、信息量集中的前30波段的MNF变换影像作为训练样本数据；

3)训练样本准备；

依据先验知识，在每个地物类别区域内，随机的选取一定比例的训练样本；每个二分类问题，可组成训练样本集T＝{(x₁,y₁),(x₂,_y2),...,(x_l,y_l)}，x_i∈X＝Rⁿ，y_i∈Y＝{1,-1}，其中x_i为n维输入向量，也即n维训练样本，y_i为第i个样本的样本标签，l为训练样本总数；

4)AdaBoost的分类器设计；

选择计算复杂度低，使用按照单一特征进行判别的决策树树桩作为弱分类器；

对于决策树树桩，弱分类器形式为：

h(x,φ,θ,a,b)＝aδ[θ(x)>θ]+b

其中，δ为指示函数，θ是阈值，a和b是回归参数；在AdaBoost迭代过程中选择使加权经验风险最小的参数(φ,θ,a,b)；

针对第j个特征的弱分类器求解，首先将训练样本集按照第j特征值大小重新排序，最小化加权经验风险等价于寻找一种划分使得两部分尽可能同质，即两部分标号尽量一致；若在第l个样本处进行尝试划分，回归参数a和b的估计值公式为：

$b^{*}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i{D}_i/\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{D}_i$

$a^{*}=(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i{D}_i-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{y}_i{D}_i)/(1-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{D}_i)-b^{*}$

其中D_i为训练样本集权值，i∈1,2,...,N；

针对第j个特征，如果l*能使弱分类器h(x,(θ,a,b))的分类错误率最小，阈值θ为：

${\mathrm{\θ}}^{*}=\frac{1}{2}(x_{l^{*},j}+x_{l^{*}+1,j})$

对弱分类器训练利用AdaBoost算法得到强分类器，包括如下步骤：

(1)、给定一个训练样本集S＝{(x₁,y₁),(x₂,y₂),...,(x_N,y_N)}；

(2)、初始化训练样本集权值D₁:对于i＝1，...，N,D₁(i)＝1/N；

(3)、做T轮循环，t＝1,…,T,T为弱分类器数量,执行以下步骤：

a.对于具有权值的训练样本集S，求使得加权误差函数最小的弱分类器h_t(x)；

$J_t=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{D}_t\left(i\right)I(h_t\left(x_i\right)\≠y_i)$

其中I(h_t(x_i)≠y_i)为指示函数，若h_t(x_i)≠y_i时输出为1，否则输出0；

b.计算弱分类器h_t(x)的误差若ε_t＝0或ε_t≥1/2，跳出循环；

c.计算弱分类器的权值

d.更新训练样本集权值Z_t为计算归一化系数；

(4)、最后得到强分类器：

$H\left(x\right)=\mathrm{sign}\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_t{h}_t\left(x\right)\right);$

5)对于K类训练样本，构造所有可能的两类分类器，每次仅仅在K类中的两类训练样本上训练，结果共构造K(K-1)/2个分类器；运用这些分类器，分别对高光谱遥感数据进行预测，得到每个数据点的K(K-1)/2个预测标签；采用投票的方法，得票最多的类成为这个数据点的最终预测的类别。