CN109636818A - 一种拉普拉斯正则约束下低秩稀疏优化的目标分割方法 - Google Patents

Abstract

本发明提供了一种拉普拉斯正则约束下低秩稀疏优化的目标分割方法，在视频图像的第一帧中,在已知所要分割的目标轮廓的情况下，利用视频分割技术在线提取既定目标在后续视频帧中的轮廓，首先将每帧图像进行过分割，提取超级像素并计算每个超级像素的分层卷积特征，建立图像的特征矩阵，然后利用已知信息和已经分割的目标，建立或更新特征模板，利用拉普拉斯正则约束下低秩稀疏优化算法求解当前图像对模板的最优表达方式，并根据求解得到的表达系数建立显著性地图，最后利用能量最小化原则对既定目标的轮廓进行精确分割。本发明具有计算复杂度低、分割精度高的特点，特别适用于视频图像中单目标在线分割的领域。本发明具有很强的推广应用价值。

Description

一种拉普拉斯正则约束下低秩稀疏优化的目标分割方法

技术领域

本发明属于计算机视觉领域，具体涉及一种拉普拉斯正则约束下低秩稀疏优化的目标分割方法。

背景技术

视频目标分割技术是将视频中既定目标的轮廓抽取出来，它作为图像的预处理过程被广泛应用在行为识别、动作估计、目标识别以及跟踪系统中，它是计算机视觉领域中一个备受关注且发展迅速的领域。对视频中目标的分割通常被认为是一个二分类的问题，其中，待分割的目标表示前景，通常用1表示，其它部份表示背景，通常用0表示。视频目标分割的关键在于时间和空间的一致性，时间一致性描述了在连续帧中目标的相似性，空间一致性描述了在一帧图像中目标与背景的分辨能力。

目前国内外很多算法在计算时空一致性都采用了分步的方式，而这种方式分步的方式会因上一步的计算误差导致后续步骤的计算，例如，现有技术中的分步方式的步骤：首先根据已知条件为待跟踪或分割的目标在特征空间中建立模板，然后在特征空间中找到后续图像与模板相似的区域，并将这个区域作为结果进行输出，这两种方法均采用了模板跟踪的方式，在计算过程中，往往只考虑每个元素特征与模板的相似性，而没考虑被计算元素之间的空间相关性，使得目标分割精度不高，特别是在目标边界区域，因此急需一种新的视频目标分割方法对其作出进一步地改进。

发明内容

针对现有技术中的上述不足，本发明提供的一种拉普拉斯正则约束下低秩稀疏优化的目标分割方法，包括如下步骤：

(S1)使用SLIC算法将视频中每帧图像分割成N个超级像素；

(S2)提取VGG网络中不同卷积层的特征，计算每个超级像素的平均特征作为超级像素的特征，并建立图像特征矩阵X；

(S3)根据由第一帧图像确定的目标轮廓，将第一帧图像特征矩阵X₁进行重新排列，得到属于目标的特征集和属于背景的特征集，并建立模板D，其中，D＝[D^o D^b]，D^o为属于目标的特征集，D^b为属于背景的特征集；

(S4)从视频中第t帧图像开始，根据第t帧图像特征矩阵X_t求解第t帧图像对模板D在拉普拉斯正则约束下低秩稀疏优化的系数矩阵Z，其中t＝2，3，...n，n为图像的总帧数；

(S5)通过所述系数矩阵Z确定当前帧中每个像素I_i的低秩稀疏优化显著性地图；

(S6)将图像作为像素的集合根据由第一帧图像确定的目标轮廓，将像素分为属于目标的像素和属于背景的像素，并在颜色空间中建立混合高斯模型，从而生成颜色显著性地图，其中，N₁为图像中像素的个数；

(S7)根据(S6)所述像素的集合计算当前帧与前一帧的光流信息，并通过所述光流信息确定当前帧中每个像素I_i的位置，从而生成位置显著性地图；

(S8)计算当前帧中两个不同位置像素I_i和I_j之间在颜色空间的相关性，得到相关性函数ψ(I_i,I_j)，其中，I_i和I_j为任意两个不同位置的像素；

(S9)根据上述得到的低秩稀疏优化显著性地图、颜色显著性地图、位置显著性地图及相关性函数ψ(I_i,I_j)，构造能量函数模型，并利用最大流最小割算法对目标进行分割，从而得到目标区域和背景区域的分割结果；

(S10)判断所有帧是否已分割，是则结束视频，否则利用当前帧得到的目标区域和背景区域的分割结果更新模板D，并更新t＝t+1，返回步骤(S4)，直到视频结束，其中，t＝2，3，...n，n为图像的总帧数。

进一步地，所述步骤(S2)中建立图像特征矩阵X的方法为：

计算每个超级像素的平均特征

建立图像特征矩阵X：

其中,f_j为超级像素建立的特征向量，为超级像素i所包含像素的个数，∑_jf_j为将某个超级像素中所包含的像素特征向量进行累加，j＝1，2，...n₁,n₁为一个超级像素中像素的个数。

再进一步地，所述(S4)中的系数矩阵Z的计算公式为：

argmin_Z(||Z||_*+λ||Z||₁+βtr(ZLZ^T)+γ||E||₁)

s.t.X＝DZ+E

其中，X为当前帧的图像特征矩阵，argmin_Z为选取使目标函数最小时的Z,s.t为约束条件，||.||_*为核范数，||.||₁为l1范数，tr(·)为矩阵的迹，L为正则矩阵，E为噪声，λ、β和γ为权重因子。

再进一步地，所述(S5)中的低秩稀疏优化显著性地图p_i的计算公式为：

其中，max(·)为取向量中的最大值，T_i为归一化参数，使得p_i∈[0,1]，z_i为矩阵Z的一列向量， 和分别表示X中任意一列向量相对于目标区域和背景区域求解得到的系数。

再进一步地，所述(S5)中的低秩稀疏优化显著性地图为当前帧中每个像素I_i相对于目标的概率分布f_s(I_i)；

所述(S6)中的颜色显著性地图为当前帧中每个像素I_i相对于目标的颜色概率分布f_c(I_i)；

所述(S7)中的位置显著性地图为当前帧中每个像素I_i相对于目标的位置概率分布f_p(I_i)。

再进一步地，所述(S8)中的相关性函数ψ(I_i,I_j)的计算公式为：

其中，ε为拉普拉斯平滑系统，exp(·)为指数函数，||·||²为二范数的平方，μ为当前图像中第i个像素点四领域像素值的平均值，冲激函数δ(I_i≠I_j)为当I_i与I_j为同一像素时，δ(I_i≠I_j)＝0，其余情况为1。

再进一步地，所述(S9)中分割结果的求解过程为：

构造能量函数模型E(u)为：

计算目标区域和背景区域的最优分割结果u*为：

u*＝argminE(u)

其中，f_k＝{f_s,f_c,f_p}，λ_c、λ_s和λ_p为经验权重，u为像素集合的标签，即当像素属于背景时，所对应标签为0；当像素属于目标时，所对应的标签为1。

本发明的有益效果：

本发明通过低秩稀疏优化技术，计算元素在特征空间中的相似性，同时，通过拉普拉斯正则约束，在低秩稀疏优化的基础上增加被计算元素在空间中的相关性运算，使得元素特征在目标边界处具有较强的辨识能力，从而提高了系统分割的精度，并且本发明将时空一致性计算统一在一个框架中，有效地降低了系统的复杂度，提高了系统的鲁棒性。

附图说明

图1为本发明的方法流程示意图。

图2为本发明的框架示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例

如图1-图2所示，本发明提供了一种拉普拉斯正则约束下低秩稀疏优化的目标分割方法，其具体实施步骤如下：

(S1)使用SLIC算法将视频中每帧图像分割成N个超级像素；

(S2)提取VGG网络中不同卷积层的特征，计算每个超级像素的平均特征作为超级像素的特征，并建立图像特征矩阵X，所述图像特征矩阵X的建立方法为：

计算每个超级像素的平均特征

建立图像特征矩阵X：

其中,f_j为超级像素建立的特征向量，为超级像素i所包含像素的个数，∑_jf_j为将某个超级像素中所包含的像素特征向量进行累加，j＝1，2...n₁,n₁为一个超级像素中像素的个数；

(S3)对于第一帧图像，由于已知目标轮廓，因此，将第一帧图像特征矩阵X₁进行重新排列，得到属于目标的特征集和属于背景的特征集，并建立模板D，其中，D＝[D^o D^b]，Do为属于目标的特征集，D^b为属于背景的特征集；

(S4)从视频中第t帧图像开始，根据第t帧图像特征矩阵X_t求解第t帧图像对模板D在拉普拉斯正则约束下低秩稀疏优化的系数矩阵Z，其中t＝2，3，...n，n为图像的总帧数，

所述系数矩阵Z的计算公式为：

argmin_Z(||Z||_*+λ||Z||₁+βtr(ZLZ^T)+γ||E||₁)

s.t.X＝DZ+E

其中，X为当前帧的图像特征矩阵，argmin_Z为选取使目标函数最小时的Z,s.t为约束条件，||.||_*为核范数，||.||₁为l1范数，tr(·)为矩阵的迹，L为正则矩阵，E为噪声，λ、β和γ为权重因子，正则矩阵L＝T-W，W的每个元素T的对角线上的值不为0，其余均为0，为表示与超级像素S_j的相邻区域；

(S5)通过所述系数矩阵Z确定当前帧中每个像素I_i相对于目标的概率分布f_s(I_i)，并生成低秩稀疏优化显著性地图，其计算公式为：

其中，max(·)为取向量中的最大值，T_i为归一化参数，使得p_i∈[0,1]，z_i为矩阵Z的一列向量， 和分别表示X中任意一列向量相对于目标区域和背景区域求解得到的系数，每个像素I_i相对于目标的概率分布f_s(I_i)为低秩稀疏优化显著性地图，f_s(I_i)＝p_i，I_i∈s_i，s_i为某一超级像素；

(S6)将图像作为像素的集合根据第一帧或当前帧的分割结果，将像素分为属于目标的像素和属于背景的像素，并在颜色空间中建立混合高斯模型，从而生成颜色显著性地图，所述颜色显著性地图即当前帧中每个像素I_i相对于目标的颜色概率分布f_c(I_i)，其中，N₁为图像中像素的个数；

(S7)根据(S6)所述像素的集合，计算当前帧与前一帧的光流信息，并通过所述光流信息确定当前帧中每个像素I_i的位置，从而生成位置显著性地图，所述位置显著性地图即当前帧中每个像素I_i相对于目标的位置概率分布f_p(I_i)；

(S8)计算当前帧中两个不同位置像素I_i和I_j之间在颜色空间的相关性，得到相关性函数ψ(I_i,I_j)，其中，I_i和I_j为任意两个不同位置的像素，所述相关性函数ψ(I_i,I_j)的计算公式为：

其中，ε为拉普拉斯平滑系统，exp(·)为指数函数，||·||²为二范数的平方，μ为当前图像中第i个像素点四领域像素值的平均值，冲激函数δ(I_i≠I_j)为当I_i与I_j为同一像素时，δ(I_i≠I_j)＝0，其余情况为1；

(S9)根据上述得到的低秩稀疏优化显著性地图、颜色显著性地图、位置显著性地图及相关性函数ψ(I_i,I_j)，构造能量函数模型，并利用最大流最小割算法对目标进行分割，从而得到目标区域和背景区域的分割结果，所述分割结果的求解过程为：

构造能量函数模型E(u)为：

计算目标区域和背景区域的最优分割结果u*为：

u*＝argminE(u)

其中，f_k＝{f_s,f_c,f_p}，λ_c、λ_s和λ_p为经验权重，u为像素集合的标签，即当像素属于背景时，所对应标签为0；当像素属于目标时，所对应的标签为1；

(S10)利用当前帧得到的目标区域和背景区域的分割结果更新模板D，并更新t＝t+1，进而判断下一帧图像是否已分割，是则结束视频，否则返回步骤(S4)，直到视频结束，其中，t＝2，3，...n，n为图像的总帧数。

本发明通过低秩稀疏优化技术，计算元素在特征空间中的相似性，同时，通过拉普拉斯正则约束，在低秩稀疏优化的基础上增加被计算元素在空间中的相关性运算，解决了现有技术中在边界区域目标分割精度不高的问题，从而有效地使元素特征在目标边界处具有较强的辨识能力，提高了系统分割的精度，并且本发明将时空一致性计算统一在一个框架中，有效地降低了系统的复杂度，提高了系统的鲁棒性。

Claims (7)

1.一种拉普拉斯正则约束下低秩稀疏优化的目标分割方法，其特征在于，包括如下步骤：

(S1)使用SLIC算法将视频中每帧图像分割成N个超级像素；

(S2)提取VGG网络中不同卷积层的特征，计算每个超级像素的平均特征作为超级像素的特征，并建立图像特征矩阵X；

(S3)根据由第一帧图像确定的目标轮廓，将第一帧图像特征矩阵X₁进行重新排列，得到属于目标的特征集和属于背景的特征集，并建立模板D，其中，D＝[D^o D^b]，D^o为属于目标的特征集，D^b为属于背景的特征集；

(S4)从视频中第t帧图像开始，根据第t帧图像特征矩阵X_t求解第t帧图像对模板D在拉普拉斯正则约束下低秩稀疏优化的系数矩阵Z，其中t＝2，3，...n，n为图像的总帧数；

(S5)通过所述系数矩阵Z确定当前帧中每个像素I_i的低秩稀疏优化显著性地图；

(S6)将图像作为像素的集合根据由第一帧图像确定的目标轮廓，将像素分为属于目标的像素和属于背景的像素，并在颜色空间中建立混合高斯模型，从而生成颜色显著性地图，其中，N₁为图像中像素的个数；

(S7)根据(S6)所述像素的集合计算当前帧与前一帧的光流信息，并通过所述光流信息确定当前帧中每个像素I_i的位置，从而生成位置显著性地图；

(S8)计算当前帧中两个不同位置像素I_i和I_j之间在颜色空间的相关性，得到相关性函数ψ(I_i,I_j)，其中，I_i和I_j为任意两个不同位置的像素；

(S9)根据上述得到的低秩稀疏优化显著性地图、颜色显著性地图、位置显著性地图及相关性函数ψ(I_i,I_j)，构造能量函数模型，并利用最大流最小割算法对目标进行分割，从而得到目标区域和背景区域的分割结果；

(S10)判断所有帧是否已分割，是则结束视频，否则利用当前帧得到的目标区域和背景区域的分割结果更新模板D，并更新t＝t+1，返回步骤(S4)，直到视频结束，其中，t＝2，3，...n，n为图像的总帧数。

2.根据权利要求1所述的拉普拉斯正则约束下低秩稀疏优化的目标分割方法，其特征在于，所述步骤(S2)中建立图像特征矩阵X的方法为：

计算每个超级像素的平均特征

建立图像特征矩阵X：

其中,f_j为超级像素建立的特征向量，为超级像素i所包含像素的个数，∑_jf_j为将某个超级像素中所包含的像素特征向量进行累加，j＝1，2，...n₁,n₁为一个超级像素中像素的个数。

3.根据权利要求1所述的拉普拉斯正则约束下低秩稀疏优化的目标分割方法，其特征在于，所述(S4)中的系数矩阵Z的计算公式为：

argmin_Z(||Z||_*+λ||Z||₁+βtr(ZLZ^T)+γ||E||₁)

s.t.X＝DZ+E

其中，X为当前帧的图像特征矩阵，argmin_Z为选取使目标函数最小时的Z,s.t为约束条件，||.||_*为核范数，||.||₁为l1范数，tr(·)为矩阵的迹，L为正则矩阵，E为噪声，λ、β和γ为权重因子。

4.根据权利要求1所述的拉普拉斯正则约束下低秩稀疏优化的目标分割方法，其特征在于，所述(S5)中的低秩稀疏优化显著性地图p_i的计算公式为：

其中，max(·)为取向量中的最大值，T_i为归一化参数，使得p_i∈[0,1]，z_i为矩阵Z的一列向量， 和分别表示X中任意一列向量相对于目标区域和背景区域求解得到的系数。

5.根据权利要求1所述的拉普拉斯正则约束下低秩疏优化的目标分割方法，其特征在于，所述(S5)中的低秩稀疏优化显著性地图为当前帧中每个像素I_i相对于目标的概率分布f_s(I_i)；

所述(S6)中的颜色显著性地图为当前帧中每个像素I_i相对于目标的颜色概率分布f_c(I_i)；

所述(S7)中的位置显著性地图为当前帧中每个像素I_i相对于目标的位置概率分布f_p(I_i)。

6.根据权利要求1中所述的拉普拉斯正则约束下低秩稀疏优化的目标分割方法，其特征在于，所述(S8)中的相关性函数ψ(I_i,I_j)的计算公式为：

其中，ε为拉普拉斯平滑系统，exp(·)为指数函数，||·||²为二范数的平方，μ为当前图像中第i个像素点四领域像素值的平均值，冲激函数δ(I_i≠I_j)为当I_i与I_j为同一像素时，δ(I_i≠I_j)＝0，其余情况为1。

7.根据权利要求5所述的拉普拉斯正则约束下低秩稀疏优化的目标分割方法，其特征在于，所述(S9)中分割结果的求解过程为：

构造能量函数模型E(u)为：

计算目标区域和背景区域的最优分割结果u*为：

u*＝argminE(u)

其中，f_k＝{f_s,f_c,f_p}，λ_c、λ_s和λ_p为经验权重，u为像素集合的标签，即当像素属于背景时，所对应标签为0；当像素属于目标时，所对应的标签为1。