CN111079775B - 一种联合区域约束学习的实时跟踪方法 - Google Patents

Abstract

本发明实施例公开了一种联合区域约束学习的实时跟踪方法。该实时跟踪方法包括加权模型匹配步骤、区域约束学习步骤和联合器进行价值评估步骤。该实时跟踪方法利用区域约束学习来解决样本划分不精确、过程复杂的问题；在分类器中采用仿射采样得到更丰富的特征集，以适应跟踪时目标纹理和光照的变化；将分类器的学习结果与在线模型库中的模型输入到联合器中进行价值评估，从而得到更精确的目标位置。

Description

一种联合区域约束学习的实时跟踪方法

技术领域

本发明涉及目标跟踪的技术领域，具体涉及以加权模型为框架的一种联合区域约束学习的实时跟踪方法。

背景技术

目标跟踪是计算机视觉研究领域的重要组成部分，广泛应用在增强现实、监控和行为识别等技术领域。虽然近些年不少目标跟踪方法在一定程度上取得了良好的跟踪效果，但仍面临如遮挡、光照变化、相似背景等因素的挑战。

基于外观模型的目标跟踪方法是一种典型的目标跟踪方法。基于外观模型的目标跟踪方法中所使用的特征模型并不能描述目标的本质信息，而且较复杂的外观模型运算成本高、实时性较差。针对这一缺陷，学者们将机器学习方法引入到了外观模型中，将目标跟踪看作二值分类的问题。Li X,Shen C等人在2013年提出采用紧凑且具有判别能力的二值特征表示目标，运用基于最小二乘支持向量机(LS-SVM)的分类器对样本的特征进行分类，从而在背景中提取目标。虽然这种目标跟踪方法的跟踪效果良好，但是其计算量较大，二值特征的提取过程较为复杂，并不能够实时应用。

考虑到样本特征产生的复杂性，Yang M H.等人在2014年提出运用超稀疏测量矩阵高效的提取目标特征，并运用压缩感知理论对前景目标和背景中的样本图像进行压缩，输入到在线更新的朴素贝叶斯分类器中进行二值分类。程帅等人在2015年提出运用深度去噪自编码器提取粒子区域特征，并利用线性支持向量机对特征集进行分类。这两种目标跟踪方法虽然在计算效率方面得到了改善，但是该方法中正、负样本是通过主观选定进行划分的，这不仅会引入样本误差，而且随着样本数的增加，积累的误差会影响目标跟踪方法的准确性和鲁棒性。

因此，针对现有的目标跟踪方法存在实时性差及样本划分不正确的问题，有必要提供一种能够客观准确划分正、负样本，且高效实时的目标跟踪方法。

发明内容

针对现有的目标跟踪方法存在实时性差及样本划分不正确的问题，本发明实施例提出一种联合区域约束学习的实时跟踪方法。本发明实施例所提供的联合区域约束学习的实时跟踪方法采用区域约束学习能够客观准确的划分正、负样本，解决了样本误差问题；通过在随机蕨分类器中引入仿射采样形成特征集，使得特征的提取更加简便快捷、丰富可信；将分类器的学习结果与在线模型库中的模型输入到联合器中进行价值评估，从而更加实时精确地跟踪目标。

该联合区域约束学习的实时跟踪方法的具体方案如下：一种联合区域约束学习的实时跟踪方法，包括：加权模型匹配步骤，所述加权模型匹配步骤包括：首先采用均值采样方法将目标区域压缩成预置大小的目标模型，再运用加权模型匹配公式与在线的模型库中的模型进行快速匹配，计算出归一化相关系数；区域约束学习步骤，所述区域约束学习步骤包括：首先采用类高斯模型对目标区域周围的样本模块进行划分，再利用生成的带有权值的正样本和负样本对随机蕨分类器进行学习及训练，提取出跟踪目标；联合器进行价值评估步骤，所述联合器进行价值评估步骤包括：首先采用区域权值函数对分类器检测出的多个模块进行权值分配，再联合加权模型匹配得到的归一化相关系数与分类器检测得到的各模块的后验概率，计算出价值系数最高的模块，并将所述价值系数最高的模块作为当前帧的目标。

优选地，所述预置大小的目标模型为15×15的目标模型。

优选地，在加权模型匹配步骤中计算出归一化相关系数后，还包括对在线模型库进行更新。

优选地，所述类高斯模型的具体表达式为：

其中，T表示样本值，若T值大于0即为正样本，若T值小于0则为负样本；x和y表示坐标位置信息；a为常量因子。

优选地，所述正样本和负样本对随机蕨分类器进行学习及训练会获得随机生成的点对，通过比较所述点对的像素大小值来提取特征；将所述随机生成的点对通过仿射变换得到新的点对，并再次通过比较所述新的点对的像素大小值来提取特征。

优选地，所述仿射变换包括旋转变换和缩放变换。

优选地，所述每个样本进行多次仿射变换形成一个特征集。

优选地，所述在线模型库包括12块预置大小的目标模型。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例提供的一种联合区域约束学习的实时跟踪方法采用区域约束学习能够客观准确的划分正、负样本，解决了样本误差问题；通过在随机蕨分类器中引入仿射采样形成特征集，使得特征的提取更加简便快捷、丰富可信；将分类器的学习结果与在线模型库中的模型输入到联合器中进行价值评估，从而更加实时精确地跟踪目标。本发明实施例提供的一种联合区域约束学习的实时跟踪方法有效地解决了现有技术中基于分类模型的目标跟踪方法所存在的样本划分不精确，实时性较差，当目标纹理和光照变化较大时跟踪不稳定的问题。

附图说明

图1为本发明实施例中提供的一种联合区域约束学习的实时跟踪方法的步骤流程示意图；

图2为本发明实施例提供的区域约束类高斯模型仿真示意图；

图3为本发明实施例提供的区域约束提取正负样本的示意图；

图4为本发明实施例提供的特征提取与特征集的示意图；

图5为图1所示实施例的另一种图形化显示的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，本发明实施例中提供的一种联合区域约束学习的实时跟踪方法的步骤流程示意图。该联合区域约束学习的实时跟踪方法主要包括三个大步骤：

S1：加权模型匹配步骤，首先采用均值采样方法将目标区域压缩成预置大小的目标模型；再运用加权模型匹配公式与在线的模型库中的模型进行快速匹配，计算出归一化相关系数。在一具体实施例中，预置大小的目标模型为15×15的目标模型。在一优选的实施例中，在加权模型匹配步骤中计算出归一化相关系数后，还包括对在线模型库进行更新，从而有效地提高了目标跟踪方法的自适应性。

S2：区域约束学习步骤，首先采用类高斯模型对目标区域周围的样本模块进行划分，再利用生成的带有权值的正样本和负样本对随机蕨分类器进行学习及训练，提取出跟踪目标。

图像输入后，首先采用均值采样方法将图像分割成大小相同的多个图像模块，再由区域约束学习模块在目标区域将附近的图像模块划分为正样本、负样本。如图2所示，本发明实施例提供的区域约束类高斯模型仿真示意图。在该实施例中，采用的是自主提出的类高斯模型，类高斯模型的具体表达式如公式1所示：

其中，T表示样本值，若T值大于0即为正样本，若T值小于0则为负样本；x和y表示坐标位置信息；a为常量因子。

如图3所示，本发明实施例提供的区域约束提取正负样本的示意图。在图3中实线框表示目标区域，虚线框表示图像模块。若T值大于0则相应的模块定为正样本，并将|T|值定为该样本的置信度记为Cof₊。反之，则标记为负样本，记置信度为Cof_-。

随后，利用划分的正样本、负样本对随机蕨分类器进行训练；随机生成点对，通过比较点对的像素大小来提取特征；将随机点对通过仿射变换得到新的点对，并再次进行比较来提取特征。这样，通过在每个样本中进行多次仿射采样形成一个丰富可信的特征集，并将其记为F。仿射变换具体包括旋转变换和缩放变换。如图4所示，本发明实施例提供的特征提取与特征集的示意图。

具体对特征集F中的每个特征进行训练的计算表达式如公式2所示：

其中，f代表特征集中的特征，P代表特征被检验为正样本特征的次数，N代表特征被检验为负样本特征的次数。

接着，将最开始分割出的图像模块输入到训练好的分类器中进行检测，检测结果记为ω_ferns，检测结果ω_ferns的表达式如公式3所示：

其中，f_i代表分类器在当前图像模块检测出的第i个特征；Count为总共检测出的特征数。如果检测出的结果大于阈值T_F，就认为该图像模块为含有前景目标的前景模块并将其进行记录，同时将特征输入到分类器中进行训练。

S3：联合器进行价值评估步骤，首先采用区域权值函数对分类器检测出的多个模块进行权值分配，再联合加权模型匹配得到的归一化相关系数与分类器检测得到的各模块的后验概率，计算出价值系数最高的模块，并将所述价值系数最高的模块作为当前帧的目标。

将检测出的前景模块输入到联合器中进行价值评估。将前景模块分别与在线模型库中的模型进行加权模型匹配。为了增强算法的实时性且减少存储空间的占用量，在该实施例中，在线模型库包括12块15×15的目标模型，分别记为：T₁(a,b),T₂(a,b),...,T₁₂(a,b)。在初始化时，首先确定跟踪目标并将其以模型的形式进行存储，作为在线模型库中的T₁(a,b)；之后，当在后续每一帧图像中确定目标后，会与在线模型库中的每个模型，利用公式4进行加权模型匹配，结果记为ω_NCC。

其中，

然后采用公式5进行相似度期望运算，公式5的具体表达式如下所示：

其中，ρ_i为与第i块在线模型运算后得到的归一化相关系数，K为模型库中的模型块数。若σ大于阈值T_th，则将其存储到在线模型中。当在线模型库饱和时，新的目标模型会取代模型库中与其相似度最低的模型，进行模型库的在线更行。若没有大于阈值T_th则不进行更新。

将随机蕨分类器检测后的结果、加权模型匹配后的结果与区域权重函数相联合，从而输出价值最高的前景模块作为最后的跟踪结果。其中，区域权重函数如公式6所示：

w_L(x,y)＝w_han(x)w_han ^T(y) (公式6)

其中，

联合评估的表达式如公式9所示：

其中，n_i为第i个前景模块。

如图5所示，为图1所示实施例的另一种图形化显示的流程示意图。输入为第N帧图像，对所述第N帧图像镜区域约束学习后再进行仿射采样，再通过分类器对仿射采样所获得的特征集进行训练，将训练后的结果与在线模型库进行联合器评价，获得最终的跟踪结果。

本发明实施例提供的一种联合区域约束学习的实时跟踪方法采用区域约束学习能够客观准确的划分正、负样本，解决了样本误差问题；通过在随机蕨分类器中引入仿射采样形成特征集，使得特征的提取更加简便快捷、丰富可信；将分类器的学习结果与在线模型库中的模型输入到联合器中进行价值评估，从而更加实时精确地跟踪目标。本发明实施例提供的一种联合区域约束学习的实时跟踪方法有效地解决了现有技术中基于分类模型的目标跟踪方法所存在的样本划分不精确，实时性较差，当目标纹理和光照变化较大时跟踪不稳定的问题。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种联合区域约束学习的实时跟踪方法，其特征在于，所述方法包括：

加权模型匹配步骤，所述加权模型匹配步骤包括：首先采用均值采样方法将目标区域压缩成预置大小的目标模型，再运用加权模型匹配公式与在线模型库中的模型进行快速匹配，计算出归一化相关系数；

区域约束学习步骤，所述区域约束学习步骤包括：首先采用类高斯模型对目标区域周围的样本模块进行划分，再利用生成的带有权值的正样本和负样本对随机蕨分类器进行学习及训练，提取出跟踪目标；

联合器进行价值评估步骤，所述联合器进行价值评估步骤包括：首先采用区域权值函数对分类器检测出的多个模块进行权值分配，再联合加权模型匹配得到的归一化相关系数与分类器检测得到的各模块的后验概率，计算出价值系数最高的模块，并将所述价值系数最高的模块作为当前帧的目标；

其中，所述运用加权模型匹配公式与在线模型库中的模型进行快速匹配，包括：

将检测出的前景模块输入到联合器中进行价值评估，将前景模块分别与在线模型库中的模型进行加权模型匹配，在线模型库包括12块15×15的目标模型，分别记为：T₁(a,b),T₂(a,b),...,T₁₂(a,b)；在初始化时，首先确定跟踪目标并将其以模型的形式进行存储，作为在线模型库中的T₁(a,b)；之后，当在后续每一帧图像中确定目标后，与在线模型库中的每个模型，利用公式4进行加权模型匹配，结果记为ρ；

其中，

然后采用公式5进行相似度期望运算，公式5的具体表达式如下所示：

其中，ρ_i为与第i块在线模型运算后得到的归一化相关系数，K为在线模型库中的模型块数；若ω_NCC大于阈值T_th，则将其存储到在线模型中；当在线模型库饱和时，新的目标模型取代模型库中与其相似度最低的模型，在线更新模型库；若没有大于阈值T_th则不进行更新；

所述类高斯模型的具体表达式为：

其中，T表示样本值，若T值大于0即为正样本，若T值小于0则为负样本；x和y表示坐标位置信息；a为常量因子；

所述采用区域权值函数对分类器检测出的多个模块进行权值分配，包括：

将随机蕨分类器检测后的结果、加权模型匹配后的结果与区域权重函数相联合，从而输出价值最高的前景模块作为最后的跟踪结果，区域权重函数如公式6所示：

w_L(x,y)＝w_han(x)w_han ^T(y) 公式6

其中，

其中，联合加权模型匹配得到的归一化相关系数与分类器检测得到的各模块的后验概率，采用公式9计算出价值系数最高的模块：

其中，n_i为第i个前景模块。

2.根据权利要求1所述的一种联合区域约束学习的实时跟踪方法，其特征在于，所述预置大小的目标模型为15×15的目标模型。

3.根据权利要求1所述的一种联合区域约束学习的实时跟踪方法，其特征在于，在加权模型匹配步骤中计算出归一化相关系数后，还包括对在线模型库进行更新。

4.根据权利要求1所述的一种联合区域约束学习的实时跟踪方法，其特征在于，所述正样本和负样本对随机蕨分类器进行学习及训练会获得随机生成的点对，通过比较所述点对的像素大小值来提取特征；将所述随机生成的点对通过仿射变换得到新的点对，并再次通过比较所述新的点对的像素大小值来提取特征。

5.根据权利要求4所述的一种联合区域约束学习的实时跟踪方法，其特征在于，所述仿射变换包括旋转变换和缩放变换。

6.根据权利要求4所述的一种联合区域约束学习的实时跟踪方法，其特征在于，每个所述样本进行多次仿射变换形成一个特征集。

7.根据权利要求1所述的一种联合区域约束学习的实时跟踪方法，其特征在于，所述在线模型库包括12块预置大小的目标模型。

Images