CN102436662B - 一种非重叠视域多摄像机网络中的人体目标跟踪方法 - Google Patents

Abstract

本发明公开了一种非重叠视域多摄像机网络中的人体目标跟踪方法，包括单摄像机的目标检测、单摄像机的目标跟踪、多摄像机的目标关联和目标连续跟踪，多摄像机的目标关联包括目标特征提取和拓扑关系建立，所述目标特征提取是提取每一个人体运动目标HSV特征，所述拓扑关系建立，根据获得的所有目标之间的关联关系，建立摄像机网络的时空拓扑关系。本发明实现了人体运动目标在大范围场景内的连续跟踪，解决了单个摄像机视域范围有限的监控问题。

Description

一种非重叠视域多摄像机网络中的人体目标跟踪方法

技术领域

本发明涉及一种非重叠视域多摄像机网络中的人体目标跟踪方法，采用图像处理和计算机视觉等技术，属于视频监控技术领域。

背景技术

视频监控作为一种全天候、全方位，实时以及智能化的监控手段，逐渐成为协助公共安全部门打击犯罪、维持社会安定、实施交通管理的重要手段。视频监控系统主要由两部分组成：1）相机内跟踪，即在单个相机视域内进行目标的跟踪；2）相机间跟踪，即在相机视域之间进行目标的传递跟踪。目前相机内跟踪的研究主要集中在背景建模、前景检测、阴影去除、遮挡处理等关键问题上，已取得较好的解决效果，这些关键问题也是相机间跟踪的研究基础。相比于相机内跟踪，相机间跟踪更具有挑战性，因为不同摄像机成像角度和成像效果的差异，以及环境光照条件的不同，在不同摄像机中被跟踪目标的外观表现不具有连续性，并且在具有非重叠视域的摄像机网络中不可避免地存在盲区，被跟踪目标在该区域内的运动无法获知。以上诸多因素加剧了非重叠视域的多摄像机目标跟踪问题的复杂性和困难性，该问题目前仍处于初级研究阶段。

研究资料表明，针对具有非重叠视域多摄像机监控网络，通常的研究方法是采用对摄像机进行标定或者建立环境模型从而获取摄像机视域之间单应性关系。事实上，对摄像机进行标定或者建立环境模型在现实条件下都是难以实现的，因为对监控网络中所有摄像机进行标定工作量巨大，特别是即使摄像机位置发生细微变化，也需要重新标定所有摄像机。

目前非重叠视域多摄像机监控网络中目标跟踪问题的研究主要集中在不同摄像机中目标的匹配和摄像机之间拓扑关系的估计上。目前已有的目标匹配方法主要是对跟踪目标建立外观模型。Porikli等人于2003年在InternationalConference on Image Processing（图像处理国际会议）上发表的论文“Inter-camera color calibration by correlation model function”（基于相关模型函数的相机间颜色标定）提出采用相关系数矩阵分析和动态规划的方法建立相机对之间颜色变形的非参数模型。Javed等人于2005年在InternationalConference on Computer Vision and Pattern Recognition（计算机视觉与模式识别国际会议）上发表的论文“Appearance modeling for tracking inmultiple non-overlapping cameras”（在具有非重叠视域多摄像机目标跟踪中外观建模方法）提出建立从一个相机到另一个相机的低维亮度转移函数，该函数可用于计算外观相似度。Gilbert等人于2006年在European Conference onComputer Vision（欧洲计算机视觉国际会议）上发表论文“Tracking objectsacross cameras by incrementally learning inter-camera colour calibrationand patterns of activity”（基于相机间颜色标定和运动模式的增量学习的目标跟踪法）提出基于Munsell颜色空间的主颜色转换的亮度转移函数学习法。Javed等人于2008年在Computer Vision and Image Understanding（计算机视觉与图像处理）上发表论文“Modeling inter-camera space-time and appearancerelationship for tracking across non-overlapping views”（针对非重叠视域多摄像机跟踪的时空和外观关系的建模）中提出运用颜色直方图建立外观模型。Teixera等人于2008年在Pattern Recognition Letters（模式识别快报）上发表论文“Video object matching across multiple independent views usinglocal descriptors and adaptive learning”（基于局部描述算子和适应学习的多个独立摄像机的视频目标匹配）中运用一个量化的局部特征描述算子组成的直方图建立外观模型。然而，由于多摄像监控网络中存在光照、拍摄角度等多种不确定因素，以上特征无法对所有这些不确定因素同时具有鲁棒性。

对于摄像机之间拓扑关系的估计，有多种研究方法。Javed等人于2003年在International Conference on Image Processing（图像处理国际会议）上发表的论文“Tracking across multiple cameras with disjoint views”（具有邻接视域的多相机目标跟踪）中提出一个基于Pazen窗和高斯核的混合概率密度估计时间间隔、进出观测视域位置和进出观测视域时运动速度等组成的概率密度函数，整个估计过程是在有监督条件下通过学习训练数据集的方法实现。Dick等人于2004年在International Conference on Artificial Intelligence（人工智能国际会议）上发表论文“A stochastic approach to tracking objectsacross multiple cameras”（多相机间目标跟踪的随机方法）提出采用随机转移矩阵描述行人在相机视域内或视域间的运动的模式。Makris等人于2004年在International Conference on Computer Vision and Pattern Recognition（计算机视觉与模式识别会议）上发表论文“Bridging the gaps between cameras”（连接相机间的空隙）中提出在大量的观测结果中采用非监督学习建立行为模型的方法。以上方法旨在找到监控网络中同一目标在不同摄相机视域中连续轨迹的一系列关联，但是忽略了事实情况，即存在有的目标在运动过程中在摄相机视域间发生转移，有的目标在运动过程中可能消失于监控网络的盲区，还可能会有新的目标进入监控网络中。因此以上基于一一匹配的关联信息所估计的拓扑关系并不完全正确，另外当监控环境发生变化时（监控网络中摄像机的添加、删除、移动等），必须重新启动批处理训练过程才能获得新的拓扑关系。

发明内容

本发明解决的技术问题是提出一种非重叠视域多摄像机网络中的人体目标跟踪方法。

为解决上述技术问题，本发明一种非重叠视域多摄像机网络中的人体目标跟踪方法，包括以下步骤：

步骤一、单摄像机的目标检测，在图像序列中将变化区域从背景图像中分离出来；

步骤二、单摄像机的目标跟踪，得到目标在每个摄像机内完整平滑的运动轨迹；

步骤三、多摄像机的目标关联，获得不同摄像机观测到的每个目标间的对应关系：包括目标特征提取和拓扑关系建立，

所述目标特征提取是提取每一个人体运动目标HSV特征，具体为：将检测到的目标原图从RGB空间转换到HSV空间，建立H、S、V分量直方图，提取人体运动目标的HSV特征；

所述拓扑关系建立，包括以下步骤：

步骤A、在时间窗约束条件下，针对单摄像机视域中新出现的目标构建关联假设空间Γ；

步骤B、计算该新出现目标与其关联假设空间Γ中的每一个目标之间HSV特征相似度距离；

步骤C、根据目标关联规则，在关联假设空间Γ中确定与该新出现目标具有关联关系的目标；

步骤D、重复步骤A至步骤C，获得直至当前时刻之前的所有目标之间的关联关系；

步骤E、根据步骤D中获得的所有目标之间的关联关系，建立摄像机网络的时空拓扑关系。

步骤四、目标连续跟踪，获得目标的完整轨迹。

进一步地，本发明非重叠视域多摄像机网络中的人体目标跟踪方法中，所述单摄像机的目标检测采用自适应背景提取方法，在图像序列中将变化区域从背景图像中分离出来，所述自适应背景提取方法为帧差法、减背景法或光流法。

进一步地，本发明非重叠视域多摄像机网络中的人体目标跟踪方法中，所述单摄像机的目标跟踪采用粒子滤波方法得到人体运动目标在单摄像机视域内完整平滑的运动轨迹。

进一步地，本发明非重叠视域多摄像机网络中的人体目标跟踪方法中，所述提取人体运动目标的HSV特征具体为：根据人体测量学将人体划分成头部、躯干和腿部三部分，设人体高度为H′，则这三部分所占比例分别为0.16H′，0.46H′和0.38H′；针对上述三部分分别提取HSV特征，分别为f _Head-HSV，f _Torso-HSV和f _Leg-HSV。

进一步地，本发明非重叠视域多摄像机网络中的人体目标跟踪方法中，所述步骤A中为单摄像机视域中新出现的目标构建关联假设空间Γ，具体为：当摄像机视域检测到新目标时，判断该网络中其他摄像机视域离开的目标是否满足时间窗约束条件（1），若满足则上述离开的目标为该新出现目标正确关联的候选目标，所有候选目标形成该新出现目标的关联假设空间Γ：

t_ex ⁱ+T_ij-min<t_en ^j<t_ex ⁱ+T_ij-max          （1）

公式（1）为时间窗约束条件，其中，t_ex ⁱ表示目标离开摄像机C_i视域的时间，t_en ^j表示该目标进入C_j摄像机视域的时间；T_ij-min和T_ij-max分别表示目标从离开摄像机C_i视域到进入摄像机C_j视域所花费时间间隔的最小和最大阈值。

进一步地，本发明非重叠视域多摄像机网络中的人体目标跟踪方法中，所述步骤B计算新出现目标与其关联假设空间Γ中的每一个目标之间HSV特征相似度距离，具体为：

B1、利用公式（2）欧式距离计算HSV特征的差异：

d(f₁,f₂)=α*||H₁-H₂||+β*||S₁-S₂||+γ*||V₁-V₂||  （2）；

式中，f₁和f₂分别表示HSV特征，H₁、V₁、S₁和H₂、V₂、S₂表示各自HSV特征中的H、S、V分量，α、β和γ分别表示对HSV特征中的H、S、V分量所赋权值；

B2、根据HSV特征差异，利用公式（3）计算HSV特征相似度距离：

d(P_i,P_j)=w_h*d(ｆ_Head-HSVi，ｆ_Head-HSVj)+w_t*d(ｆ_Torso-HSVi，ｆ_Torso-HSVj)+w_l*d(ｆ_Leg-HSVi，ｆ_Leg-HSVj)（3）；

式中，P_i和P_j分别表示不同的人体目标，w_h、w_t、w_l分别为分配给f _Head-HSV、f _Torso-HSV、f _Leg-HSV的加权系数，ｆ_Head-HSVi、ｆ_Torso-HSVi、ｆ_Leg-HSVi分别表示P_i的头部、躯干和腿部的HSV特征，ｆ_Head-HSVj、ｆ_Torso-HSVj、ｆ_Leg-HSVj分别表示P_j的头部、躯干和腿部的HSV特征。

进一步地，本发明非重叠视域多摄像机网络中的人体目标跟踪方法中，所述步骤C根据目标关联规则，在关联假设空间Γ中确定与该新出现目标具有关联关系的目标，具体为：

C1、根据摄像机的成像质量设置两个阈值Th₁和Th₂，计算新出现目标与其关联假设空间Γ中所有目标之间的相似度距离，并对计算出的相似度距离按照从小到大的顺序进行排列，并得到最小相似度距离d_min；

C2、判断关联假设空间Γ中是否存在与该新出现目标有关联关系的目标：

C2-1、当d_min≥Th₁，则没有与该新出现目标有关联关系的目标；

C2-2、当所有相似度距离中，仅有d_min<Th₁，则d_min对应的关联假设空间Γ中的目标与该新出现的目标有关联关系；

C2-3、当存在两个或两个以上相似度距离小于Th₁，这些相似度距离形成集合F={d_min,d₂,…,d_M}，若d₂-d_min>Th₂，则相似度距离d_min所对应的关联假设空间Γ中目标为该新出现目标的关联，否则集合F中所有目标的转移时间中最短的目标作为新出现目标的关联，所述转移时间是指目标离开摄

像机视域到新出现目标进入摄像机视域的时间间隔。进一步地，本发明非重叠视域多摄像机网络中的人体目标跟踪方法中，所述步骤E根据获得的所有目标的关联关系，建立摄像机网络的时空拓扑关系，具体为：

根据所有目标的关联关系，判断摄像机网络中任意两个摄像机视域在空间上是否存在直接的连接路径；若存在，则记录目标穿越这一路径所需的时间范围。进一步地，本发明非重叠视域多摄像机网络中的人体目标跟踪方法中，所述目标连续跟踪具体为：

（1）根据被跟踪目标当前位置，确定跟踪任务搜索区域和相应的跟踪任务搜索时间；

（2）当被跟踪目标离开当前摄像机视域，对处于跟踪任务搜索区域的摄像机以及数据服务器发出跟踪任务指令；

（3）处于跟踪任务搜索区域的摄像机接到跟踪任务指令后，在其对应的跟踪任务搜索时间内搜索被跟踪目标；

（4）如果找到被跟踪目标，向数据服务器发送搜索成功的消息并继续跟踪任务转（1）；

（5）如果数据服务器收到搜索成功的消息，清除上一次跟踪任务；如果数据服务器在一段时间内都没有收到搜索成功的消息，则跟踪任务失败。

本发明与现有技术相比具有以下实质性特点和显著的进步：本发明结合运动目标检测、目标关联和目标跟踪技术等，根据获得的摄像机网络时空拓扑关系，实现了人体运动目标在大范围场景内的连续跟踪，从而解决了单个摄像机视域范围有限的监控问题。本发明在非监督条件下不需要对摄像机进行事先标定，也不需要对视频数据进行训练，仅通过不断学习运动目标的运动趋势即能够对场景中感兴趣的人体目标实现预测和跟踪，且随着视频数据的积累逐步提高跟踪的准确程度。本发明非重叠视域多摄像机的人体目标连续跟踪对于提高监控系统的网络化、智能化具有重要意义。

附图说明

图1为本发明非重叠视域多摄像机网络中的人体目标跟踪方法的流程图。

图2为本发明中多摄像机目标关联的流程图。

图3为实施例中非重叠视域摄像机分布格局图。

图4为对人体目标提取的HSV人体外观特征示意图。

图5为实施例中从摄像机C₃视域离开的目标与进入摄像机C₄视域的目标相关联的关联情况图。

图6为实施例中当环境发生变化时从摄像机C₁视域离开的目标与进入摄像机C₄视域的目标相关联的关联个数的变化情况图。

图7(a)为在摄像机C₄中确定被跟踪的人体运动目标的跟踪结果示意图；

图7(b)为在摄像机C₄中确定被跟踪的人体运动目标在整个监控网络中的运动轨迹；

图8(a)为在摄像机C₁确定被跟踪的人体运动目标的跟踪结果示意图；

图8(b)为在摄像机C₁确定被跟踪的人体运动目标在整个监控网络中的运动轨迹。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的描述；

本发明一种非重叠视域多摄像机网络中的人体目标跟踪方法，在具有非重叠视域多摄像机监控网络中，基于多路视频，采用单摄像机的目标检测、单摄像机的目标跟踪、多摄像机的目标关联和目标连续跟踪，实现人体运动目标的连续跟踪，如图1、图2、图4所示，具体为：

步骤一、单摄像机的目标检测，为每一路摄像机采集到的图像序列构建背景模型，即不含前景目标的场景图像，这里采用自适应背景提取方法，从图像序列中将变化区域从背景图像中分离出来，即可得到运动目标，其中自适应背景提取方法可以是帧差法、减背景法或光流法；

步骤二、单摄像机的目标跟踪，采用粒子滤波技术得到人体运动目标在单摄像机视域内完整平滑的运动轨迹：在运动目标出现遮挡或视频传输发生丢帧的情况下，根据Camshift算法得到的运动目标在上一帧的运动参数，利用粒子滤波对当前帧运动目标的参数进行预测，从而保证运动目标在单摄像机视域内运动的连续性和平滑性，其中，运动的连续性是指相邻帧间目标的运动位移很小，运动的平滑性是指相邻帧间目标的运动不会发生突变；

步骤三、多摄像机的目标关联包括目标特征提取和拓扑关系建立，获得不同摄像机观测到的每个目标间的对应关系：

（3-1）目标特征提取：采用42维向量作为人体外观特征，首先把目标原图从RGB空间转换到HSV空间，建立H（色相）、S（饱和度）、V（亮度）分量直方图，HSV特征f _HSV定义如下：

$H=\left\{\begin{array}{cc}0& H\&Element;\&lsqb;\mathrm{316,360}\&rsqb;\&cup;\&lsqb;\mathrm{0,20}\&rsqb;\\ 1& H\&Element;\&lsqb;\mathrm{21,40}\&rsqb;\\ 2& H\&Element;\&lsqb;\mathrm{41,75}\&rsqb;\\ 3& H\&Element;\&lsqb;\mathrm{76,155}\&rsqb;\\ 4& H\&Element;\&lsqb;\mathrm{156,190}\&rsqb;\\ 5& H\&Element;\&lsqb;\mathrm{191,270}\&rsqb;\\ 6& H\&Element;\&lsqb;\mathrm{271,295}\&rsqb;\end{array}\right.,$ $S=\left\{\begin{array}{cc}0& S\&Element;\&lsqb;\mathrm{0,0.2}\&rsqb;\\ 1& S\&Element;\left(\mathrm{0.2,0.7}\right),\\ 2& S\&Element;\&lsqb;\mathrm{0.7,1}\&rsqb;\end{array}\right.$ $V=\left\{\begin{array}{cc}0& V\&Element;\&lsqb;\mathrm{0,0.2}\&rsqb;\\ 1& V\&Element;\left(\mathrm{0.2,0.7}\right)\\ 2& V\&Element;\&lsqb;\mathrm{0.7,1}\&rsqb;\end{array}\right.$

为了增强人体外观特征的区分能力，从人体测量学角度出发将人体划分成头部、躯干和腿部三部分，假定人体高度为H′，则这三部分所占比例分别为0.16H′，0.46H′和0.38H′，针对这三部分分别提取HSV特征，即f _Head-HSV，f _Torso-HSV和f _Leg-HSV，由此组成人体外观特征Person=({f _Head-HSV},{f _Torso-HSV},{f _Leg-HSV})。采用HSV颜色直方图描述人体外观特征，不仅计算便捷，而且不随摄像机的视角和位置的改变发生较大变化。

（3-2）拓扑关系建立

步骤A、在时间窗约束条件下，针对单摄像机视域中新出现的目标构建关联假设空间Γ：监控网络中有N个摄像机C₁，C₂，…，C_N，这些摄像机基于它们的位置关系形成网络拓扑结构。分别采用t_ex ⁱ和t_en ^j表示某个人体运动目标离开摄像机Ci视域的时间以及进入摄像机C_j视域的时间；分别采用T_ij-min和T_ij-max表示目标从离开摄像机C_i视域到进入摄像机C_j视域所花费时间间隔的最小和最大阈值，如果t_ex ⁱ和t_en ^j满足以下时间窗约束条件：

t_ex ⁱ+T_ij-min<t_en ^j<t_ex ⁱ+T_ij-max

则摄像机C_i视域和摄像机C_j视域在网络拓扑结构上可能是邻接的，当摄像机C_j视域检测到新目标O_new时，如果从摄像机C_i视域离开的目标O_ex满足时间窗约束条件，则目标O_ex与目标O_new可能是对同一目标的两次观察，即目标O_ex是目标O_new正确关联的候选目标。所有这些候选目标将形成一个关联假设空间Γ，也就是说，关联假设空间Γ中可能有一个或多个目标与目标O_new形成正确关联；

步骤B、计算该新出现目标O_new与其关联假设空间Γ中的每一个目标之间HSV特征相似度距离：

本发明采用欧式距离计算HSV特征的差异，计算方法如下式：

d(f₁,f₂)=α*||H₁-H₂||+β*||S₁-S₂||+γ*||V₁-V₂||

式中，f₁和f₂分别表示HSV特征，H₁、V₁、S₁和H₂、V₂、S₂表示各自HSV特征中的H、S、V分量，α、β和γ分别表示对HSV特征中的H、S、V分量所赋权值；由于摄像机从不同角度拍摄，即使针对同一目标，HSV特征也可能存在较大差别；因此根据人体外观的特点，引入加权算法对上式进行改进，头发密布于头部后方，在绝大多事情况下与面部肤色差别较大，因此分配一个较小的加权系数w_h给头部HSV特征f _Head-HSV；通常人体上装前、后两面底色基本相同，有时也存在图案或颜色的少许差别，因此分配一个中等的加权系数w_t给躯干部分HSV特征f _Torso-HSV；最后分配一个较大的加权系数w_l给腿部HSV特征f _Leg-HSV，因为下装一般颜色分布均匀，前后两面极少存在较大颜色差异。因此HSV特征相似度距离计算可以定义为：

d(P_i,P_j)=w_h*d(ｆ_Head-HSVi，ｆ_Head-HSVj)+w_t*d(ｆ_Torso-HSVi，ｆ_Torso-HSVj)+w_l*d(ｆ_Leg-HSVi，ｆ_Leg-HSVj)

式中，P_i和P_j分别表示不同的人体目标。

步骤C、根据目标关联规则，在关联假设空间Γ中确定与该新出现目标具有关联关系的目标：

在目标关联规则判断过程中，根据摄像机的成像质量设置两个判断阈值Th₁和Th₂，当某个摄像机视域内出现目标Person_i时，计算该目标与其关联假设空间Γ中所有目标Example^k _i之间的相似度距离d(Person_i,Example^k _i)，并对计算出的相似度距离按照从小到大的顺序进行排列，记为d_min，d₂，……，d_max。当d_min≥Th₁，判断关联假设空间Γ中不存在与目标Person_i有关联关系的目标；当d(Person_i,Example^k _i)中仅有d_min<Th₁，则d_min所对应的关联假设空间Γ中的目标为目标Person_i的关联，当存在两个或两个以上相似度距离小于Th₁，这些相似度距离形成集合F={d_min,d₂,…,d_M}，若d₂-d_min>Th₂，则相似度距离d_min所对应的关联假设空间Γ中目标为该新出现目标的关联，否则集合F中所有目标的转移时间中最短的目标作为新出现目标的关联，其中所述转移时间是指目标离开摄像机视域到新出现目标进入摄像机视域的时间间隔；

步骤D、重复步骤A至步骤C，获得直至当前时刻之前的所有目标之间的关联关系；

步骤E、根据步骤D中获得的所有目标之间的关联关系，经统计分析建立摄像机网络的时空拓扑关系：

根据积累的关联关系判断任意两个摄像机在空间上是否存在一条路径可以使得运动目标直接从一个摄像机视域运动到另一个摄像机视域，如果存在，在时间上计算人体运动目标穿越该路径所需花费的时间范围；分别采用矩阵S、矩阵T记录摄像机网络的空间拓扑关系和时间拓扑关系；

步骤四、目标连续跟踪，获得目标的完整轨迹：

（1）根据被跟踪目标当前位置，确定跟踪任务搜索区域和相应的跟踪任务搜索时间；

（2）当被跟踪目标离开当前摄像机视域，对处于跟踪任务搜索区域的摄像机以及数据服务器发出跟踪任务指令；

（3）处于跟踪任务搜索区域的摄像机接到跟踪任务指令后，在其对应的跟踪任务搜索时间内搜索被跟踪目标；

（4）如果找到被跟踪目标，向数据服务器发送搜索成功的消息并继续跟踪任务转（1）；

（5）如果数据服务器收到搜索成功的消息，清除上一次跟踪任务；如果数据服务器在一段时间内都没有收到搜索成功的消息，则跟踪任务失败。

实施例

本发明需要的最低硬件配置为：最低帧率为每秒12帧，最低分辨率为1600×1200的彩色监控摄像机，每个监控摄像机都与一个微处理器连接构成智能监控摄像机，该智能监控摄像机具有视频处理功能（其中包括背景建模模块、目标检测模块、目标跟踪模块、相似度距离计算模块等）和网络通讯功能；P43.0G CPU，内存2G的计算机作为数据服务器。在此配置水平的硬件上，采用C++语言编写程序实现本方法，可以达到实时处理，其他方式不再赘述。下面详细说明本发明技术方案所涉及的各个细节。本实施例中选取的非重叠视域摄像机个数为4个，其分布格局如图3所示：

步骤一、单摄像机的目标检测：采用帧差法将第一帧图像作为原始背景，从第二帧开始对当前帧间差分图像进行处理，找到运动区域和非运动区域，并引入数学形态学运算对帧间差分图像进一步处理，准确提取出非运动区域，然后用当前帧图像中提取的非运动区域部分更新当前背景图像，而运动区域部分的背景图像则保持不变，经过一定数量图像的迭代便可提取出背景图像。从图像序列中将变化区域从背景图像中分离出来，即可得到运动目标。

步骤二、单摄像机的目标跟踪，采用粒子滤波技术得到人体运动目标在单摄像机视域内完整平滑的运动轨迹：在运动目标出现遮挡或视频传输发生丢帧的情况下，根据Camshift算法得到的运动目标在上一帧的运动参数，利用粒子滤波对当前帧运动目标的参数进行预测，从而保证运动目标在单摄像机视域内运动的连续性和平滑性，其中，运动的连续性是指相邻帧间目标的运动位移很小，运动的平滑性是指相邻帧间目标的运动不会发生突变；

步骤三、多摄像机的目标关联包括目标特征提取和拓扑关系建立，获得不同摄像机观测到的每个目标间的对应关系：

（3-1）目标特征提取：采用42维向量作为人体外观特征，首先把目标原图从RGB空间转换到HSV空间，建立H（色相）、S（饱和度）、V（亮度）分量直方图，HSV特征f _HSV定义如下：

$H=\left\{\begin{array}{cc}0& H\&Element;\left[\mathrm{316,360}\right]\&cup;\left[\mathrm{0,20}\right]\\ 1& H\&Element;\left[\mathrm{21,40}\right]\\ 2& H\&Element;\left[\mathrm{41,75}\right]\\ 3& H\&Element;\left[\mathrm{76,155}\right]\\ 4& H\&Element;\left[\mathrm{156,190}\right]\\ 5& H\&Element;\left[\mathrm{191,270}\right]\\ 6& H\&Element;\left[\mathrm{271,295}\right]\\ 7& H\&Element;\left[\mathrm{296,315}\right]\end{array}\right.,$ $S=\left\{\begin{array}{cc}0& S\&Element;\&lsqb;\mathrm{0,0.2}\&rsqb;\\ 1& S\&Element;\left(\mathrm{0.2,0.7}\right),\\ 2& S\&Element;\&lsqb;\mathrm{0.7,1}\&rsqb;\end{array}\right.$ $V=\left\{\begin{array}{cc}0& V\&Element;\&lsqb;\mathrm{0,0.2}\&rsqb;\\ 1& V\&Element;\left(\mathrm{0.2,0.7}\right)\\ 2& V\&Element;\&lsqb;\mathrm{0.7,1}\&rsqb;\end{array}\right.$

为了增强人体外观特征的区分能力，从人体测量学角度出发将人体划分成头部、躯干和腿部三部分，假定人体高度为H′，则这三部分所占比例分别为0.16H′，0.46H′和0.38H′，针对这三部分分别提取HSV特征，即f _Head-HSV，f _Torso-HSV和f _Leg-HSV，由此组成人体外观特征Person=({f _Head-HSV},{f _Torso-HSV},{f _Leg-HSV})。采用HSV颜色直方图描述人体外观特征，不仅计算便捷，而且不随摄像机的视角和位置的改变发生较大变化。

（3-2）拓扑关系建立

步骤A、在时间窗约束条件下，针对单摄像机视域中新出现的目标构建关联假设

空间Γ：监控网络中有4个摄像机C₁，C₂，C₃，C₄，这些摄像机基于它们的位置关系形成网络拓扑结构。分别采用t_ex ⁱ和t_en ^j表示某个人体运动目标离开摄像机C_i视域的时间以及进入摄像机C_j视域的时间；分别采用T_ij-min和T_ij-max表示目标从离开摄像机C_i视域到进入摄像机C_j视域所花费时间间隔的最小和最大阈值，如果t_ex ⁱ和t_en ^j满足以下时间窗约束条件：

t_ex ⁱ+T_ij-min<t_en ^j<t_ex ⁱ+T_ij-max

则摄像机C_i视域和摄像机C_j视域在网络拓扑结构上是邻接的，当摄像机C_j视域检测到新目标O_new时，如果从摄像机C_i视域离开的目标O_ex满足时间窗约束条件，则目标O_ex与目标O_new可能是对同一目标的两次观察，即目标O_ex是目标O_new正确关联的候选目标。所有这些候选目标将形成一个关联假设空间Γ，也就是说，关联假设空间Γ中可能有一个或多个目标与目标O_new形成正确关联；

步骤B、计算该新出现目标O_new与其关联假设空间Γ中的每一个目标之间HSV特征相似度距离：

本发明采用欧式距离计算HSV特征的差异，计算方法如下式：

d(f₁,f₂)=α*||H₁-H₂||+β*||S₁-S₂||+γ*||V₁-V₂||

式中，f₁和f₂分别表示HSV特征，H₁、V₁、S₁和H₂、V₂、S₂表示各自HSV特征中的H、S、V分量，α、β和γ分别表示对HSV特征中的H、S、V分量所赋权值；由于摄像机从不同角度拍摄，即使针对同一目标，HSV特征也可能存在较大差别；因此根据人体外观的特点，引入加权算法对上式进行改进，头发密布于头部后方，在绝大多事情况下与面部肤色差别较大，因此分配一个较小的加权系数w_h给头部HSV特征f _Head-HSV；通常人体上装前、后两面底色基本相同，有时也存在图案或颜色的少许差别，因此分配一个中等的加权系数w_t给躯干部分HSV特征f _Torso-HSV；最后分配一个较大的加权系数w_l给腿部HSV特征f _Leg-HSV，因为下装一般颜色分布均匀，前后两面极少存在较大颜色差异。因此HSV特征相似度距离计算可以定义为：

d(P_i,P_j)=w_h*d(ｆ_Head-HSVi，ｆ_Head-HSVj)+w_t*d(ｆ_Torso-HSVi，ｆ_Torso-HSVj)+wl*d(ｆ_Leg-HSVi，ｆ_Leg-HSVj)式中，P_i和P_j分别表示不同的人体目标。

步骤C、根据目标关联规则，在关联假设空间Γ中确定与该新出现目标具有关联关系的目标；

在目标关联规则判断过程中，根据摄像机的成像质量设置两个判断阈值Th₁和Th₂，当某个摄像机视域内出现目标Person_i时，计算该目标与其关联假设空间Γ中所有目标Example^k _i之间的相似度距离d(Person_i,Example^k _i)，并对计算出的相似度距离按照从小到大的顺序进行排列，记为d_min，d₂，……，d_max，当d_min≥Th₁，判断关联假设空间Γ中不存在与目标Person_i有关联关系的目标；当d(Person_i,Example^k _i)中仅有d_min<Th₁，则d_min所对应的关联假设空间Γ中的目标为目标Person_i的关联，当存在两个或两个以上相似度距离小于Th₁，这些相似度距离形成集合F={d_min,d₂,…,d_M}，若d₂-d_min>Th₂，则相似度距离d_min所对应的关联假设空间Γ中目标为该新出现目标的关联，否则集合F中所有目标的转移时间中最短的目标作为新出现目标的关联，其中所述转移时间是指目标离开摄像机视域到新出现目标进入摄像机视域的时间间隔；

步骤D、重复步骤A至步骤C，获得直至当前时刻之前的所有目标之间的关联关系；

本实施例中，在图3所示的监控环境中，在确认监控环境中所有门都打开情况下，监控系统运行12小时后，从摄像机C₃视域离开的目标与进入摄像机C₄视域的目标相关联的关联情况如图5所示。在监控系统开始运行的12小时之内，由于从摄像机C₃视域到摄像机C₄视域具有直接连通路径，故随着运行时间的推移，关联个数从无到有逐步积累。并且由于每个运动目标的运动速度存在差异，因此运动目标穿越从摄像机C₃视域到摄像机C₄视域这一路径所花费的时间有所区别。从摄像机C₃视域消失的目标与从摄像机C₄视域出现的目标的关联信息随时间积累情况，可以反映出从摄像机C₃视域到摄像机C₄视域路径的时间和空间关系。

在确认监控环境中所有门都打开情况下，监控系统运行6小时后，将LAB3的门关闭再运行6小时。从摄像机C₁视域消失的目标与从摄像机C₄视域出现的目标相关联的关联个数的变化情况图6所示。当LAB3的门处于开启状态时，从摄像机C₁视域到摄像机C₄视域具有直接连接路径，因此从摄像机C₁视域消失的目标与从摄像机C₄视域出现的目标的关联个数随时间推移呈现递增趋势；而当LAB3的门处于关闭状态时，从摄像机C₁视域到摄像机C₄视域不具有直接连接路径，因此从摄像机C₁视域消失的目标与从摄像机C₄视域出现的目标的关联个数随时间推移呈现递减趋势，直至为零。由于采用FIFO结构记录关联信息，因此随着监控环境的改变目标的关联个数会发生变化，但关联信息的统计存在时间上的滞后，不过随着关联信息的不断更新，统计结果最终将体现监控环境的变化。

步骤E、根据步骤D中获得的所有目标之间的关联关系，采用矩阵S记录摄像机网络的空间拓扑关系，矩阵元素S_ij描述摄像机C_i视域直接连接摄像机C_j视域的路径信息，当存在一条路径使得运动目标可以直接从摄像机C_i视域运动到摄像机C_j视域时，S_ij＝1，否则S_ij＝0。这里需要设置一个很小阈值Th，防止在两个摄像机之间建立不正确的空间关系。当运动目标从摄像机C_i视域运动到摄像机C_j视域的转移概率（运动目标从摄像机C_i视域运动到摄像机C_j视域的转移概率，是指从摄像机C_i视域消失并出现在摄像机C_j视域的目标关联数与所有从摄像机C_i视域消失的目标个数的比值）低于阈值Th时，则删除从摄像机C_i视域到摄像机C_j视域的连接路径，认为该路径不可达，因为转移概率小意味着转移事件发生的可能性小或者是错误的。

本实施例中，在图3所示的监控环境中，在确认监控环境中所有门都打开情况下，监控系统运行12小时后，建立摄像机网络的时空拓扑关系如表1所示：

表1摄像机监控网络的时空拓扑关系

1．从摄像机C₁视域消失的目标可能出现的地点与时间：

摄像机C₁视域，目标出现时间范围为1秒至150秒；

摄像机C₂视域，目标出现时间范围为29秒至65秒；

摄像机C₄视域，目标出现时间范围为24秒至40秒；

2．从摄像机C₂视域消失的目标可能出现的地点与时间：

摄像机C₁视域，目标出现时间范围为30秒至64秒；

摄像机C₂视域，目标出现时间范围为1秒至150秒；

摄像机C₄视域，目标出现时间范围为68秒至97秒；

3．从摄像机C₃视域消失的目标可能出现的地点与时间：

摄像机C₃视域，目标出现时间范围为1秒至150秒；

摄像机C₄视域，目标出现时间范围为12秒至30秒；

4．从摄像机C₄视域消失的目标可能出现的地点与时间：

摄像机C₁视域，目标出现时间范围为20秒至41秒；

摄像机C₂视域，目标出现时间范围为70秒至93秒；

摄像机C₂视域，目标出现时间范围为10秒至31秒；

摄像机C₄视域，目标出现时间范围为1秒至150秒；

步骤四、目标连续跟踪，获得目标的完整轨迹。

在摄像机C₄视域内确定被跟踪目标P2，根据摄像机网络拓扑关系，与摄像机C₄视域具有连通关系的是的摄像机C₁视域、摄像机C₂视域和摄像机C₃视域，针对以上跟踪任务搜索区域在其相应的跟踪任务搜索时间内进行被跟踪目标的搜索，即被跟踪目标消失后，时间范围在20秒至41秒搜索摄像机C₁视域，时间范围在70秒至93秒搜索摄像机C₂视域，时间范围在10秒至31秒搜索摄像机C₃视域，以上搜索过程同步进行，随后在摄像机C₃视域发现该被跟踪目标。该被跟踪目标在监控网络中的实际行走路线的示意图以及跟踪结果如图7（a）、图7（b）所示。

在摄像机C₁视域内确定被跟踪目标P16，根据摄像机网络拓扑关系，与摄像机C₁视域具有连通关系的是的摄像机C₂视域和摄像机C₄视域，针对以上跟踪任务搜索区域在其相应的跟踪任务搜索时间内进行被跟踪目标的搜索，即被跟踪目标消失后，时间范围在29秒至65秒搜索摄像机C₂视域，时间范围在24秒至40秒搜索摄像机C₄视域，以上搜索过程同步进行，随后在摄像机C₄视域发现该被跟踪目标。再次根据摄像机网络拓扑关系，与摄像机C₄视域具有连通关系的是的摄像机C₁视域、摄像机C₂视域和摄像机C₃视域，针对以上跟踪任务搜索区域在其相应的跟踪任务搜索时间内进行被跟踪目标的搜索，即被跟踪目标消失后，时间范围在20秒至41秒搜索摄像机C₁视域，时间范围在70秒至93秒搜索摄像机C₂视域，时间范围在10秒至31秒搜索摄像机C₃视域，以上搜索过程同步进行，随后在摄像机C₃视域发现该被跟踪目标。该被跟踪目标在监控网络中的实际行走路线的示意图以及跟踪结果如图8（a）、图8（b）所示。

Claims (10)

1.一种非重叠视域多摄像机网络中的人体目标跟踪方法，包括以下步骤：

步骤一、单摄像机的目标检测，在图像序列中将变化区域从背景图像中分离出来；

步骤二、单摄像机的目标跟踪，得到目标在每个摄像机内完整平滑的运动轨迹；

步骤三、多摄像机的目标关联，获得不同摄像机观测到的每个目标间的对应关系；

步骤四、目标连续跟踪，获得目标的完整轨迹，

其特征在于：所述步骤三中多摄像机的目标关联包括目标特征提取和拓扑关系建立，其中：

所述目标特征提取是提取每一个人体运动目标HSV特征，具体为：将检测到的目标原图从RGB空间转换到HSV空间，建立H、S、V分量直方图，提取人体运动目标的HSV特征；

所述拓扑关系建立，包括以下步骤：

步骤A、在时间窗约束条件下，针对单摄像机视域中新出现的目标构建关联假设空间Γ；

步骤B、计算该新出现目标与其关联假设空间Γ中的每一个目标之间HSV特征相似度距离；

步骤C、根据目标关联规则，在关联假设空间Γ中确定与该新出现目标具有关联关系的目标；

步骤D、重复步骤A至步骤C，获得直至当前时刻之前的所有目标之间的关联关系；

步骤E、根据步骤D中获得的所有目标之间的关联关系，建立摄像机网络的时空拓扑关系。

2.根据权利要求1所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于：所述单摄像机的目标检测采用自适应背景提取方法，在图像序列中将变化区域从背景图像中分离出来。

3.根据权利要求2所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于：所述自适应背景提取方法为帧差法、减背景法或光流法。

4.根据权利要求1所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于：所述单摄像机的目标跟踪采用粒子滤波方法得到人体运动目标在单摄像机视域内完整平滑的运动轨迹。

5.根据权利要求1所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于：所述提取人体运动目标的HSV特征具体为：根据人体测量学将人体划分成头部、躯干和腿部三部分，设人体高度为H′，则这三部分所占比例分别为0.16H′，0.46H′和0.38H′；针对上述三部分分别提取HSV特征，分别为f _Head-HSV、f _Torso-HSV和f _Leg-HSV。

6.根据权利要求1所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于：所述步骤A中为单摄像机视域中新出现的目标构建关联假设空间Γ，具体为：当摄像机视域检测到新目标时，判断该网络中其他摄像机视域离开的目标是否满足时间窗约束条件（1），若满足则上述离开的目标为该新出现目标正确关联的候选目标，所有候选目标形成该新出现目标的关联假设空间Γ：

t_ex ⁱ+T_ij-min<t_en ^j<t_ex ⁱ+T_ij-max          （1）

公式（1）为时间窗约束条件，其中，t_ex ⁱ表示目标离开摄像机C_i视域的时间，t_en ^j表示该目标进入C_j摄像机视域的时间；T_ij-min和T_ij-max分别表示目标从离开摄像机C_i视域到进入摄像机C_j视域所花费时间间隔的最小和最大阈值。

7.根据权利要求1所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于：所述步骤B计算新出现目标与其关联假设空间Γ中的每一个目标之间HSV特征相似度距离，具体为：

B1、利用公式（2）欧式距离计算HSV特征的差异：

d(f₁,f₂)=α*||H₁-H₂||+β*||S₁-S₂||+γ*||V₁-V₂||  （2）；

式中，f₁和f₂分别表示HSV特征，H₁、V₁、S₁和H₂、V₂、S₂表示各自HSV特征中的H、S、V分量，α、β和γ分别表示对HSV特征中的H、S、V分量所赋权值；

B2、根据HSV特征差异，利用公式（3）计算HSV特征相似度距离：

d(P_i,P_j)=w_h*d(ｆ_Head-HSVi,ｆ_Head-HSVj)+w_t*d(ｆ_Torso-HSVi,ｆ_Torso-HSVj)+w_l*d(ｆ_Leg-HSVi,ｆ_Leg-HSVj)     （3）；

式中，P_i和P_j分别表示不同的人体目标，w_h、w_t、w_l分别为分配给f _Head-HSV、f _Torso-HSV、f _Leg-HSV的加权系数，ｆ_Head-HSVi、ｆ_Torso-HSVi、ｆ_Leg-HSVi分别表示P_i的头部、躯干和腿部的HSV特征，ｆ_Head-HSVj、ｆ_Torso-HSVj、ｆ_Leg-HSVj分别表示P_j的头部、躯干和腿部的HSV特征。

8.根据权利要求1所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于：所述步骤C根据目标关联规则，在关联假设空间Γ中确定与该新出现目标具有关联关系的目标，具体为：

C1、根据摄像机的成像质量设置两个阈值Th₁和Th₂，计算新出现目标与其关联假设空间Γ中所有目标之间的相似度距离，并对计算出的相似度距离按照从小到大的顺序进行排列，并得到最小相似度距离d_min；

C2、判断关联假设空间Γ中是否存在与该新出现目标有关联关系的目标：

C2-1、当d_min≥Th₁，则没有与该新出现目标有关联关系的目标；

C2-2、当所有相似度距离中，仅有d_min<Th₁，则d_min对应的关联假设空间Γ中的目标与该新出现的目标有关联关系；

C2-3、当存在两个或两个以上相似度距离小于Th₁，这些相似度距离形成集合F={d_min,d₂,…,d_M}，若d₂-d_min>Th₂，则相似度距离d_min所对应的关联假设空间Γ中目标为该新出现目标的关联，否则集合F中所有目标的转移时间中最短的目标作为新出现目标的关联，所述转移时间是指目标离开摄像机视域到新出现目标进入摄像机视域的时间间隔。

9.根据权利要求1所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于：所述步骤E根据获得的所有目标之间的关联关系，建立摄像机网络的时空拓扑关系，具体为：

根据所有目标之间的关联关系，判断摄像机网络中任意两个摄像机视域在空间上是否存在直接的连接路径；若存在，则记录目标穿越这一路径所需的时间范围。

10.根据权利要求1所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于：所述目标连续跟踪具体为：

（1）根据被跟踪目标当前位置，确定跟踪任务搜索区域和相应的跟踪任务搜索时间；

（2）当被跟踪目标离开当前摄像机视域，对处于跟踪任务搜索区域的摄像机以及数据服务器发出跟踪任务指令；

（3）处于跟踪任务搜索区域的摄像机接到跟踪任务指令后，在其对应的跟踪任务搜索时间内搜索被跟踪目标；

（4）如果找到被跟踪目标，向数据服务器发送搜索成功的消息并继续跟踪任务转（1）；

（5）如果数据服务器收到搜索成功的消息，清除上一次跟踪任务；如果数据服务器在一段时间内都没有收到搜索成功的消息，则跟踪任务失败。

Images