CN111310668A - 一种基于骨架信息的步态识别方法 - Google Patents

Abstract

本发明提供一种基于骨架信息的步态识别方法，包括：采集步态视频序列；采用OpenPose对步态视频序列进行姿态估计，得到步态关键点序列；构建时空骨架序列；将邻接矩阵与步态关键点序列输入到多尺度时空图卷积网络进行训练；训练完成后，使用训练好的模型进行测试，提取步态特征，进行特征匹配。本发明主要采用人体关键点形式，引入针对图结构的图卷积神经网络，并改进连接方式以及划分策略，网络采用孪生机制，将交叉熵损失和对比损失结合，并融合网络的浅层特征、中层特征与深层特征，从一定程度上提升了步态识别的鲁棒性。

Description

一种基于骨架信息的步态识别方法

技术领域

本发明涉及模式识别技术领域，具体而言，尤其涉及一种基于骨架信息的步态识别方法。

背景技术

步态识别是一种新兴的生物特征识别技术，旨在通过视频序列中人们走路姿态进行身份识别，与其他生物识别技术相比，步态识别具有非接触、远距离和不易伪装的优点。在安防、智能监控领域更具优势，到目前为止，在实际复杂环境中，步态识别应用仍然存在一些问题。

近几年来，国内外学术科研机构越来越重视步态识别技术。现有技术主要分为以下两种：

1、基于模型的方法。主要是将身体切分成多块或者获取身体关节点，通过关节点或者身体运动的部分运动轨迹进行拟合。这类方法主要依赖身体的各块静态特征以及关节点的运动轨迹进行建模，包括二维模型和三维模型。

2、基于非模型的方法。主要是采集人类走路的外形还有其中特征参数等步态特征来实现，不需要重建行走步态的模型。研究对象大致有三种：步态能量图、轮廓图序列和人体关键点序列。

近年来，随着深度学习技术在计算机视觉各领域取得很大的进步，涌现了大量基于深度学习的步态识别方法。例如：采用步态能量图描述步态序列，利用深度卷积神经网络训练匹配模型，从而匹配人的身份。重复选取所有视角中任意两个视角对卷积神经网络进行匹配训练，该方法能够获得较好的多视角步态识别性能，存在的不足之处是，在人体行走视角变化范围较大时，所提取的多视角步态特征表征能力不够，同时对于服装以及携带物等鲁棒性较低。再者，采用姿态信息进行步态特征表示和匹配。利用姿态估计算法从步态视频序列中获取人体关键点坐标，利用卷积神经网络和长短时记忆网络训练步态关键点序列，同时引入手工特征进行步态识别。但是现有步态识别技术仍然存在以下不足：

1、通过步态轮廓图或步态能量图进行步态识别，对轮廓质量和背景要求较高，受光照条件以及复杂背景影响较大，往往导致轮廓图提取不完整。

2、受服装以及携带物等协变量的影响，会导致协变量无法与人体本身分离，导致识别精度降低。

发明内容

根据上述提出的技术问题，而提供一种基于骨架信息的步态识别方法。本发明主要采用人体关键点形式，引入针对图结构的图卷积神经网络，并改进连接方式以及划分策略，网络采用孪生机制，将交叉熵损失和对比损失结合，并融合网络的浅层特征、中层特征与深层特征，从一定程度上提升了步态识别的鲁棒性。

本发明采用的技术手段如下：

一种基于骨架信息的步态识别方法，包括如下步骤：

S1、采集步态视频序列；

S2、采用OpenPose对上述步态视频序列进行姿态估计，得到步态关键点序列；

S3、构建时空骨架序列；

S4、将邻接矩阵与步态关键点序列输入到多尺度时空图卷积网络进行训练；

S5、训练完成后，使用训练好的模型进行测试，提取步态特征，进行特征匹配。

进一步地，所述步骤S3具体为：

S31、将所述步态关键点序列在空间上进行人体自然连接；同时引入对称性将对称的关节点进行连接(只连接腿部对称关键点，因为在携带物条件下胳膊之间对称性缺失)；在时间上，将帧与帧之间相同的关键点进行连接；

S32、定义采样函数，一个节点v_ti的邻域集被定义为：

B(v_ti)＝{v_tj|d(v_tj,v_ti)≤D},

其中，B为节点v_ti的邻域集合；v表示节点；D表示距离；d(v_tj,v_ti)表示两个节点之间的最短路径，通常取D＝1；因此，采样函数被定义为：p(v_tj,v_ti)＝v_tj；

S33、选择划分策略，将邻域集划分成四个子集，即该节点本身为第一个子集，非对称节点中，距离重力中心比该节点本身近的为第二个子集，距离重力重心比该节点本身远的为第三个子集，对称节点定义为第四个子集，即：

S34、定义权重函数，邻域集划分为四个子集后，每一个子集有一个数字标签，采用一个映射函数l_ti将每一个节点映射到它的子集标签，映射函数定义为：B(v_ti)→{0,……,K-1}，K＝4；权重函数定义为：w(v_ti,v_tj)＝w’(l_ti(v_tj))；

S35、将空间图卷积扩展到空时域，将空时邻域集定义为：B(v_ti)＝{v_qj|d(v_tj,v_ti)≤K，|q–t|≤Γ}}，B为节点v_ti的邻域集合；v表示节点；K表示距离；Γ控制包括在邻域内的图的范围，即时间卷积核。

进一步地，所述训练多尺度时空图卷积神经网络的过程具体如下：

S41、选择样本后，从ID与所选择的样本相同的所有样本中随机选取一个样本作为正样本，从ID与所选择的样本不同的所有样本中随机选取一个样本作为负样本；

S42、采用孪生机制，在一次迭代中，将所述选择的样本输入支路1，将正样本和负样本依次输入支路2，支路1和支路2共享参数；

S43、采用SoftMax和交叉熵损失函数对支路1中所述选择的样本特征进行分类；

S44、采用对比损失函数对比所述选择的样本与正样本的特征，以及所述选择的样本与负样本的特征；来自于同一个ID的样本，标签为1，来自不同ID的样本，标签为0。

S45、两部分损失加和，总损失为：

Loss＝Lid+0.5*[Lc(sample,pos,1)+Lc(sample,neg,0)]，

其中，Lid为交叉熵损失，Lc为对比损失，再进行反向传播，更新网络。

进一步地，所述步骤S4中在训练多尺度时空图卷积神经网络时还包括如下设置过程：

步骤1、输入步态序列，维度为[3,100,18]，其中3为输入关键点特征有3个通道，分别为X,Y坐标和置信度C，100为时间维度有100帧，18为每帧共有18个关键点；

步骤2、前三层输出64通道，卷积核大小为(9,3)，9为时间卷积核尺寸，3为空间卷积核尺寸，输出维度为[64,100,18]；

步骤3、中间三层输出128通道，卷积核大小为(9,3)，输出维度为[128,50,18]，在第四层，时间维度卷积步长为2；

步骤4、后三层输出256通道，卷积核大小为(9,3)，输出维度为[256,25,18]，在第七层，时间维度卷积步长为2；

步骤5、进行全局平均池化，池化后，特征维度变成256维；

步骤6、将第一层输出的特征[64,100,18]，进行维度交换后，做平均池化，变成18维特征；

步骤7、将第五层的输出特征[128,50,18]，进行维度交换后，做平均池化，变成18维特征；

步骤8、采用将浅层特征与深层特征融合的方式表示步态特征，将第一层的18维特征、第五层的18维特征与最后一层的256维特征进行拼接，变成292维特征；

步骤9、采用SoftMax分类器将292维特征进行分类。

本发明还提供了一种基于骨架信息的步态识别方法的测试方法，包括如下步骤：

步骤Ⅰ：输入待测试的步态关键点序列；

步骤Ⅱ：利用训练好的网络提取步态特征，并对该特征进行二范数归一化；

步骤Ⅲ：对样本库中的样本进行步骤Ⅰ和步骤Ⅱ的操作，则可用特征向量来代表待检索行人步态序列和检索库中行人步态序列；

步骤Ⅳ：计算待检索行人步态序列与检索库中行人步态序列之间的距离，即针对一个待检索行人步态序列，计算其特征与检索库中所有行人步态序列之间的距离；

步骤Ⅴ：按照上述计算的距离由小到大将检索库中样本进行相似性排序，越靠前则越有可能与待检索行人ID一致。

较现有技术相比，本发明具有以下优点：

1、本发明提供的步态识别方法，针对背包以及服装等协变量影响，采用关键点序列来表征步态的方式，解决了用轮廓图以及能量图表示的步态特征在协变量条件下鲁棒性较低问题，提升了在协变量影响下识别的准确率。

2、本发明提供的步态识别方法，针对步态特有的对称性特点，在构建时空骨架序列时引入对称性，将人体腿部对称的关节点信息加入邻接矩阵，增强了相关节点的关联度，同时减小了因关节估计不准确带来的噪声，提升了识别的准确率。

3、由于深度卷积神经网络提取的是高层特征，单一表示高层语义信息，无法描述静态特征，因此采用将浅层特征、中层特征及深层特征融合的多尺度方式，丰富了步态特征的表达形式，提升了识别的准确率。

基于上述理由本发明可在模式识别等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法流程图。

图2为本发明多尺度时空图卷积神经网络具体设置示意图。

图3为本发明测试方法示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，本发明提供了一种基于骨架信息的步态识别方法，包括如下步骤：

S1、采集步态视频序列；

S2、采用OpenPose对上述步态视频序列进行姿态估计，得到步态关键点序列；

S3、构建时空骨架序列；

进一步地，作为本发明优选的实施方式，所述步骤S3具体为：

S31、将所述步态关键点序列在空间上进行人体自然连接；因为人走路姿态具有对称性的特点，所以同时引入对称性将对称的关节点进行连接(只连接腿部对称关键点，因为在携带物条件下胳膊之间对称性缺失)；在时间上，将帧与帧之间相同的关键点进行连接；

S32、定义采样函数，一个节点v_ti的邻域集被定义为：

B(v_ti)＝{v_tj|d(v_tj,v_ti)≤D},

其中，B为节点v_ti的邻域集合；v表示节点；D表示距离；d(v_tj,v_ti)表示两个节点之间的最短路径，通常取D＝1；因此，采样函数被定义为：p(v_tj,v_ti)＝v_tj；

S33、选择划分策略，将邻域集划分成四个子集，即该节点本身为第一个子集，非对称节点中，距离重力中心比该节点本身近的为第二个子集，距离重力重心比该节点本身远的为第三个子集，对称节点定义为第四个子集，即：

S34、定义权重函数，邻域集划分为四个子集后，每一个子集有一个数字标签，采用一个映射函数l_ti将每一个节点映射到它的子集标签，映射函数定义为：B(v_ti)→{0,……,K-1}，K＝4；权重函数定义为：w(v_ti,v_tj)＝w’(l_ti(v_tj))；

S35、将空间图卷积扩展到空时域，将空时邻域集定义为：B(v_ti)＝{v_qj|d(v_tj,v_ti)≤K，|q–t|≤Γ}}，B为节点v_ti的邻域集合；v表示节点；K表示距离；Γ控制包括在邻域内的图的范围，即时间卷积核。

S4、将邻接矩阵与步态关键点序列输入到多尺度时空图卷积网络进行训练；

进一步地，作为本发明优选的实施方式，如图2所示，所述步骤S4中在训练多尺度时空图卷积神经网络之前还包括如下设置过程：

步骤1、输入步态序列，维度为[3,100,18]，其中3为输入关键点特征有3个通道，分别为X,Y坐标和置信度C，100为时间维度有100帧，18为每帧共有18个关键点；

步骤2、前三层输出64通道，卷积核大小为(9,3)，9为时间卷积核尺寸，3为空间卷积核尺寸，输出维度为[64,100,18]；

步骤3、中间三层输出128通道，卷积核大小为(9,3)，输出维度为[128,50,18]，在第四层，时间维度卷积步长为2；

步骤4、后三层输出256通道，卷积核大小为(9,3)，输出维度为[256,25,18]，在第七层，时间维度卷积步长为2；

步骤5、进行全局平均池化，池化后，特征维度变成256维；

步骤6、将第一层输出的特征[64,100,18]，进行维度交换后，做平均池化，变成18维特征；

步骤7、将第五层的输出特征[128,50,18]，进行维度交换后，做平均池化，变成18维特征；

步骤8、由于深度卷积神经网络提取的是高层特征，单一表示高层语义信息，无法描述静态特征，因此采用将浅层特征与深层特征融合的方式表示步态特征，将第一层的18维特征、第五层的18维特征与最后一层的256维特征进行拼接，变成292维特征；

步骤9、采用SoftMax分类器将292维特征进行分类。

本实施例中，采用CASIA-B数据集，NM：正常行走条件，BG：携带物条件，CL：穿大衣条件。如下表所示：

所述训练多尺度时空图卷积神经网络的过程具体如下：

在训练阶段，目的是训练网络使其能提取到能代表行人的特征，故网络以分类的形式进行训练，具体步骤为：

S41、选择样本后，从ID与所选择的样本相同的所有样本中随机选取一个样本作为正样本，从ID与所选择的样本不同的所有样本中随机选取一个样本作为负样本；

S42、采用孪生机制，在一次迭代中，将所述选择的样本输入支路1，将正样本和负样本依次输入支路2，支路1和支路2共享参数；

S43、采用SoftMax和交叉熵损失函数对支路1中所述选择的样本特征进行分类；

S44、采用对比损失函数对比所述选择的样本与正样本的特征，以及所述选择的样本与负样本的特征；将来自于同一个ID的样本，标签为1，来自不同ID的样本，标签为0。

S45、两部分损失加和，总损失为：

Loss＝Lid+0.5*[Lc(sample,pos,1)+Lc(sample,neg,0)]，

其中，Lid为交叉熵损失，Lc为对比损失，再进行反向传播，更新网络。

S5、训练完成后，使用训练好的模型进行测试，提取步态特征，进行特征匹配。

如图3所示，本发明还提供了一种基于骨架信息的步态识别方法的测试方法，包括如下步骤：

步骤Ⅰ：输入待测试的步态关键点序列；

步骤Ⅱ：利用训练好的网络提取步态特征，并对该特征进行二范数归一化；

步骤Ⅲ：对样本库中的样本进行步骤Ⅰ和步骤Ⅱ的操作，则可用特征向量来代表待检索行人步态序列和检索库中行人步态序列；

步骤Ⅳ：计算待检索行人步态序列与检索库中行人步态序列之间的距离，即针对一个待检索行人步态序列，计算其特征与检索库中所有行人步态序列之间的距离；

步骤Ⅴ：按照上述计算的距离由小到大将检索库中样本进行相似性排序，越靠前则越有可能与待检索行人ID一致。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (5)

1.一种基于骨架信息的步态识别方法，其特征在于，包括如下步骤：

S1、采集步态视频序列；

S2、采用OpenPose对上述步态视频序列进行姿态估计，得到步态关键点序列；

S3、构建时空骨架序列；

S4、将邻接矩阵与步态关键点序列输入到多尺度时空图卷积网络进行训练；

S5、训练完成后，使用训练好的模型进行测试，提取步态特征，进行特征匹配。

2.根据权利要求1所述的基于骨架信息的步态识别方法，其特征在于，所述步骤S3具体为：

S31、将所述步态关键点序列在空间上进行人体自然连接；同时引入对称性将对称的关节点进行连接(只连接腿部对称关键点，因为在携带物条件下胳膊之间对称性缺失)；在时间上，将帧与帧之间相同的关键点进行连接；

S32、定义采样函数，一个节点v_ti的邻域集被定义为：

B(v_ti)＝{v_tj|d(v_tj,v_ti)≤D},

其中，B为节点v_ti的邻域集合；v表示节点；D表示距离；d(v_tj,v_ti)表示两个节点之间的最短路径，通常取D＝1；因此，采样函数被定义为：p(v_tj,v_ti)＝v_tj；

S33、选择划分策略，将邻域集划分成四个子集，即该节点本身为第一个子集，非对称节点中，距离重力中心比该节点本身近的为第二个子集，距离重力重心比该节点本身远的为第三个子集，对称节点定义为第四个子集，即：

S34、定义权重函数，邻域集划分为四个子集后，每一个子集有一个数字标签，采用一个映射函数l_ti将每一个节点映射到它的子集标签，映射函数定义为：B(v_ti)→{0,……,K-1}，K＝4；权重函数定义为：w(v_ti,v_tj)＝w’(l_ti(v_tj))；

S35、将空间图卷积扩展到空时域，将空时邻域集定义为：B(v_ti)＝{v_qj|d(v_tj,v_ti)≤K，|q–t|≤Γ}}，B为节点v_ti的邻域集合；v表示节点；K表示距离；Γ控制包括在邻域内的图的范围，即时间卷积核。

3.根据权利要求1所述的基于骨架信息的步态识别方法，其特征在于，所述训练多尺度时空图卷积神经网络的过程具体如下：

S41、选择样本后，从ID与所选择的样本相同的所有样本中随机选取一个样本作为正样本，从ID与所选择的样本不同的所有样本中随机选取一个样本作为负样本；

S42、采用孪生机制，在一次迭代中，将所述选择的样本输入支路1，将正样本和负样本依次输入支路2，支路1和支路2共享参数；

S43、采用SoftMax和交叉熵损失函数对支路1中所述选择的样本特征进行分类；

S44、采用对比损失函数对比所述选择的样本与正样本的特征，以及所述选择的样本与负样本的特征；来自于同一个ID的样本，标签为1，来自不同ID的样本，标签为0。

S45、两部分损失加和，总损失为：

Loss＝Lid+0.5*[Lc(sample,pos,1)+Lc(sample,neg,0)]，

其中，Lid为交叉熵损失，Lc为对比损失，再进行反向传播，更新网络。

4.根据权利要求3所述的基于骨架信息的步态识别方法，其特征在于，所述步骤S4中在训练多尺度时空图卷积神经网络时还包括如下设置过程：

步骤1、输入步态序列，维度为[3,100,18]，其中3为输入关键点特征有3个通道，分别为X,Y坐标和置信度C，100为时间维度有100帧，18为每帧共有18个关键点；

步骤2、前三层输出64通道，卷积核大小为(9,3)，9为时间卷积核尺寸，3为空间卷积核尺寸，输出维度为[64,100,18]；

步骤3、中间三层输出128通道，卷积核大小为(9,3)，输出维度为[128,50,18]，在第四层，时间维度卷积步长为2；

步骤4、后三层输出256通道，卷积核大小为(9,3)，输出维度为[256,25,18]，在第七层，时间维度卷积步长为2；

步骤5、进行全局平均池化，池化后，特征维度变成256维；

步骤6、将第一层输出的特征[64,100,18]，进行维度交换后，做平均池化，变成18维特征；

步骤7、将第五层的输出特征[128,50,18]，进行维度交换后，做平均池化，变成18维特征；

步骤8、采用将浅层特征、中层特征与深层特征融合的方式表示步态特征，将第一层的18维特征、第五层的18维特征与最后一层的256维特征进行拼接，变成292维特征；

步骤9、采用SoftMax分类器将292维特征进行分类。

5.一种基于骨架信息的步态识别方法的测试方法，其特征在于，包括如下步骤：

步骤Ⅰ：输入待测试的步态关键点序列；

步骤Ⅱ：利用训练好的网络提取步态特征，并对该特征进行二范数归一化；

步骤Ⅲ：对样本库中的样本进行步骤Ⅰ和步骤Ⅱ的操作，则可用特征向量来代表待检索行人步态序列和检索库中行人步态序列；

步骤Ⅳ：计算待检索行人步态序列与检索库中行人步态序列之间的距离，即针对一个待检索行人步态序列，计算其特征与检索库中所有行人步态序列之间的距离；

步骤Ⅴ：按照上述计算的距离由小到大将检索库中样本进行相似性排序，越靠前则越有可能与待检索行人ID一致。

Images