CN104200200A - 融合深度信息和灰度信息实现步态识别的系统及方法 - Google Patents

Abstract

本发明涉及一种融合深度信息和灰度信息实现步态识别的系统，其中包括信息提取器、步态周期检测器、特征融合器和步态分类识别器；本发明还涉及一种融合深度信息和灰度信息实现步态识别的方法，信息提取器采集步态序列图像中的灰度信息和深度信息；步态周期检测器通过灰度信息获取对应的步态周期；特征融合器融合灰度信息和深度信息并得到融合特征矩阵；步态分类识别器根据融合特征矩阵查找到对应的步态分类对象。采用本发明的融合深度信息和灰度信息实现步态识别的系统及方法，将深度信息与灰度信息融合，在融合特征矩阵的基础上对人体步态进行识别，具有更好的分类识别率，便于移植，稳定性高，具有更广泛的应用范围。

Description

融合深度信息和灰度信息实现步态识别的系统及方法

技术领域

本发明涉及人体生物识别领域，尤其涉及计算机视觉步态识别的领域，具体是指一种融合深度信息和灰度信息实现步态识别的系统及方法。

背景技术

步态识别技术作为一种新型的生物特征识别技术，它是根据视频序列中人走路的姿势进行身份识别的生物识别技术。和其它生物特征识别技术相比，步态识别技术以其非侵犯性、远距离识别性以及难以隐藏等优点，在国家公共安全、金融安全等领域中有重要的应用价值。步态识别作为生物特征技术的一个新兴子领域，它是依据人走路的姿势提取步态特征进行个人的身份验证。

步态识别是通过人走路的姿态进行人的身份验证。它的识别过程主要包括3个部分：步态轮廓提取、步态特征提取和分类器设计。其中步态特征提取在整个过程中起到了承上启下的作用。因此，步态识别整个工程的成败很大程度上取决于步态特征的选取。有效而可靠的步态特征代表了步态运动过程的全部时空特性，而验证步态特征的有效且可靠的方法也是十分重要的。现有的步态识别方法大多选用的是灰度信息特征对步态进行识别，常见的有下肢运动规律等。

现有技术中对于步态识别大多从外部轮廓、下肢运动规律及身高等灰度特征对人体步态进行分析，例如，专利CN102982323A公开了一种快速步态识别方法，该方法中步态特征包括5个分量，首先通过身高筛选，然后通过性别年龄筛选，最后通过步态信息分量筛选。然而，现有技术方案忽略了深度信息在步态识别中的重要作用，尤其是人体快速运动时下肢迅速变化，步态识别存在着旋转敏感导致的误差和错误判断等缺陷。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种将深度信息与灰度信息融合，在融合特征矩阵的基础上对人体步态进行识别，更加准确有效，避免旋转敏感问题的融合深度信息和灰度信息实现步态识别的系统及方法。

为了实现上述目的，本发明的融合深度信息和灰度信息实现步态识别的系统及方法具有如下构成：

该融合深度信息和灰度信息实现步态识别的系统，其主要特点是，所述的系统包括：

信息提取器，用以采集步态序列图像中的灰度信息和深度信息；

步态周期检测器，用以通过所述的灰度信息获取对应的步态周期；

特征融合器，用以融合所述的灰度信息和所述的深度信息并得到所述的融合特征矩阵；

步态分类识别器，用以根据所述的融合特征矩阵查找到对应的步态分类对象。

进一步地，所述的信息提取器包括灰度信息提取模块和深度信息提取模块，其中：

所述的灰度信息提取模块，用以通过边缘检测法和离散小波变换提取所述的步态序列图像中的人体外部轮廓信息，并将所述的人体外部轮廓信息作为所述的灰度信息保存；

所述的深度信息提取模块，用以从所述的步态序列图像中提取人体关节点的三维坐标信息，并将所述的三维坐标信息作为所述的深度信息保存。

其中，所述的人体关节点的三维坐标信息包括头部的三维坐标信息、脖子的三维坐标信息、左肩的三维坐标信息、左肘的三维坐标信息、左手的三维坐标信息、右肩的三维坐标信息、右肘的三维坐标信息、右手的三维坐标信息、躯干的三维坐标信息、左髋的三维坐标信息、左膝的三维坐标信息、左脚的三维坐标信息、右髋的三维坐标信息、右膝的三维坐标信息和右脚的三维坐标信息。

进一步地，所述的步态周期检测器通过所述的灰度信息的数据计算得到所述的灰度信息对应的质心，并根据所对应的质心的变化率获得所述的步态周期。

进一步地，所述的特征融合器采用矩阵相加求平均法和矩阵列连接法对所述的灰度信息和深度信息进行融合。

进一步地，所述的步态分类识别器采用最近邻方法来查找到所述的融合特征矩阵对应的步态分类对象。

此外，本发明还提供一种实现深度信息和灰度信息融合的步态识别控制方法，其主要特点是，所述的方法包括以下步骤：

(1)所述的信息提取器采集步态序列图像中的灰度信息和深度信息；

(2)所述的步态周期检测器通过所述的灰度信息获取对应的步态周期；

(3)所述的特征融合器融合所述的灰度信息和所述的深度信息并得到所述的融合特征矩阵；

(4)所述的步态分类识别器根据所述的融合特征矩阵查找到对应的步态分类对象。

进一步地，，所述的信息提取器包括灰度信息提取模块和深度信息提取模块，所述的信息提取器采集步态序列图像中的灰度信息和深度信息，包括以下步骤：

(1.1)所述的灰度信息提取模块通过边缘检测法和离散小波变换提取所述的步态序列图像中的人体外部轮廓信息，并将所述的人体外部轮廓信息作为所述的灰度信息保存；

(1.2)所述的深度信息提取模块从所述的步态序列图像中提取人体关节点的三维坐标信息，并将所述的三维坐标信息作为所述的深度信息保存。

更进一步地，所述的灰度信息提取模块通过边缘检测法和离散小波变换提取所述的步态序列图像中的人体外部轮廓信息并将所述的人体外部轮廓信息作为所述的灰度信息保存，包括以下步骤：

(1.1.1)所述的灰度信息提取模块从所述的步态序列图像中提取一帧作为处理帧；

(1.1.2)所述的灰度信息提取模块在所述的处理帧对应的轮廓图像中选取一个参考起点；

(1.1.3)所述的灰度信息提取模块以所述的参考起点为起点在所述的轮廓图像的轮廓边界上选取数个参考点；

(1.1.4)所述的灰度信息提取模块计算所述的参考起点和各个参考点到所述的轮廓图像的质心的距离，并将计算结果组成一个轮廓向量；

(1.1.5)返回上述步骤(1.1.1)，直至所述的步态序列图像中有限个帧被提取完，并获得与有限个帧相对应的轮廓向量；

(1.1.6)所述的灰度信息提取模块选取小波基；

(1.1.7)所述的灰度信息提取模块根据所述的小波基对各个轮廓向量进行离散小波变换，并获得对应的小波描述子；

(1.1.8)所述的灰度信息提取模块将所述的小波描述子投影到一维空间，并得到所述的灰度信息的矩阵。

更进一步地，所述的灰度信息提取模块在所述的处理帧对应的轮廓图像中选取一个参考起点，具体为：

所述的灰度信息提取模块在所述的轮廓图像的头顶边缘点中选取一个参考起点。

更进一步地，所述的灰度信息提取模块以所述的参考起点为起点在所述的轮廓图像的轮廓边界上选取数个参考点，具体为：

所述的灰度信息提取模块以所述的参考起点为起点在所述的轮廓图像的轮廓边界上逆时针选取数个参考点。

更进一步地，所述的灰度信息提取模块计算所述的参考起点和各个参考点到所述的轮廓图像的质心的距离，具体为：

所述的灰度信息提取模块计算所述的参考起点和各个参考点到所述的轮廓图像的质心的欧式距离。

更进一步地，所述的灰度信息提取模块根据所述的小波基对各个轮廓向量进行离散小波变换，具体为：

所述的灰度信息提取模块根据所述的小波基对各个轮廓向量进行二层离散小波变换。

更进一步地，所述的深度信息提取模块从所述的步态序列图像中提取人体关节点的三维坐标信息，包括以下步骤：

(1.2.1)所述的深度信息提取模块识别所述的步态序列图像中人体轮廓区域内的各个身体部位；

(1.2.2)所述的深度信息提取模块会从所述的步态序列图像的多个角度去分析各个像素来确定人体关节点的三维坐标信息。

进一步地，所述的步态周期检测器通过所述的灰度信息获取对应的步态周期，具体为：

所述的步态周期检测器通过所述的灰度信息的数据计算得到所述的灰度信息对应的质心，并根据所对应的质心的变化率获得所述的步态周期。

进一步地，所述的特征融合器融合所述的灰度信息和所述的深度信息，具体为：

所述的特征融合器采用矩阵相加求平均法和矩阵列连接法对所述的灰度信息和深度信息进行融合。

更进一步地，所述的融合特征矩阵为：

其中，D_融合表示融合特征矩阵，D_灰度表示灰度信息的融合矩阵，D_深度表示深度信息的融合矩阵，n₁表示灰度信息的维度，n₂表示深度信息的维度。

其中，所述的特征融合器采用矩阵相加求平均法对所述的灰度信息的矩阵进行融合得到所述的灰度信息的融合矩阵，并采用矩阵相加求平均法对所述的深度信息的矩阵进行融合得到所述的深度信息的融合矩阵。

进一步地，所述的步态分类识别器根据所述的融合特征矩阵查找到对应的步态分类对象，具体为：

所述的步态分类识别器采用最近邻方法来查找到所述的融合特征矩阵对应的步态分类对象。

采用了本发明的融合深度信息和灰度信息实现步态识别的系统及方法，和基于传统的摄像机的现有技术相比，本发明的系统和方法基于最新的三维立体摄像机，将灰度信息(人体外部轮廓信息)和深度信息(人体关节点三维坐标信息)融合起来对步态进行描述，具有更好的分类识别率，并采用离散小波描述子来对外部轮廓特征进行描述，对于形状旋转、形状尺度及形状平移，有很好的鲁棒性；同时，通过计算外部轮廓特征质心变化来计算步态周期，简单有效，便于移植，稳定性高，具有更广泛的应用范围。

附图说明

图1为本发明的融合深度信息和灰度信息实现步态识别的系统的结构示意图。

图2为本发明的融合深度信息和灰度信息实现步态识别的方法的流程图。

图3为本发明一个具体实施例的结构示意图。

图4为本发明一个具体实施例的灰度信息提取流程图。

图5为本发明一个具体实施例的深度信息提取流程图。

图6为本发明一个具体实施例的步态周期检测流程图。

图7为本发明一个具体实施例的特征融合流程图。

图8为本发明一个具体实施例的步态分类识别流程图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

请参阅图1，在一种实施方式中，本发明的融合深度信息和灰度信息实现步态识别的系统包括：

信息提取器，用以采集步态序列图像中的灰度信息和深度信息；

步态周期检测器，用以通过所述的灰度信息获取对应的步态周期；

特征融合器，用以融合所述的灰度信息和所述的深度信息并得到所述的融合特征矩阵；

步态分类识别器，用以根据所述的融合特征矩阵查找到对应的步态分类对象。

在一种优选的实施方式中，所述的信息提取器包括灰度信息提取模块和深度信息提取模块，其中：

所述的灰度信息提取模块，用以通过边缘检测法和离散小波变换提取所述的步态序列图像中的人体外部轮廓信息，并将所述的人体外部轮廓信息作为所述的灰度信息保存；

所述的深度信息提取模块，用以从所述的步态序列图像中提取人体关节点的三维坐标信息，并将所述的三维坐标信息作为所述的深度信息保存。

其中，所述的人体关节点的三维坐标信息包括头部的三维坐标信息、脖子的三维坐标信息、左肩的三维坐标信息、左肘的三维坐标信息、左手的三维坐标信息、右肩的三维坐标信息、右肘的三维坐标信息、右手的三维坐标信息、躯干的三维坐标信息、左髋的三维坐标信息、左膝的三维坐标信息、左脚的三维坐标信息、右髋的三维坐标信息、右膝的三维坐标信息和右脚的三维坐标信息。

在一种优选的实施方式中，所述的步态周期检测器通过所述的灰度信息的数据计算得到所述的灰度信息对应的质心，并根据所对应的质心的变化率获得所述的步态周期。

在一种优选的实施方式中，所述的特征融合器采用矩阵相加求平均法和矩阵列连接法对所述的灰度信息和深度信息进行融合。

在一种优选的实施方式中，所述的步态分类识别器采用最近邻方法来查找到所述的融合特征矩阵对应的步态分类对象。

此外，本发明还提供一种实现深度信息和灰度信息融合的步态识别控制方法，如图2所示，所述的方法包括以下步骤：

(1)所述的信息提取器采集步态序列图像中的灰度信息和深度信息；

(2)所述的步态周期检测器通过所述的灰度信息获取对应的步态周期；

(3)所述的特征融合器融合所述的灰度信息和所述的深度信息并得到所述的融合特征矩阵；

(4)所述的步态分类识别器根据所述的融合特征矩阵查找到对应的步态分类对象。

在一种优选的实施方式中，，所述的信息提取器包括灰度信息提取模块和深度信息提取模块，所述的信息提取器采集步态序列图像中的灰度信息和深度信息，包括以下步骤：

(1.1)所述的灰度信息提取模块通过边缘检测法和离散小波变换提取所述的步态序列图像中的人体外部轮廓信息，并将所述的人体外部轮廓信息作为所述的灰度信息保存；

(1.2)所述的深度信息提取模块从所述的步态序列图像中提取人体关节点的三维坐标信息，并将所述的三维坐标信息作为所述的深度信息保存。

在一种更优选的实施方式中，所述的灰度信息提取模块通过边缘检测法和离散小波变换提取所述的步态序列图像中的人体外部轮廓信息并将所述的人体外部轮廓信息作为所述的灰度信息保存，包括以下步骤：

(1.1.1)所述的灰度信息提取模块从所述的步态序列图像中提取一帧作为处理帧；

(1.1.2)所述的灰度信息提取模块在所述的处理帧对应的轮廓图像中选取一个参考起点；

(1.1.3)所述的灰度信息提取模块以所述的参考起点为起点在所述的轮廓图像的轮廓边界上选取数个参考点；

(1.1.4)所述的灰度信息提取模块计算所述的参考起点和各个参考点到所述的轮廓图像的质心的距离，并将计算结果组成一个轮廓向量；

(1.1.5)返回上述步骤(1.1.1)，直至所述的步态序列图像中有限个帧被提取完，并获得与有限个帧相对应的轮廓向量；

(1.1.6)所述的灰度信息提取模块选取小波基；

(1.1.7)所述的灰度信息提取模块根据所述的小波基对各个轮廓向量进行离散小波变换，并获得对应的小波描述子；

(1.1.8)所述的灰度信息提取模块将所述的小波描述子投影到一维空间，并得到所述的灰度信息的矩阵。

在一种更优选的实施方式中，所述的灰度信息提取模块在所述的处理帧对应的轮廓图像中选取一个参考起点，具体为：

所述的灰度信息提取模块在所述的轮廓图像的头顶边缘点中选取一个参考起点。

在一种更优选的实施方式中，所述的灰度信息提取模块以所述的参考起点为起点在所述的轮廓图像的轮廓边界上选取数个参考点，具体为：

所述的灰度信息提取模块以所述的参考起点为起点在所述的轮廓图像的轮廓边界上逆时针选取数个参考点。

在一种更优选的实施方式中，所述的灰度信息提取模块计算所述的参考起点和各个参考点到所述的轮廓图像的质心的距离，具体为：

所述的灰度信息提取模块计算所述的参考起点和各个参考点到所述的轮廓图像的质心的欧式距离。

在一种更优选的实施方式中，所述的灰度信息提取模块根据所述的小波基对各个轮廓向量进行离散小波变换，具体为：

所述的灰度信息提取模块根据所述的小波基对各个轮廓向量进行二层离散小波变换。

在一种更优选的实施方式中，所述的深度信息提取模块从所述的步态序列图像中提取人体关节点的三维坐标信息，包括以下步骤：

(1.2.1)所述的深度信息提取模块识别所述的步态序列图像中人体轮廓区域内的各个身体部位；

(1.2.2)所述的深度信息提取模块会从所述的步态序列图像的多个角度去分析各个像素来确定人体关节点的三维坐标信息。

在一种优选的实施方式中，所述的步态周期检测器通过所述的灰度信息获取对应的步态周期，具体为：

所述的步态周期检测器通过所述的灰度信息的数据计算得到所述的灰度信息对应的质心，并根据所对应的质心的变化率获得所述的步态周期。

在一种优选的实施方式中，所述的特征融合器融合所述的灰度信息和所述的深度信息，具体为：

所述的特征融合器采用矩阵相加求平均法和矩阵列连接法对所述的灰度信息和深度信息进行融合。

在一种更优选的实施方式中，所述的融合特征矩阵为：

其中，D_融合表示融合特征矩阵，D_灰度表示灰度信息的融合矩阵，D_深度表示深度信息的融合矩阵，n₁表示灰度信息的维度，n₂表示深度信息的维度。

其中，所述的特征融合器采用矩阵相加求平均法对所述的灰度信息的矩阵进行融合得到所述的灰度信息的融合矩阵，并采用矩阵相加求平均法对所述的深度信息的矩阵进行融合得到所述的深度信息的融合矩阵。

在一种优选的实施方式中，所述的步态分类识别器根据所述的融合特征矩阵查找到对应的步态分类对象，具体为：

所述的步态分类识别器采用最近邻方法来查找到所述的融合特征矩阵对应的步态分类对象。

随着计算机摄像设备的不断发展，三维立体摄像机的出现为深度信息的获取提供了可能性，将深度信息引入对步态进行识别，并采用特征融合的方法，将多类信息进行融合，在融合的特征基础上，对人体步态进行识别，更加准确有效且对旋转不敏感。

本发明的目的亦在于解决步态识别的旋转敏感问题并提高识别的准确性，以下结合具体实施例来说明实现的技术方案，如图3至图8所示，本发明的系统包括：

1、灰度信息提取器

实现的技术效果包括以下三点：

(1)目标获取：依据距离关系由近及远分析每个像素以找到最有可能是人体的区域。

(2)轮廓提取：采用边缘检测法对人体外部轮廓进行获取，较佳地，边缘测算法采用二阶的Canny算子。

(3)轮廓表示：采用和离散小波变换对人体外部轮廓特征进行表示，其中，使用小波描述子来表示一个形状，可以同时得到该形状的时域及频域信息，具体如下：

对于步态序列图像中的第i帧轮廓图像，选定头顶边缘点作为参考起点，沿逆时针方向在轮廓边界上选定k个点，计算每个点到轮廓质心的欧式距离，则该轮廓可以表示为一个由k个元素组成的向量D_i＝[d_i1,d_i2,...,d_ik]，使用边界像素的内插处理来解决匹配问题，以便于对每幅图像而言点数是相同的，推荐选用k＝128。D_i可以看作是一维信号，选择小波基h后，使用公式：W_i＝＜＜D_i，h＞，h＞对D_i进行两层小波变换，得到第i帧轮廓图像的小波描述子W_i，其中，“<”和“>”表示一层小波变换。通过该公式得到所有小波描述子以后，将其投影到一维空间，得到灰度信息的矩阵表示。

此外，为了压缩数据集计算方便，每帧图像可只用低频段的32个点来进行匹配识别。

2、深度信息提取器

用于对视频中人体关节点的三维坐标信息进行提取，实现的技术效果包括以下两点：

(1)人体部位识别：使用数个以TB为计算单位的数据进行训练得到随机森林模型，该模型用于识别并分类人体轮廓区域内的各个身体部位，如头部、躯干、四肢等。

(2)人体关节点识别：关节点是连接多人体各个部位的纽带，考虑到人体部位会出现重叠，会从正面、侧面等多个角度去分析每一个可能是关节的像素来确定关节点坐标，从而获取视频中人体15个关节点(头部、脖子、左肩、左肘、左手、右肩、右肘、右手、躯干、左髋、左膝、左脚、右髋、右膝、右脚)的三维坐标信息，得到深度信息的矩阵向量描述。

3、周期检测器

随着下肢的摆动，步态轮廓的质心也随着变化，当下肢分开至最大角度时，步态中心到达最低点；当两腿合并时，步态质心到达最高点。选用步态轮廓质心进行步态周期分析，其数学式可以表示为：其中，(X_c,Y_c)是对象的质心坐标，N是前景图像像素总数，(X_i,Y_i)是前景图像的像素点坐标。

周期检测器就是根据上述质心公式获得对应的质心变化率，从而处理得到步态周期，具体步骤如下：

(1)初始化图像数目；

(2)读入步态图像并计算轮廓的质心的纵坐标并输出保存；

(3)判断读入图像是否已到最后一帧，如是，则程序结束；若不是，则返回步骤(2)直至读入到最后一帧图像为止，程序结束。

4、特征融合器

在得到步态周期的基础上，通过对周期长度的多帧灰度信息(人体外部轮廓信息)进行叠加和融合，例如步态周期为N，将得到的N帧灰度信息进行叠加，并采用矩阵相加求平均的方法进行融合；而对于深度信息(人体关节点的三维坐标信息)则采用将三维坐标按照一定顺序通过一维向量的形式来进行表示和存放；然后采用矩阵列连接方法，将两类信息进行融合。

此外，为了缓解维度灾难问题，可以分别对灰度信息和深度信息进行降维。

具体过程如下：

(1)采用小波离散算子对得到的灰度信息进行描述，得到矩阵信息W_i，采用矩阵相加平均的方法将帧周期长度的N帧图像的信息进行融合，得到帧周期为N的步态的灰度描述信息，以矩阵来进行表示D_灰度。

(2)将得到的15个关节点三维坐标信息，按照顺序head(头部)、neck(脖子)、rightshoulder(右肩)、right elbow(右肘)、right hand(右手)、torso center(躯干)、right hip(右髋)、right knee(右膝)、right foot(右脚)、left shoulder(左肩)、left elbow(左肘)、left hand(左手)、left hip(左髋)、left knee(左膝)、left foot(左脚)组成一维向量，通过将帧周期长度为N采用矩阵相加求平均的方法得到深度信息的描述信息，得到深度信息描述矩阵，以D_深度来进行表示。

在得到的灰度信息D_灰度和深度信息D_深度的基础上，采用矩阵列连接方法来实现两类信息融合，设n₁表示灰度信息的维度，n₂表示深度信息的维度，D_融合来表示融合结果，具体计算过程为：

其中，D_融合的维度为(n₁+n₂)。

5、步态分类识别器

采用最近邻分类方法进行步态分类识别，所谓最近邻法就是将待测序列判别到离它最近邻所属的类别中。假定有个模式识别问题，共c个类别：w₁,w₂,...,w_c，每个类别中有训练样本N_i个，i＝1,2,...,c。

w_i类的判别函数可以规定为：

g_i(x)＝min||x-x_i ^k||，k＝1,2,...,N_i；

其中，x_i ^k中的i表示第w_i类，k表示w_i类中训练样本N_i中的第k个样本。

按照上述公式，决策规则可以写为：若则分类结果为：x∈w_j。

这种决策方法称为最近邻法，即对未知样本x，比较x与个已知类别的训练样本之间的欧式距离，并判别x归属于离它最近的样本所在的类别。

采用了本发明的融合深度信息和灰度信息实现步态识别的系统及方法，和基于传统的摄像机的现有技术相比，本发明的系统和方法基于最新的三维立体摄像机，将灰度信息(人体外部轮廓信息)和深度信息(人体关节点三维坐标信息)融合起来对步态进行描述，具有更好的分类识别率，并采用离散小波描述子来对外部轮廓特征进行描述，对于形状旋转、形状尺度及形状平移，有很好的鲁棒性；同时，通过计算外部轮廓特征质心变化来计算步态周期，简单有效，便于移植，稳定性高，具有更广泛的应用范围。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (19)

1.一种融合深度信息和灰度信息实现步态识别的系统，其特征在于，所述的系统包括：

信息提取器，用以采集步态序列图像中的灰度信息和深度信息；

步态周期检测器，用以通过所述的灰度信息获取对应的步态周期；

特征融合器，用以融合所述的灰度信息和所述的深度信息并得到所述的融合特征矩阵；

步态分类识别器，用以根据所述的融合特征矩阵查找到对应的步态分类对象。

2.根据权利要求1所述的融合深度信息和灰度信息实现步态识别的系统，其特征在于，所述的信息提取器包括灰度信息提取模块和深度信息提取模块，其中：

所述的灰度信息提取模块，用以通过边缘检测法和离散小波变换提取所述的步态序列图像中的人体外部轮廓信息，并将所述的人体外部轮廓信息作为所述的灰度信息保存；

所述的深度信息提取模块，用以从所述的步态序列图像中提取人体关节点的三维坐标信息，并将所述的三维坐标信息作为所述的深度信息保存。

3.根据权利要求3所述的融合深度信息和灰度信息实现步态识别的系统，其特征在于，所述的人体关节点的三维坐标信息包括头部的三维坐标信息、脖子的三维坐标信息、左肩的三维坐标信息、左肘的三维坐标信息、左手的三维坐标信息、右肩的三维坐标信息、右肘的三维坐标信息、右手的三维坐标信息、躯干的三维坐标信息、左髋的三维坐标信息、左膝的三维坐标信息、左脚的三维坐标信息、右髋的三维坐标信息、右膝的三维坐标信息和右脚的三维坐标信息。

4.根据权利要求1所述的融合深度信息和灰度信息实现步态识别的系统，其特征在于，所述的步态周期检测器通过所述的灰度信息的数据计算得到所述的灰度信息对应的质心，并根据所对应的质心的变化率获得所述的步态周期。

5.根据权利要求1所述的融合深度信息和灰度信息实现步态识别的系统，其特征在于，所述的特征融合器采用矩阵相加求平均法和矩阵列连接法对所述的灰度信息和深度信息进行融合。

6.根据权利要求1所述的融合深度信息和灰度信息实现步态识别的系统，其特征在于，所述的步态分类识别器采用最近邻方法来查找到所述的融合特征矩阵对应的步态分类对象。

7.一种利用权利要求1至6中任一项所述的系统实现深度信息和灰度信息融合的步态识别控制方法，其特征在于，所述的方法包括以下步骤：

(1)所述的信息提取器采集步态序列图像中的灰度信息和深度信息；

(2)所述的步态周期检测器通过所述的灰度信息获取对应的步态周期；

(3)所述的特征融合器融合所述的灰度信息和所述的深度信息并得到所述的融合特征矩阵；

(4)所述的步态分类识别器根据所述的融合特征矩阵查找到对应的步态分类对象。

8.根据权利要求7所述的实现深度信息和灰度信息融合的步态识别控制方法，其特征在于，所述的信息提取器包括灰度信息提取模块和深度信息提取模块，所述的信息提取器采集步态序列图像中的灰度信息和深度信息，包括以下步骤：

(1.1)所述的灰度信息提取模块通过边缘检测法和离散小波变换提取所述的步态序列图像中的人体外部轮廓信息，并将所述的人体外部轮廓信息作为所述的灰度信息保存；

(1.2)所述的深度信息提取模块从所述的步态序列图像中提取人体关节点的三维坐标信息，并将所述的三维坐标信息作为所述的深度信息保存。

9.根据权利要求8所述的实现深度信息和灰度信息融合的步态识别控制方法，其特征在于，所述的灰度信息提取模块通过边缘检测法和离散小波变换提取所述的步态序列图像中的人体外部轮廓信息并将所述的人体外部轮廓信息作为所述的灰度信息保存，包括以下步骤：

(1.1.1)所述的灰度信息提取模块从所述的步态序列图像中提取一帧作为处理帧；

(1.1.2)所述的灰度信息提取模块在所述的处理帧对应的轮廓图像中选取一个参考起点；

(1.1.3)所述的灰度信息提取模块以所述的参考起点为起点在所述的轮廓图像的轮廓边界上选取数个参考点；

(1.1.4)所述的灰度信息提取模块计算所述的参考起点和各个参考点到所述的轮廓图像的质心的距离，并将计算结果组成一个轮廓向量；

(1.1.5)返回上述步骤(1.1.1)，直至所述的步态序列图像中有限个帧被提取完，并获得与有限个帧相对应的轮廓向量；

(1.1.6)所述的灰度信息提取模块选取小波基；

(1.1.7)所述的灰度信息提取模块根据所述的小波基对各个轮廓向量进行离散小波变换，并获得对应的小波描述子；

(1.1.8)所述的灰度信息提取模块将所述的小波描述子投影到一维空间，并得到所述的灰度信息的矩阵。

10.根据权利要求9所述的实现深度信息和灰度信息融合的步态识别控制方法，其特征在于，所述的灰度信息提取模块在所述的处理帧对应的轮廓图像中选取一个参考起点，具体为：

所述的灰度信息提取模块在所述的轮廓图像的头顶边缘点中选取一个参考起点。

11.根据权利要求9所述的实现深度信息和灰度信息融合的步态识别控制方法，其特征在于，所述的灰度信息提取模块以所述的参考起点为起点在所述的轮廓图像的轮廓边界上选取数个参考点，具体为：

所述的灰度信息提取模块以所述的参考起点为起点在所述的轮廓图像的轮廓边界上逆时针选取数个参考点。

12.根据权利要求9所述的实现深度信息和灰度信息融合的步态识别控制方法，其特征在于，所述的灰度信息提取模块计算所述的参考起点和各个参考点到所述的轮廓图像的质心的距离，具体为：

所述的灰度信息提取模块计算所述的参考起点和各个参考点到所述的轮廓图像的质心的欧式距离。

13.根据权利要求9所述的实现深度信息和灰度信息融合的步态识别控制方法，其特征在于，所述的灰度信息提取模块根据所述的小波基对各个轮廓向量进行离散小波变换，具体为：

所述的灰度信息提取模块根据所述的小波基对各个轮廓向量进行二层离散小波变换。

14.根据权利要求8所述的实现深度信息和灰度信息融合的步态识别控制方法，其特征在于，所述的深度信息提取模块从所述的步态序列图像中提取人体关节点的三维坐标信息，包括以下步骤：

(1.2.1)所述的深度信息提取模块识别所述的步态序列图像中人体轮廓区域内的各个身体部位；

(1.2.2)所述的深度信息提取模块会从所述的步态序列图像的多个角度去分析各个像素来确定人体关节点的三维坐标信息。

15.根据权利要求7所述的实现深度信息和灰度信息融合的步态识别控制方法，其特征在于，所述的步态周期检测器通过所述的灰度信息获取对应的步态周期，具体为：

所述的步态周期检测器通过所述的灰度信息的数据计算得到所述的灰度信息对应的质心，并根据所对应的质心的变化率获得所述的步态周期。

16.根据权利要求7所述的实现深度信息和灰度信息融合的步态识别控制方法，其特征在于，所述的特征融合器融合所述的灰度信息和所述的深度信息，具体为：

所述的特征融合器采用矩阵相加求平均法和矩阵列连接法对所述的灰度信息和深度信息进行融合。

17.根据权利要求16所述的实现深度信息和灰度信息融合的步态识别控制方法，其特征在于，所述的融合特征矩阵为：

其中，D_融合表示融合特征矩阵，D_灰度表示灰度信息的融合矩阵，D_深度表示深度信息的融合矩阵，n₁表示灰度信息的维度，n₂表示深度信息的维度。

18.根据权利要求17所述的实现深度信息和灰度信息融合的步态识别控制方法，其特征在于，所述的特征融合器采用矩阵相加求平均法对所述的灰度信息的矩阵进行融合得到所述的灰度信息的融合矩阵，并采用矩阵相加求平均法对所述的深度信息的矩阵进行融合得到所述的深度信息的融合矩阵。

19.根据权利要求7所述的实现深度信息和灰度信息融合的步态识别控制方法，其特征在于，所述的步态分类识别器根据所述的融合特征矩阵查找到对应的步态分类对象，具体为：

所述的步态分类识别器采用最近邻方法来查找到所述的融合特征矩阵对应的步态分类对象。